Valutazione dei test diagnostici Maria Miceli M. Miceli 2011 1
Diagnosi individuale (test di laboratorio) Esame collaterale nell ambito dell iter diagnostico condotto generalmente su animali sintomatici Gli strumenti ti che il veterinario i utilizza per giungere alla diagnosi includono oltre al test: anamnesi, esame clinico, esperienza, intuizione. M. Miceli 2011 2
Diagnosi su popolazione (Test di screening) Condotti generalmente su animali asintomatici per individuare id i soggetti infetti/malati ti e classificarli in base alla presenza o assenza della malattia. Stima della prevalenza della malattia nella popolazione, indispensabile per disegnare e realizzare qualsiasi sistema di sorveglianza e profilassi della malattia M. Miceli 2011 3
Fattori che influenzano la scelta di un test diagnostico di popolazione - validità - facilità di esecuzione - facilità di prelievo dei campioni - costo - possibilità di standardizzazione dei metodi e risultati - prevalenza della condizione i da diagnosticare M. Miceli 2011 4
Parametri per la valutazione della validità di un test - sensibilità - specificità - valore predittivo positivo - valore predittivo negativo - accuratezza M. Miceli 2011 5
Accuratezza Precisione Affidabilità grado di concordanza tra il risultato di una misurazione i e un valore vero ( true status ) ) del misurando grado di concordanza tra i risultati di più misurazioni dello stesso misurando M. Miceli 2011 6
Accuratezza Si intende l accuratezza media, definita come grado di concordanza tra un valore di riferimento, vero o assegnato, e il risultato medio derivante dall applicazione applicazione del metodo di prova per un elevato numero di repliche. M. Miceli 2011 7
Fattori che influenzano la precisione (affidabilità): 1. Variabilità biologica nel tempo 2. Affidabilità degli strumenti utilizzati per fare il test 3. Variabilità dell osservatore entro osservazioni: uno stesso osservatore leggerà ogni volta il test allo stesso modo? 4. Variabilità tra osservatori: osservatori diversi concorderanno nella lettura di un test? M. Miceli 2011 8
Variabilità biologica nel tempo + = Glicemia 150 + = Glicemia 100 M. Miceli 2011 9
Affidabilità (precisione) degli strumenti Bilancia A Bilancia B Bilancia C 57,3 kg 59,8 kg 54,1 kg M. Miceli 2011 10
Variabilità dell osservatore entro osservazioni TBC Cancro Caso 1254 Caso 1254 Lunedi Venerdi 11
Variabilità tra osservatori TBC Normale 12
Il test perfetto. Affidabilità Validità Precisione 13
Affidabilità Validità Precisione 14
Affidabilità Validità Precisione 15
Validità e precisione Valido Non valido impreciso Preciso Non valido impreciso Valido preciso 16
Come misurare validità e precisione? 17
Validità in prove qualitative 18
Validità Capacità long term di un test di classificare correttamente i positive e i negativi di riferimento Definizione = capacità di un test di individuare correttamente i soggetti malati e i soggetti sani Un test ideale permette di individuare tutte le persone affette da una malattia e, contemporaneamente, di identificare come persone normali i soggetti non affetti da questa 19 malattia
Il test nella realtà Popolazione malati sani Test + corretto Test- non corretto Test+ non corretto Test - corretto (veri positivi) (falsi negativi) (falsi positivi) (veri negativi) 20
Validità La distribuzione degli individui in ogni categoria viene spesso rappresentata in una tabella 2 x 2: Verità + - Totale + a b a+b Test - c d c + d Totale a+c b+d a+b+c+d + + 21
Validità La distribuzione degli individui in ogni categoria viene spesso rappresentata in una tabella 2 x 2: Verità + - Totale + a (VP) b(fp) a+b Test - c (FN) d(vn) c + d Totale a+c b+d a+b+c+d + + 22
Sensibilità È la capacità di un test di classificare correttamente t i positivi i di riferimento La proporzione A/(A+C) è una misura della probabilità di classificare correttamente come positivi i positivi di riferimento 23
Sensibilità (es.) È la capacità di un test di identificare gli animali che hanno la malattia nella popolazione controllata La proporzione p A/(A+C) veri positivi/malati è una misura della probabilità di identificare correttamente come positivi i soggetti malati 24
Sensibilità: la capacità del test di identificare gli individui id i malati riferimento rfermento malattia + malattia - Totale Test + a (VP) b (FP) a + b - c (FN) d (VN) c + d Totale a + c b + d a + b + c + d veri positivi/totale di chi ha la malattia = a/(a+c) 25
Sensibilità: la capacità del test di identificare gli individui id i malati riferimento rfermento malattia + malattia - Totale Test - + Totale 222 75 297 26
Sensibilità: la capacità del test di identificare gli individui id i malati riferimento rfermento malattia + malattia - Totale Test + 222 0 202-0 75 75 Totale 222 75 297 veri positivi/totale di chi ha la malattia = a/(a+c) =222/222=100% 27
Sensibilità: la capacità del test di identificare gli individui id i malati riferimento rfermento malattia + malattia - Totale Test + 180 5 185-42 70 112 Totale 222 75 297 veri positivi/totale di chi ha la malattia = a/(a+c) =180/222=81% 28
Specificità È la capacità di un test di classificare correttamente i negativi di riferimento 29
Es. Specificità: la capacità del test di identificare come negativi coloro che sono sani riferimento rf rm malattia + malattia - Totale Test + a (VP) b (FP) a + b - c (FN) d (VN) c + d Totale a + c b + d a + b + c + d veri negativi/totale di chi non ha la malattia = d/(b+d) 30
Specificità: la capacità del test di identificare come negativi coloro che sono sani riferimento rf rm malattia + malattia - Totale Test + 222 0 202-0 75 75 Totale 222 75 297 veri negativi/totale di chi non ha la malattia = 75/75=100% 31
Specificità: la capacità del test di identificare come negativi coloro che sono sani Verità malattia + malattia - Totale Test + 180 5 185-42 70 112 Totale 222 75 297 veri negativi/totale di chi non ha la malattia = 70/75=93% 32
Relazione tra sensibilità e specificità Generalmente, la sensibilità e la specificità dipendono d dalle caratteristiche ti biologiche i del test Esempio: Test per l HIV: ELISA sensibilità, specificità Western Blot sensibilità, specificità 33
Valore Predittivo Positivo (VPP): percentuale di prove positive al test t che sono realmente positive Valore Predittivo Negativo (VPN): la percentuale di prove negative al test che sono realmente negative 34
Es. E.Valore Predittivo Positivo: la percentuale di soggetti positivi al test che sono realmente malati Verità malattia + malattia - Totale Test + a (VP) b (FP) a + b - c (FN) d (VN) c + d Totale a + c b + d a + b + c + d veri positivi/totale di chi risulta positivo al test = a/(a+b) 35
Es. E.Valore Predittivo Positivo: la percentuale di soggetti positivi al test che sono realmente malati Verità malattia + malattia - Totale Test + 180 5 185-42 70 112 Totale 222 75 277 veri positivi/totale di chi risulta positivo al test = a/(a+b) =180/185=97,2% 36
Es. Valore Predittivo Negativo: la percentuale di soggetti negativi al test che sono realmente sani Verità malattia + malattia - Totale Test + a (VP) b (FP) a + b - c (FN) d (VN) c + d Totale a + c b + d a + b + c + d veri negativi/totale di chi risulta negativo al test = d/(c+d) 37
Es. Valore Predittivo Negativo: la percentuale di soggetti negativi al test che sono realmente sani Verità malattia + malattia - Totale Test + 180 5 185-42 70 112 Totale 222 75 277 veri negativi/totale di chi risulta negativo al test = d/(c+d) =70/112=62,5% 38
Valore Predittivo Positivo (VPP) e Valore Predittivo Negativo (VPN) Il VPP risponde alla domanda: Qual è la proporzione di persone, positive al test, affette dalla malattia? VPN: Qual è la proporzione p di persone, negative al test, ma realmente sane? 39
Sensibilità: la capacità del test di identificare gli individui id i malati Test riferimento rfermento malattia + malattia - Totale 180 + 5 185-42 70 112 Totale 222 75 297 veri positivi/totale di chi ha la malattia = a/(a+c) =180/222=81% 40
Es. E.Valore Predittivo Positivo: la percentuale di soggetti positivi al test che sono realmente malati Verità malattia + malattia - Totale Test + 180 5 185-42 70 112 Totale 222 75 297 veri positivi/totale di chi risulta positivo al test = a/(a+b) =180/185=97,2% 41
VPP e VPN In parole... Maggiore è la prevalenza e/o la specificità, più alto è il valore predittivo positivo La prevalenza e la specificità influiscono i anche sul valore predittivo negativo, pur avendo un effetto minore rispetto a quello osservato con il VPP 42
Interpretazione: t misure di validità Sensibilità e specificità: i Aiutano nella decisione di usare o meno un test Non dipendono n dalla prevalenza della malattia (/percentuale di vere positività) VPP e VPN Vengono calcolati dopo l applicazione di un test a una popolazione Usati per interpretare i risultati di un test Dipendono dalla prevalenza, la specificità (VPP) e la sensibilità (VPN) 43
Validità sani malati aa Valore del test In un test ideale non c è una sovrapposizione i dei risultati del test eseguito su soggetti malati e su quelli sani, i.e., su prove realmente positive e quelle realmente negative 44
riferimento rfermento malattia + malattia - Totale Test + 222 0 202-0 75 75 Totale 222 75 297 45
Validità sani malati Valore del test In realtà, c è quasi sempre una parziale sovrapposizione dei valori osservabili per i positivi e i negativi Problemi con la validità 46
Verità malattia + malattia - Totale Test + 180 5 185-42 70 112 Totale 222 75 297 47
Validità Per distinguere i valori normali da quelli anormali, si deve definire un valore soglia. Facendolo, si creano quattro categorie potenziali: 1. I soggetti realmente malati e positivi al test: veri positivi 2. I soggetti realmente malati ma negativi al test: falsi negativi 3. I soggetti realmente sani e negativi al test: veri negativi 4. I soggetti realmente sani ma positivi al test: falsi positivi 48
La distribuzione degli individui in ogni categoria viene spesso rappresentata in una tabella 2 x 2: Verità + - Totale + a (VP) b(fp) a+b Test - c (FN) d(vn) c + d Totale a+c b+d a+b+c+d + + 49
Validità veri negativi sani soglia malati veri positivi falsi negativi falsi positivi M Miceli 2005 50
Per alcuni test, i valori sono continui (densità ottica, glicemia, ecc.), e si può scegliere un valore soglia che alza la sensibilità ( VP, FN) falsi negativi soglia malati veri positivi MA... 51
sani veri negativi soglia malati veri positivi falsi negativi falsi positivi Si aumenta il tasso di falsi positivi e si abbassa la specificità ità ( VN, FP )! 52
Viceversa, si può scegliere un valore soglia che alza la specificità ( VN, FP) sani veri negativi soglia falsi positivi 53
Ma...si diminuisce la sensibilità (( VP, FN )! soglia sani veri negativi veri positivi malati falsi negativi falsi positivi 54
Relazione tra sensibilità e specificità x x Non si può avere la botte piena e la moglie ubriaca! 55
Come scegliere la soglia giusta? Dipende da: le conseguenze di un risultato falso negativo le conseguenze di un risultato t falso positivo le risorse per condurre ulteriori test diagnostici o procedure per il trattamento dei soggetti positivi 56
Area under ROC curve = 0.8963 1.00 0.75 Sensitiv ity 0.50 0.25 0.00 0.00 0.25 0.50 0.75 1.00 1 - Specificity 57
Curva R.O.C. Curva rappresentante sensibilità e specificità per ogni valore soglia Utile strumento per stabilire come scegliere un valore soglia data una certa sensibilità e specificità In ascissa: 1-specificità In ordinata:sensibilità 58