Valutazione dei test diagnostici

Transcript

1 Valutazione dei test diagnostici Maria Miceli M. Miceli

2 Diagnosi individuale (test di laboratorio) Esame collaterale nell ambito dell iter diagnostico condotto generalmente su animali sintomatici Gli strumenti ti che il veterinario i utilizza per giungere alla diagnosi includono oltre al test: anamnesi, esame clinico, esperienza, intuizione. M. Miceli

3 Diagnosi su popolazione (Test di screening) Condotti generalmente su animali asintomatici per individuare id i soggetti infetti/malati ti e classificarli in base alla presenza o assenza della malattia. Stima della prevalenza della malattia nella popolazione, indispensabile per disegnare e realizzare qualsiasi sistema di sorveglianza e profilassi della malattia M. Miceli

4 Fattori che influenzano la scelta di un test diagnostico di popolazione - validità - facilità di esecuzione - facilità di prelievo dei campioni - costo - possibilità di standardizzazione dei metodi e risultati - prevalenza della condizione i da diagnosticare M. Miceli

5 Parametri per la valutazione della validità di un test - sensibilità - specificità - valore predittivo positivo - valore predittivo negativo - accuratezza M. Miceli

6 Accuratezza Precisione Affidabilità grado di concordanza tra il risultato di una misurazione i e un valore vero ( true status ) ) del misurando grado di concordanza tra i risultati di più misurazioni dello stesso misurando M. Miceli

7 Accuratezza Si intende l accuratezza media, definita come grado di concordanza tra un valore di riferimento, vero o assegnato, e il risultato medio derivante dall applicazione applicazione del metodo di prova per un elevato numero di repliche. M. Miceli

8 Fattori che influenzano la precisione (affidabilità): 1. Variabilità biologica nel tempo 2. Affidabilità degli strumenti utilizzati per fare il test 3. Variabilità dell osservatore entro osservazioni: uno stesso osservatore leggerà ogni volta il test allo stesso modo? 4. Variabilità tra osservatori: osservatori diversi concorderanno nella lettura di un test? M. Miceli

9 Variabilità biologica nel tempo + = Glicemia = Glicemia 100 M. Miceli

10 Affidabilità (precisione) degli strumenti Bilancia A Bilancia B Bilancia C 57,3 kg 59,8 kg 54,1 kg M. Miceli

11 Variabilità dell osservatore entro osservazioni TBC Cancro Caso 1254 Caso 1254 Lunedi Venerdi 11

12 Variabilità tra osservatori TBC Normale 12

13 Il test perfetto. Affidabilità Validità Precisione 13

14 Affidabilità Validità Precisione 14

15 Affidabilità Validità Precisione 15

16 Validità e precisione Valido Non valido impreciso Preciso Non valido impreciso Valido preciso 16

17 Come misurare validità e precisione? 17

18 Validità in prove qualitative 18

19 Validità Capacità long term di un test di classificare correttamente i positive e i negativi di riferimento Definizione = capacità di un test di individuare correttamente i soggetti malati e i soggetti sani Un test ideale permette di individuare tutte le persone affette da una malattia e, contemporaneamente, di identificare come persone normali i soggetti non affetti da questa 19 malattia

20 Il test nella realtà Popolazione malati sani Test + corretto Test- non corretto Test+ non corretto Test - corretto (veri positivi) (falsi negativi) (falsi positivi) (veri negativi) 20

21 Validità La distribuzione degli individui in ogni categoria viene spesso rappresentata in una tabella 2 x 2: Verità + - Totale + a b a+b Test - c d c + d Totale a+c b+d a+b+c+d

22 Validità La distribuzione degli individui in ogni categoria viene spesso rappresentata in una tabella 2 x 2: Verità + - Totale + a (VP) b(fp) a+b Test - c (FN) d(vn) c + d Totale a+c b+d a+b+c+d

23 Sensibilità È la capacità di un test di classificare correttamente t i positivi i di riferimento La proporzione A/(A+C) è una misura della probabilità di classificare correttamente come positivi i positivi di riferimento 23

24 Sensibilità (es.) È la capacità di un test di identificare gli animali che hanno la malattia nella popolazione controllata La proporzione p A/(A+C) veri positivi/malati è una misura della probabilità di identificare correttamente come positivi i soggetti malati 24

25 Sensibilità: la capacità del test di identificare gli individui id i malati riferimento rfermento malattia + malattia - Totale Test + a (VP) b (FP) a + b - c (FN) d (VN) c + d Totale a + c b + d a + b + c + d veri positivi/totale di chi ha la malattia = a/(a+c) 25

26 Sensibilità: la capacità del test di identificare gli individui id i malati riferimento rfermento malattia + malattia - Totale Test - + Totale

27 Sensibilità: la capacità del test di identificare gli individui id i malati riferimento rfermento malattia + malattia - Totale Test Totale veri positivi/totale di chi ha la malattia = a/(a+c) =222/222=100% 27

28 Sensibilità: la capacità del test di identificare gli individui id i malati riferimento rfermento malattia + malattia - Totale Test Totale veri positivi/totale di chi ha la malattia = a/(a+c) =180/222=81% 28

29 Specificità È la capacità di un test di classificare correttamente i negativi di riferimento 29

30 Es. Specificità: la capacità del test di identificare come negativi coloro che sono sani riferimento rf rm malattia + malattia - Totale Test + a (VP) b (FP) a + b - c (FN) d (VN) c + d Totale a + c b + d a + b + c + d veri negativi/totale di chi non ha la malattia = d/(b+d) 30

31 Specificità: la capacità del test di identificare come negativi coloro che sono sani riferimento rf rm malattia + malattia - Totale Test Totale veri negativi/totale di chi non ha la malattia = 75/75=100% 31

32 Specificità: la capacità del test di identificare come negativi coloro che sono sani Verità malattia + malattia - Totale Test Totale veri negativi/totale di chi non ha la malattia = 70/75=93% 32

33 Relazione tra sensibilità e specificità Generalmente, la sensibilità e la specificità dipendono d dalle caratteristiche ti biologiche i del test Esempio: Test per l HIV: ELISA sensibilità, specificità Western Blot sensibilità, specificità 33

34 Valore Predittivo Positivo (VPP): percentuale di prove positive al test t che sono realmente positive Valore Predittivo Negativo (VPN): la percentuale di prove negative al test che sono realmente negative 34

35 Es. E.Valore Predittivo Positivo: la percentuale di soggetti positivi al test che sono realmente malati Verità malattia + malattia - Totale Test + a (VP) b (FP) a + b - c (FN) d (VN) c + d Totale a + c b + d a + b + c + d veri positivi/totale di chi risulta positivo al test = a/(a+b) 35

36 Es. E.Valore Predittivo Positivo: la percentuale di soggetti positivi al test che sono realmente malati Verità malattia + malattia - Totale Test Totale veri positivi/totale di chi risulta positivo al test = a/(a+b) =180/185=97,2% 36

37 Es. Valore Predittivo Negativo: la percentuale di soggetti negativi al test che sono realmente sani Verità malattia + malattia - Totale Test + a (VP) b (FP) a + b - c (FN) d (VN) c + d Totale a + c b + d a + b + c + d veri negativi/totale di chi risulta negativo al test = d/(c+d) 37

38 Es. Valore Predittivo Negativo: la percentuale di soggetti negativi al test che sono realmente sani Verità malattia + malattia - Totale Test Totale veri negativi/totale di chi risulta negativo al test = d/(c+d) =70/112=62,5% 38

39 Valore Predittivo Positivo (VPP) e Valore Predittivo Negativo (VPN) Il VPP risponde alla domanda: Qual è la proporzione di persone, positive al test, affette dalla malattia? VPN: Qual è la proporzione p di persone, negative al test, ma realmente sane? 39

40 Sensibilità: la capacità del test di identificare gli individui id i malati Test riferimento rfermento malattia + malattia - Totale Totale veri positivi/totale di chi ha la malattia = a/(a+c) =180/222=81% 40

41 Es. E.Valore Predittivo Positivo: la percentuale di soggetti positivi al test che sono realmente malati Verità malattia + malattia - Totale Test Totale veri positivi/totale di chi risulta positivo al test = a/(a+b) =180/185=97,2% 41

42 VPP e VPN In parole... Maggiore è la prevalenza e/o la specificità, più alto è il valore predittivo positivo La prevalenza e la specificità influiscono i anche sul valore predittivo negativo, pur avendo un effetto minore rispetto a quello osservato con il VPP 42

43 Interpretazione: t misure di validità Sensibilità e specificità: i Aiutano nella decisione di usare o meno un test Non dipendono n dalla prevalenza della malattia (/percentuale di vere positività) VPP e VPN Vengono calcolati dopo l applicazione di un test a una popolazione Usati per interpretare i risultati di un test Dipendono dalla prevalenza, la specificità (VPP) e la sensibilità (VPN) 43

44 Validità sani malati aa Valore del test In un test ideale non c è una sovrapposizione i dei risultati del test eseguito su soggetti malati e su quelli sani, i.e., su prove realmente positive e quelle realmente negative 44

45 riferimento rfermento malattia + malattia - Totale Test Totale

46 Validità sani malati Valore del test In realtà, c è quasi sempre una parziale sovrapposizione dei valori osservabili per i positivi e i negativi Problemi con la validità 46

47 Verità malattia + malattia - Totale Test Totale

48 Validità Per distinguere i valori normali da quelli anormali, si deve definire un valore soglia. Facendolo, si creano quattro categorie potenziali: 1. I soggetti realmente malati e positivi al test: veri positivi 2. I soggetti realmente malati ma negativi al test: falsi negativi 3. I soggetti realmente sani e negativi al test: veri negativi 4. I soggetti realmente sani ma positivi al test: falsi positivi 48

49 La distribuzione degli individui in ogni categoria viene spesso rappresentata in una tabella 2 x 2: Verità + - Totale + a (VP) b(fp) a+b Test - c (FN) d(vn) c + d Totale a+c b+d a+b+c+d

50 Validità veri negativi sani soglia malati veri positivi falsi negativi falsi positivi M Miceli

51 Per alcuni test, i valori sono continui (densità ottica, glicemia, ecc.), e si può scegliere un valore soglia che alza la sensibilità ( VP, FN) falsi negativi soglia malati veri positivi MA... 51

52 sani veri negativi soglia malati veri positivi falsi negativi falsi positivi Si aumenta il tasso di falsi positivi e si abbassa la specificità ità ( VN, FP )! 52

53 Viceversa, si può scegliere un valore soglia che alza la specificità ( VN, FP) sani veri negativi soglia falsi positivi 53

54 Ma...si diminuisce la sensibilità (( VP, FN )! soglia sani veri negativi veri positivi malati falsi negativi falsi positivi 54

55 Relazione tra sensibilità e specificità x x Non si può avere la botte piena e la moglie ubriaca! 55

56 Come scegliere la soglia giusta? Dipende da: le conseguenze di un risultato falso negativo le conseguenze di un risultato t falso positivo le risorse per condurre ulteriori test diagnostici o procedure per il trattamento dei soggetti positivi 56

57 Area under ROC curve = Sensitiv ity Specificity 57

58 Curva R.O.C. Curva rappresentante sensibilità e specificità per ogni valore soglia Utile strumento per stabilire come scegliere un valore soglia data una certa sensibilità e specificità In ascissa: 1-specificità In ordinata:sensibilità 58