MODALITA DI VALUTAZIONE DELL ACCURATEZZA DIAGNOSTICA

Transcript

1 MODALITA DI VALUTAZIONE DELL ACCURATEZZA DIAGNOSTICA

2 Accuratezza diagnostica E definita come la capacità di un test diagnostico di discriminare tra due condizioni cliniche diverse; per esempio: malattia e assenza di malattia, infezione e assenza di infezione, ecc. Viene chiamata anche: capacità diagnostica, validità o performance. Un test quindi che discrimina tra malati e sani risulta accurato se vi è concordanza tra positività del test e presenza di malattia (oppure negatività del test e assenza di malattia).

3 I fattori che determinano accuratezza diagnostica sono: - Sensibilità diagnostica - Specificità diagnostica - Predictive Value - Curve ROC Nota: si parla di condizioni diagnostiche e non analitiche

4 Esempio Per poter quantificare la Sensibilità, la Specificità e gli altri fattori che concorrono a determinare l accuratezza diagnostica di un test, ci serviamo di una tabella 2 x 2 (di contingenza o della verità). Test in esame Golden test Golden test Malattia presente Malattia assente Test positivo Veri positivi (VP) Falsi positivi (FP) Totale positivi Test negativo Falsi negativi (FN) Veri negativi (VN) Totale negativi Totale con malattia Totale senza malattia Totale generale

5 Test in esame Golden test Malattia presente Golden test Malattia assente Test positivo Veri positivi (VP) Falsi positivi (FP) Totale positivi Test negativo Falsi negativi (FN) Veri negativi (VN) Totale negativi Totale con malattia Totale senza malattia Totale generale + + Sensibilità P( V Μ ) = Specificità P( V Μ ) = VP VP + FN VN VN + FP Prob di essere pos tra i malati Prob di essere neg tra i sani Variando il Cut off di un test una aumenta e contemporaneamente l altra spesso diminuisce. Es. marker biochimico per l AMI, Ab anti-virus per infezione virale, ecc.

6 + + VP Sensibilità P( V Μ ) = Specificità P( V Μ ) = VP + FN VN VN + FP Il test è positivo se il livello del paziente è >c-o e negativo se è <c-o. A 1,8 pr B 0,8 pr C 0,7 pr C-O D 0,6 as C-O E 0,5 pr F 0,2 as C-O G 0,1 as pr: presenza malattia as: assenza malattia Se c-o diminuisce, diminuisce numero FN e quindi aumenta la sensibilità; tuttavia aumenta il numero FP e ciò determina una diminuzione della specificità. Se c-o aumenta, avremo l effetto opposto.

7 Un buon test diagnostico dovrà quindi bilanciare Sensibilità e Specificità (Curve ROC) Un altro fattore importante per valutare l accuratezza di un test è la: Prevalenza P( Μ ) = VP FN VP + FP + VN + FN + + Prob di essere mal I valori di sensibilità, specificità e prevalenza sono riportati in letteratura

8 Lo scopo principale dell interpretazione di un test diagnostico è quello di conoscere la probabilità di avere un infezione o una malattia in presenza di quel particolare risultato del test: Predictive value PPV (o Pred +) + + P( M V ) = VP VP + FP Prob di essere mal tra i pos NPV (o Pred -) P( M V ) = VN VN + FN Prob di essere sano tra i neg

9 Rappresentazione schematica di sensibilità e PPV FN VP FP VP (malati) Malati Positivi La percentuale di positivi tra i malati è la sensibilità La percentuale di malati tra i positivi è il PPV

10 Esempio 1 Nella pratica reumatologica, la prevalenza di Lupus Eritematoso Sistemico (SLE) nei pazienti sottoposti al test ANA (anticorpi antinucleo) è del 2,88%. La sensibilità del test ANA è del 98%, mentre la specificità è del 93%. Qual è la probabilità di SLE per un paziente reumatologico che ha il test ANA positivo?

11 Metodo tradizionale Costruiamo una tabella 2 x 2 considerando un ipotetica popolazione formata da persone. Dobbiamo ora riempire tutte le celle della tabella. SLE N O N SLE AN A positivo VP FP AN A negativo FN VN VP PPV = VP + FP Dobbiamo quindi determinare VP e FP

12 SLE NO N SLE AN A positivo VP FP AN A negativo FN VN Se la Sensibilità è del 98%, allora possiamo scrivere: 0,98 = VP / 2880 e ricavare VP = 2822.

13 SLE NO N SLE AN A positivo VP FP AN A negativo FN VN Se la Specificità è del 93%, allora possiamo scrivere: 0,93 = VN / e ricavare VN =

14 SLE NON SLE ANA positivo VP = 2822 FP = ANA negativo FN VN = VP PPV = VP + FP PPV = 2822 / 9620 = 0,293

15 Certe volte il PPV è espresso diversamente: PPV = prevalenza sensibilità prevalenza sensibilità + (1 prevalenza) (1 specificità) Metodo basato sul Teorema di Bayes Il Teorema di Bayes definisce la P E (H), cioè la probabilità dell evento H (presenza di malattia) condizionato da E (test positivo), che corrisponde al PPV: Prob di essere mal tra i pos

16 Metodo basato sul Teorema di Bayes Il Teorema di Bayes definisce la P E (H), cioè la probabilità dell evento H (presenza di malattia) condizionato da E (test positivo), che corrisponde al PPV: Prob di essere mal tra i pos P(H) = Probabilità di essere malati = Prevalenza P H (E) = Probabilità di avere il test positivo in presenza di malattia = = VP / (VP + FN) = Sensibilità P(~H) = Probabilità di non essere malati e quindi = 1- Prevalenza P ~H (E) = Probabilità di avere il test positivo in assenza di malattia = = FP / (FP + VN) = 1 Specificità. PPV = prevalenza sensibilità prevalenza sensibilità + (1 prevalenza) (1 specificità)

17 PPV = prevalenza sensibilità prevalenza sensibilità + (1 prevalenza) (1 specificità) PPV 0, ,98 0, = = = 0, ,98 + 0,9712 0,07 0, , , 293 La tabella seguente riporta i valori della prevalenza e dei PV per un test con 75% di sensibilità e specificità. Prevalenza PPV NPV 0,1 0,250 0,964 0,01 0,029 0,997 0,001 0,003 1,000

18 Uso dei Rapporti di Probabilità (LR) Per calcolare il PPV di un test è possibile anche impiegare i Rapporti di Probabilità (LR), il cui valore è riportato in letteratura.. Essi rappresentano quindi uno strumento per valutare l accuratezza di un test. LR = Rapporto tra la Probabilità del risultato di un test nella popolazione con malattia e la Probabilità di quel risultato nella popolazione senza malattia. LR = VP VP FN FP FP + VN + + LR = FN VP FN VN FP + VN +

19 Esempio 2 Malattia presente Malattia assente Totale Test positivo 90 90/ / Test negativo Totale LR = VP VP FN FP FP + VN + +

20 Esempio 2 Malattia presente Malattia assente Totale Test positivo 90 90/ / Test negativo Significato Totale LR = = 4,5 LR = = Il test ha 4,5 volte più probabilità di essere positivo tra i malati rispetto ai sani (più il valore di LR + è alto e più il test è accurato). Ha inoltre 8 volte meno probabilità di essere negativo tra i malati rispetto ai sani (1/8), cioè ha 8 volte più probabilità di essere negativo tra i sani rispetto ai malati (più il valore di LR - è basso e più il test è accurato).

21 Esempio 3 Presenza di malattia Assenza di malattia Totale Test fortemente positivo 60 60/ / Test debolmente positivo 30 30/ / Test negativo Totale LR = VP VP FN FP FP + VN + +

22 Esempio 3 Presenza di malattia Assenza di malattia Totale Test fortemente positivo 60 60/ / Test debolmente positivo 30 30/ / Test negativo Totale LR ++ = 100 = LR + = 100 = Nota Un test è utile se determina un incremento o un probabilità di malattia dal pre-test al post-test. decremento di

23 Intrepretazione LR LR Variazione di probabilità dal pre-test al post-test > 10 o < 0,01 Elevata 5-10 e 0,1-0,2 Moderata 2-5 e 0,5-0,2 Bassa ma spesso importante 1-2 e 0,5-1 Bassa, raramente importante

24 LR = VP VP FN FP FP + VN + + LR = FN VP FN VN FP + VN + Sensibilità LR + 1 Sensibilità = LR = 1 Specificità Specificità PPV = prevalenza sensibilità prevalenza sensibilità + (1 prevalenza) (1 specificità) Sostituendo opportunamente abbiamo: PPV + prevalenza LR = 1 prevalenza + prevalenza LR +

25 PPV + prevalenza LR = 1 prevalenza + prevalenza LR + LR + = 0,98 / 0,07 = 14 PPV 0, = = 0, , , 293

26 Le tre formule del PPV PPV = + + P( M V ) = VP VP + FP PPV = prevalenza sensibilità prevalenza sensibilità + (1 prevalenza) (1 specificità) PPV + prevalenza LR = 1 prevalenza + prevalenza LR +

27 Esempio 4 Consideriamo i seguenti dati relativi a pazienti con sospetto ipotiroidismo, riportati da Goldstein e Mushlin (J. Gen. Intern. Med. 1987; 2:20-24). Questi Autori hanno misurato il livello di T4 e TSH in pazienti con sospetto ipotiroidismo e hanno usato i valori del TSH per determinare quali pazienti erano veramente ipotiroidei. Valori di T4 Ipotiroidei Eutiroidei Totale LR , ,2 7, , ,2 Totali Qual è il PPV per i valori 5 mg/dl?

28 Valori di T4 Ipotiroidei Eutiroidei Totale LR , ,2 7, , ,2 Totali Metodo tradizionale PPV VP = VP + FP PPV = 18/19 = 0,94 Metodo con gli LR PPV + prevalenza LR = 1 prevalenza + prevalenza LR Prevalenza = 32/125 = 0,256 + PPV 0, = = 0, , ,94

29 Esempio 5 E stato condotto uno studio (Lakemann F. et al. J. Infect. Dis. 1995; 171: ) su un gruppo di pazienti con sospetta encefalite da herpes simplex (HSE), al fine di misurare la sensibilità, la specificità e i PV del test diagnostico PCR per HSV-DNA su liquor. La diagnosi di HSE si basava sulla coltura cellulare del virus da biopsie cerebrali. La PCR sul liquor era positiva su 53 di 54 pazienti. La specificità è risultata pari a 0,94 e il PPV pari a 0,95. Determinare la sensibilità e l NPV. Presenza di malattia Assenza di malattia Test positivo Test negativo 53 (VP) 1 (FN) Totale 54

30 Presenza di malattia Assenza di malattia Test positivo Test negativo 53 (VP) 1 (FN) Totale 54 Sensibilità = 53/54 = 0,98

31 Presenza di malattia Assenza di malattia Test positivo Test negativo 53 (VP) 1 (FN) Totale 54 PPV = 0, ,95 FP = = 3 0,95 VP PPV = VP + FP FP = 3 0,95 = FP Specificità = 0,94 VN Specificità = 0,94 VN + FP 2,82 VN = = 47 VN = 47 0,06 VN NPV = P( M V ) = VN + FN VN = VN NPV = = 0,98 48 VN ( 1 0,94) = 3 0,94 NPV = 0,98

32 Introduzione alle Curve ROC Osservando il grafico ideale sotto riportato che mostra la frequenza dei pazienti con e senza malattia in funzione del valore del test diagnostico, possiamo facilmente individuare sull asse delle ascisse il valore del cut off o cut point capace di discriminare con precisione le due popolazioni. Distribuzione degli esiti di un ipotetico test nelle classi di individui i malati e non malati, senza sovrapposizione inter-classe

33 Nel seguente grafico che mostra la frequenza dei pazienti con e senza malattia in funzione del valore del test diagnostico, possiamo distinguere invece un area di sovrapposizione, caratterizzata da valori del test corrispondenti a pazienti con e senza malattia. Distribuzione degli esiti di un ipotetico test nelle classi di individui i malati e non malati, con sovrapposizione inter-classe

34 E in quest area che viene scelto il cut off indicato dalla linea verticale. La posizione del cut off determinerà il numero di veri positivi, veri negativi, falsi positivi e falsi negativi e quindi variando tale posizione otterremo diversi valori di Sensibilità e Specificità.

35 Scelta del valore Cut off E possibile dimostrare che, quando la distribuzione del valore nelle due classi sani-malati è di tipo normale, la soglia discriminante ottimale, ossia il valore di cut off che minimizza gli errori di classificazione, è pari al valore in ascissa corrispondente al punto di intersezione delle due classi. Bisogna valutare anche l impatto di tipo sanitario, economico, sociale, ecc. Infatti, per malattie ad alta contagiosità, è opportuno minimizzare i FN e quindi privilegiare la Sensibilità, mentre per malattie non contagiose trattabili con terapie molto costose si tende a minimizzare i FP e quindi a privilegiare la Specificità. Tutte queste problematiche vengono affrontate attraverso l analisi ROC.

36 Esempio 4 Consideriamo i seguenti dati relativi a pazienti affetti da tumore e non (discriminazione effettuata con golden test ). Si è misurato il marcatore B per determinare quali pazienti erano affetti da tumore.

37 E possibile migliorare la Sensibilità spostando il cut-point verso più bassi livelli del marcatore B (e quindi fissando un criterio di positività meno stringente). E anche possibile migliorare la Specificità spostando il cut-point verso valori più alti del marcatore B determinando così un criterio di positività più stringente). Se cambiamo la definizione di test positivo per aumentare una delle due, l altra, di conseguenza, si ridurrà.

38 Costruzione e interpretazione di una Curva ROC Facendo riferimento a questa nuova tabella è possibile costruire un grafico che descriva: la variazione della percentuale di positivi tra i malati (Sensibilità) e della percentuale di positivi tra i sani (1 Specificità) al variare del cut-point. Questo tipo di grafico è chiamato Receiver Operating Characteristic Curve (o Curva ROC).

39 Una Curva ROC fornisce molte informazioni.

40 Dimostra il trade off (relazione inversa) tra sensibilità e specificità (qualunque incremento di sensibilità sarà accompagnato da un decremento di specificità).

41 Più la curva segue il bordo a sinistra e poi quello in alto dello spazio ROC, più il test è accurato. Più la curva si avvicina alla diagonale dello spazio ROC, meno accurato è il test.

42 La pendenza della tangente al cut point fornisce il valore di LR +. C è da ricordare che il valore di LR + per T4 < 5 è pari a 52. Ciò corrisponde alla porzione di curva più a sinistra e più ripida. Il valore di LR + per T4 > 9 è 0,2. Ciò corrisponde invece a quella porzione di curva più a destra e quasi orizzontale.

43 Il valore del cut-point più in alto a sx è quello che conferisce maggiore accuratezza al test. E quello intorno al quale succede che se aumento la sensibilità quindi i VP non ho di conseguenza un aumento di 1-Specificità che si verifica quando aumento anche i FP

44 L area sotto la curva è una misura dell accuratezza del test

45 Area sotto una Curva ROC Il grafico sotto riportato mostra tre curve ROC che rappresentano tre test, uno eccellente, uno buono e uno scadente. Curve ROC 1 Sensibilità 0,8 0,6 0,4 E B S 0, ,2 0,4 0,6 0, Specificità

46 Per quanto riguarda l interpretazione del valore dell area sotto la curva (AUC), si può tener presente la classificazione proposta da Swets (1998). AUC 1,0 0,90 1,0 0,70 0,90 0,50 0,70 0,50 Tipo di Test- accuratezza test perfetto test altamente accurato test moderatamente accurato test poco accurato test non informativo L area sotto la curva ROC per MB è 0,86. Il test basato sul dosaggio del marcatore B deve essere quindi considerato moderatamente accurato (per separare i pazienti affetti da tumore da quelli sani).

47 Significato di Area sotto la Curva ROC La capacità del test di classificare correttamente i soggetti malati da quelli sani è proporzionale all estensione dell AUC ed equivale alla: probabilità che il risultato di un test su un individuo estratto a caso dal gruppo dei malati sia superiore (o inferiore) a quello di uno estratto a caso dal gruppo dei non malati. Esiste una relazione che lega la AUC alla statistica U di Wilcoxon e Mann- Whitney, utilizzata per testare l ipotesi nulla che i due gruppi abbiano la stessa mediana. Tale ipotesi è del tutto equivalente a testare che un soggetto estratto a caso da un gruppo X abbia la stessa probabilità di presentare un valore della variabile superiore (o inferiore) ad un valore predefinito di quello di un soggetto estratto a caso dall altro gruppo Y.

48 Calcolo e confronto tra Aree Due metodi sono comunemente usati: 1. un metodo non parametrico (metodo di De Long) basato sulla costruzione di un trapezoide sotto la curva come approssimazione dell area (da notare che l area è sicuramente < 1); 2. un metodo parametrico che fornisce una curva che si avvicina ai punti dati con la massima probabilità (vedi sotto). Per il confronto tra Aree si utilizza un test statistico simile al test t (basato sulla distribuzione normale standardizzata): Z = A A 1 2 Metodo di Hanley e McNeil SE ( A A ) 1 2 Se Z è sopra un certo livello critico, comunemente pari a 1,96 in quanto si fa riferimento alle tabelle per il t di Student con infiniti GL, allora accettiamo il fatto che le due aree siano differenti.

49 SE = SE + SE 2 2 ( A A ) ( A ) ( A ) Due test applicati a due gruppi diversi SE = SE + SE 2rSE SE 2 2 ( A A ) ( A ) ( A ) ( A ) ( A ) Due test applicati allo stesso gruppo Il coefficiente di correlazione tra le due aree, r, si ottiene con i seguenti passaggi: a) calcolo del coefficiente di correlazione tra i pazienti non malati con i due test: r n ; b) calcolo del coefficiente di correlazione tra i pazienti malati con i due test: r a ; c) calcolo della correlazione media: r m = ( r + r ) n 2 d) calcolo dell area media: a A m = ( A + A ) 1 2 2

50 e) uso di una tabella che riporta in alto (in orizzontale) l area media e a sinistra (in verticale) la correlazione media; per interpolazione è possibile ottenere il coefficiente di correlazione tra le due aree (r). Correlazione media Area media 0,7 0,75 0,8 0,85 0,9 0,95 0,1 0,09 0,09 0,08 0,08 0,07 0,06 0,2 0,18 0,18 0,17 0,16 0,15 0,12 0,3 0,27 0,27 0,26 0,25 0,23 0,19 0,4 0,37 0,36 0,35 0,34 0,32 0,28 0,5 0,47 0,46 0,45 0,43 0,41 0,37 0,6 0,57 0,56 0,55 0,53 0,51 0,47 0,7 0,67 0,66 0,65 0,64 0,62 0,58 0,8 0,77 0,77 0,76 0,75 0,73 0,70 0,9 0,88 0,88 0,87 0,87 0,86 0,84

51 Calcolo di SE (A) SE ( A) = A (1 A) + ( n 1) ( Q A ) + ( n 1) ( Q A ) a n 2 n a n n Q 1 2 A 2A = Q2 = 2 A 1 + A Z = A A 1 2 SE ( A A ) 1 2 Se Z è sopra un certo livello critico, comunemente pari a 1,96 in quanto si fa riferimento alle tabelle per il t di Student con infiniti GL, allora accettiamo il fatto che le due aree siano differenti.

52

53 Nota di interesse storico L analisi ROC è una metodologia (Signal Detection Theory) sviluppata per la prima volta durante la Seconda Guerra Mondiale per l analisi delle immagini radar e lo studio del rapporto segnale/disturbo. Serviva agli operatori di ricezione radar per distinguere il nemico. Segue

54 Oggetto in avvicinamento su uno schermo radar E un mezzo militare (navale) nemico o un rumore di fondo?

55 Era quindi necessario analizzare accuratamente i segnali di ricezione radar per poter discriminare tra oggetto in avvicinamento nemico (VP) e rumore di fondo. Questo tipo di analisi dei segnali fu denominato: Receiver Operating Characteristic o Relative Operating Characteristic.