Genova dà i numeri. Dal dottore: Prologo. Dal dottore: Primo tempo. La statistica e i test diagnostici Un po di statistica fa bene alla salute

Transcript

1 SCUOLA DI SCIENZE MATEMATICHE, FISICHE E NATURALI DIMA DIPARTIMENTO DI MATEMATICA Genova dà i numeri Il problema La statistica e i test diagnostici Un po di statistica fa bene alla salute Laura Ventura Univ. Padova Genova, Palazzo Ducale 10 aprile 2019 Genova dà i numeri Genova, 10 aprile / 52 Genova dà i numeri Genova, 10 aprile / 52 Sceneggiatura Dal dottore: Prologo Ambientazione: nello studio del pediatra del vostro fratellino/figlioletto. Il bambino piagnucola e la mamma appare piuttosto agitata. La mamma: Il mio piccino ha la febbre alta e la lingua a lampone. Dottore... che sia la scarlattina? L indagine Dal dottore: Primo tempo Il dottore prende un tampone faringeo, lo passa leggermente sulle tonsille del bimbo. Quindi inserisce il bastoncino nell apposito astuccio e attende l esito. Il test diagnostico (tampone faringeo) è positivo. Il medico sa anche che nella popolazione in età 6-12 anni la proporzione di soggetti a etti da una certa malattia (prevalenza) è del 10%. E sa anche che il tampone fornisce la risposta corretta (veri positivi e veri negativi) nel 98% dei casi. Da Wikipedia: La scarlattina è una malattia infettiva acuta contagiosa, caratteristica dell età 6-12 anni, che si manifesta con febbre e enantema. A differenza di rosolia, varicella ecc. è l unica provocata da batteri. Sulla base dell esito, il dottore può comunicare alla mamma quanto vale la probabilità che il figlio abbia davvero la scarlattina, dato che è risultato positivo al test. Il secondo tempo alla fine del seminario. Genova dà i numeri Genova, 10 aprile / 52 Genova dà i numeri Genova, 10 aprile / 52

2 Test diagnostico Test diagnostico Una delle ragioni principali per e ettuare misurazioni cliniche è fornire uno strumento di supporto alle diagnosi. La misurazione clinica fornisce un test diagnostico, che consente di classificare i soggetti in due gruppi: 1. gruppo dei pazienti sani (M ) 2. gruppo dei pazienti malati (M + ) Il test è positivo (T + ) se segnala la presenza della malattia ed è negativo (T ) se non la segnala. Ma perchè la statistica è utile al test diagnostico? Genova dà i numeri Genova, 10 aprile / 52 Genova dà i numeri Genova, 10 aprile / 52 Un esempio Test diagnostico Misure della creatinachinasi () in pazienti con angina instabile (AI) ed infarto miocardico acuto (IMA). Idati: IMA AI creat creat pat AI AI AI AI AI AI IMA IMA IMA IMA IMA Dal momento che i pazienti con IMA tendono a presentare valori di maggiori, questa misurazione può rappresentare un test diagnostico? Se sì, come scegliere il punto di soglia? Ipotesi di interesse: valutare l accuratezza diagnostica del test basato sulla misura della per discriminare tra pazienti con IMA (malati) e con AI (sani). IMA AI creat Il più basso tra i pazienti con IMA è Una soglia inferiore a k =4.49 permette di identificare tutti i pazienti con IMA. Ma il 58% dei pazienti con AI è al di sopra di quella soglia. Èimportantecapirela classificazione dei pazienti a seconda della soglia k fissata. Genova dà i numeri Genova, 10 aprile / 52 Genova dà i numeri Genova, 10 aprile / 52

3 Una prima analisi con soglia di fissata Distribuzioni di nei due gruppi Distribuzioni di nei due gruppi. Histogram of AI Histogram of IMA Density Density AI IMA AI IMA AI IMA Consideriamo una soglia di pari a k =5. Il test diagnostico è positivo (T + )se> 5. Quali sono le conseguenze della scelta del cut-o k =5? Con k =5si commettono due errori: si classificano alcuni pazienti AI (sani) come IMA (malati) si classificano alcuni pazienti IMA (malati) come AI (sani) Genova dà i numeri Genova, 10 aprile / 52 Genova dà i numeri Genova, 10 aprile / 52 Distribuzioni ideali nei due gruppi Distribuzioni peggiori nei due gruppi Con k =5non si commettono errori: si classificano tutti i pazienti AI come sani si classificano tutti i pazienti IMA come malati La classificazione del paziente avviene lanciando una moneta. Genova dà i numeri Genova, 10 aprile / 52 Genova dà i numeri Genova, 10 aprile / 52

4 Falsi Positivi e Falsi Negativi La matrice di confusione In genere le distribuzioni delle misurazioni del test diagnostico nei due gruppi (pazienti M+ e pazienti M ) si sovrappongono. Per ogni soglia k (criterion value o cut-o ) ci saranno: 1. dei pazienti malati correttamente classificati come positivi (TP = True Positive o Veri Positivi) 2. dei pazienti malati classificati come negativi (FN = False Negative o Falsi Negativi) 3. dei pazienti sani correttamente classificati come negativi (TN = True Negative o Veri Negativi) 4. dei pazienti sani classificati come positivi (FP = False Positive o Falsi Positivi) I quattro valori TP, FN, TN e FP possono essere rappresentati in una tabella a doppia entrata (matrice di confusione o tabella di errata classificazione) che conta il numero di casi classificati correttamente o meno: Test Positivo Test Negativo Paziente Malato Paziente Sano TP (Veri Positivi) FN (Falsi Negativi) FP (Falsi Positivi) TN (Veri Negativi) TP + FN FP + TN Totale 13/ 52 Totale TP + FP FN + TN 14/ 52 Falsi Positivi e Falsi Negativi Validit`a e affidabilit`a di un test diagnostico 15/ 52 16/ 52

5 L accuratezza del test diagnostico Paziente Malato Paziente Sano Totale Test Positivo TP (Veri Positivi) FP (Falsi Positivi) TP + FP Test Negativo FN (Falsi Negativi) TN (Veri Negativi) FN + TN Totale TP + FN FP + TN La validità del test può essere misurata tramite la corretta classificazione dei pazienti sani e malati. L accuratezza del test è definita come accuratezza = TP+TN TP+FN+FP+TN Cosa chiediamo a un test? Ma a partire dalla classificazione, si possono ottenere due importanti indici della qualità del test: la sensibilità elaspecificità. La sensibilità (sensitivity) è definita come sensibilità = TP TP+FN ed esprime la proporzione di Veri Positivi (TP) rispetto al numero totale di positivi e ettivi, ossia di pazienti malati (TP+FN). Un test diagnostico è sensibile al 100% quando tutti i malati risultano positivi. La specificità (specificity) è definita come specificità = TN FP+TN e misura la proporzione di Veri Negativi (TN) rispetto al numero totale di negativi e ettivi, ossia di pazienti sani (FP+TN). Un test diagnostico è specifico al 100% quando tutti i sani risultano negativi. Genova dà i numeri Genova, 10 aprile / 52 Genova dà i numeri Genova, 10 aprile / 52 Sensibilità e Specificità È chiaro che un test diagnostico sensibile e specifico al 100% non lascerebbe dubbi. Un test specifico ha alta capacità di classificare i SANI come NEGATIVI al test (basso rischio di Falsi Positivi). Un test sensibile ha alta capacità di classificare i MALATI come POSTIVI al test (basso rischio di Falsi Negativi). I valori della sensibilità e della specificità dipendono ovviamente dalla soglia k fissata nella classificazione. L aspirazione è minimizzare gli errori. P.S. Per la scarlattina, sensibilità e specificità sono entrambe del 98% Sensibilità o Specificità? Per un valore elevato di k, i Veri Positivi e la sensibilità decrescono, con la specificità e i Veri Negativi che aumentano. Per un valore basso di k, i Veri Positivi e la sensibilità aumentano, e i Veri Negativi e la specificità diminuiscono. Elevata sensibilità e bassa specificità o viceversa? Se la malattia è a grave rischio e richiede un intervento immediato, è preferibile un test molto sensibile. Se la malattia ha conseguenze non gravi, è meglio un test molto specifico Genova dà i numeri Genova, 10 aprile / 52 Genova dà i numeri Genova, 10 aprile / 52

6 Nell esempio Il calcolo della sensibilità e della specificità per un valore della soglia fissato a k =5per i dati sul fornisce: IMA (M + ) AI (M ) Totale Test Positivo (creat> 5) Test Negativo (creatapple 5) Totale E se la soglia non è fissata? accuratezza = (26+77)/120 = sensibilità = 26/27 = specificità = 77/93 = Genova dà i numeri Genova, 10 aprile / 52 Genova dà i numeri Genova, 10 aprile / 52 Adeguatezza del test diagnostico: la curva ROC Uno strumento per valutare l adeguatezza di un test diagnostico, basato sulla sensibilità e specificità, è fornito dalla curva ROC. È stata introdotta negli anni della II Guerra Mondiale nel contesto della teoria delle comunicazioni, per lo studio di particolari immagini radar rilevate nei campi di battaglia, dove si rendeva necessario che il ricevitore del segnale riconoscesse il segnale proveniente da oggetti bellici rispetto al rumore di fondo. È stata poi ampiamente utilizzata in altri ambiti applicativi, tra cui in particolare in controllo della qualità e in statistica medica. Ricordiamo che i valori della sensibilità e della specificità sono determinati dal valore di soglia k adottato. Genova dà i numeri Genova, 10 aprile / 52 La curva ROC Si pensi di far variare la soglia k e di calcolare in corrispondenza di ogni valore di k la sensibilità e la specificità. Il complesso delle sensibilità e delle specificità ai vari livelli discriminanti può essere rappresentato graficamente con la cosiddetta curva ROC. Si tratta di un diagramma cartesiano in cui sono riportati i punti di coordinate (1-specificità, sensibilità). Come si interpreta? Genova dà i numeri Genova, 10 aprile / 52

7 Interpretazione della curva ROC Interpretazione della curva ROC Un test perfetto dal punto di vista diagnostico (assenza di sovrapposizione tra i due gruppi) è rappresentato da una curva ROC che passa per l angolo superiore sinistro del sistema di assi cartesiani (100% specificità, 100% sensibilità). Al contrario, la bisettrice dell angolo nell origine corrisponde alla classificazione casuale dei pazienti. Pertanto, un buon test diagnostico avrà curva ROC il più sopra possibile della diagonale. Genova dà i numeri Genova, 10 aprile / 52 Genova dà i numeri Genova, 10 aprile / 52 Interpretazione della curva ROC Curva ROC per ROC Curve Nelle situazioni reali: Hit Rate False Alarm Rate Potrebbe essere utile avere una misura sintetica ed oggettiva dell e cacia del test, attraverso un indicatore di sintesi della curva ROC. Genova dà i numeri Genova, 10 aprile / 52 Genova dà i numeri Genova, 10 aprile / 52

8 Area sotto la curva ROC Un indicatore molto utilizzato della bontà del test diagnostico è costituito dall area sottesa alla curva ROC (AUC = Area Under the Roc Curve). Sia X la variabile che rappresenta la misura nel gruppo dei pazienti sani e Y quella nel gruppo dei pazienti malati. L AUC può essere espressa come AUC = P (X <Y) Tale quantità, in letteratura, è nota anche come modello sollecitazione-resistenza (stress-strength model). Interpretazione AUC L interpretazione del valore dell AUC avviene convenzionalmente secondo la seguente scala: AUC =0.5: test non informativo 0.5 < AUC apple 0.7: testpocoaccurato 0.7 < AUC apple 0.9: testmoderatamenteaccurato 0.9 < AUC < 1.0: testaltamenteaccurato AUC =1.0: testperfetto Nei dati su si trova AUC =0.975: il test diagnostico basato su è altamente accurato. (p.s. la statistica o re diversi metodi per una accurata stima dell AUC) Genova dà i numeri Genova, 10 aprile / 52 Genova dà i numeri Genova, 10 aprile / 52 Confronto di test diagnostici tramite curve ROC È intuitivo come la curva ROC (e l AUC) possa essere anche utilizzata per confrontare l e cienza di test diagnostici di erenti di una particolare patologia: la curva più spostata verso il centro del grafico appartiene all esame peggiore. Scelta della soglia ottimale Genova dà i numeri Genova, 10 aprile / 52 Genova dà i numeri Genova, 10 aprile / 52

9 Scelta della soglia k ottimale: accuratezza È possibile determinare in maniera automatica un valore per la soglia k per discriminare tra i due gruppi di pazienti, che risponda ad un qualche criterio di ottimalità. Ad esempio, tra le misure di adeguatezza della previsione in una matrice di confusione, la più immediata è costituita dalla frazione totale di casi correttamente classificati: TP + TN accuratezza = TP +FN +FP +TN ROC Curve Nell esempio Il calcolo della sensibilità e della specificità per il valore della soglia fissato a k =5.89 per i dati sul fornisce: IMA (M + ) AI (M ) Totale Test Positivo (creat> 5) Test Negativo (creatapple 5) Totale Hit Rate Average accuracy ! k =5.89 accuratezza = (19+93)/120 = 0.93 sensibilità = 19/27 = 0.70 specificità = 93/93 = 1.0 False Alarm Rate Cutoff Genova dà i numeri Genova, 10 aprile / 52 Genova dà i numeri Genova, 10 aprile / 52 Scelta della soglia k ottimale: distanza Il punto sulla curva ROC più vicino all angolo superiore sinistro rappresenta il miglior compromesso tra sensibilità e specificità. La distanza di ogni punto della curva ROC al punto (0,1) è d = p (1 Sensibilità) 2 +(1 Specificità) 2 Il cut-o ottimale è il punto con distanza minore. Scelta della soglia k ottimale: distanza L indice J di Youden misura la distanza verticale tra la change line e il generico punto della curva ROC J = Sensibilità + Specificità 1 Il cut-o ottimale è il punto con distanza J massima.! k d =5.70 sensibilità=0.925 specificità=0.967! k J =5.70 sensibilità=0.925 specificità=0.967 coincide con k d Genova dà i numeri Genova, 10 aprile / 52 Genova dà i numeri Genova, 10 aprile / 52

10 Scelta della soglia k ottimale: considerazioni Ritorniamo dal dottore Per concludere, si nota che la scelta della soglia k non può essere dettata solo da considerazioni di tipo probabilistico volte a minimizzare la proporzione di classificazioni errate. ` anche necessario basarsi sul prevedibile impatto di tipo E sanitario, economico, sociale, ecc. di ciascuno dei due tipi di misclassificazione (Falsi Positivi e Falsi Negativi). Ad esempio, per malattie ad alta contagiosità potrebbe essere opportuno minimizzare la quota di Falsi Negativi, e quindi privilegiare la sensibilità a scapito della specificità. Viceversa, in altre situazioni (quali, ad esempio, malattie non contagiose, trattabili soltanto con una terapia molto costosa o invasiva) il prezzo di un Falso Positivo sarà verosimilmente superiore a quello di un Falso Negativo, e quindi la soglia k verrà determinata in modo da privilegiare la specificità. 37/ 52 38/ 52 CI INTERESSA P (M + T + ) Secondo tempo Definiamo gli eventi: M+ = (il bimbo ha la scarlattina) M = (il bimbo non ha la scarlattina) T+ = (il test è risultato positivo) T = (il test è risultato negativo) e assegniamo i valori: P(M+ ) = 0.10 P(M ) = 1 P(T+ P(T M+ ) M+ ) 0.9 = 0.1 = P(T M ) = 0.98 Reverendo Thomas Bayes ( ) Teorema di Bayes = P(T+ M ) = 0.02 Ci insegna ad aggiornare la valutazione della probabilità di un evento alla luce di nuove informazioni, oltre a quelle iniziali. 39/ 52 40/ 52

11 La tabella Da P(M + )ap(m + T + ) Paziente Malato Paziente Sano Totale Paziente Malato Paziente Sano Totale Test Positivo P(M + \T + ) P(M \T + ) P(T + ) Test Negativo P(M + \T ) P(M \T ) P(T ) Test Positivo P(M + \T + ) P(M \T + ) P(T + ) Test Negativo P(M + \T ) P(M \T ) P(T ) Totale P(M + )=0.1 P(M )=0.9 Totale P(M + )=0.1 P(M )=0.9 Da P(T + M + )=P(M + \T + )/P(M + ) = 0.98, si trova P(M + \T + )=P(T + M + )P(M + )= = Analogamente: P(M \T ) = e P(T \ M + )=P(T + \ M )= = Vogliamo P(M + T + ) Genova dà i numeri Genova, 10 aprile / 52 P (M + T + ) = P (M + \ T + )/P (T + ) = P (T + M + )P (M + ) P (M + \ T + )+P(M \ T + ) = P (T + M + )P (M + ) P (T + M + )P (M + )+P(T + M )P (M ) = =0.844 (P.S. questo è il Teorema di Bayes) Genova dà i numeri Genova, 10 aprile / 52 Teorema di Bayes Osservazione: Il punto di vista del medico Vi è una probabilità a priori che il paziente sia malato (P(M + ) = 0.10). Si conoscono le proprietà del test diagnostico (sensibilità e specificità). Vi è l evidenza sperimentale: il test risulta positivo. Tramite il teorema di Bayes si aggiorna la P(M + )in P(M + T + ), ottendendo la probabilità a posteriori. P (M + T + )= P (T + M + )P (M + ) P (T + M + )P (M + )+P(T + M )P (M ) Quando il medico esamina l esito di un test diagnostico ignora se il paziente sia sano o malato, ma vorrebbe che: I l esito positivo significasse malato I l esito negativo significasse sano Consideriamo due di erenti soluzioni: una con prevalenza bassa di malattia, e una con prevalenza alta. La probabilità a posteriori che il paziente sia malato è P (M + T + )= Genova dà i numeri Genova, 10 aprile / 52 Genova dà i numeri Genova, 10 aprile / 52

12 Prevalenza = 0.10 e 0.80 Osservazione: Il punto di vista del medico Paziente Malato Paziente Sano Totale Test Positivo Test Negativo Totale ) Sensibilità = 0.85, Specificità = Un soggetto con test positivo, quale probabilità ha di essere malato? Teorema di Bayes: P (M + T + )= P (T + M + )P (M + ) P (T + M + )P (M + )+P(T + M )P (M ) Paziente Malato Paziente Sano Totale Test Positivo Test Negativo Totale Quindi P (M + T + ) = 85/265 = 32.07% con prevalenza dell 10%. E P (M + T + ) = 680/720 = 94.4% con prevalenza dell 80% ) Sensibilità = 0.85, Specificità = Genova dà i numeri Genova, 10 aprile / 52 Genova dà i numeri Genova, 10 aprile / 52 Un altro esempio: test sul DNA In un caso di omicidio ci sono due sospetti, A e B, considerati dalla polizia ugualmente sospettati. Sul luogo del delitto sono stati rinvenuti dei capelli non appartenenti alla vittima, e quindi appartenenti al colpevole. La prova del DNA sui capelli e sui due sospetti ha portato alla conclusione che la probabilità di ottenere quel DNA facendo il test su A è 0.85 e quella di ottenere lo stesso DNA da B è 0.4. Qual è la probabilità che sia A il colpevole alla luce dell analisi del test sul DNA? E che sia B? Abbiamo: P (A) =P (B) =0.5 P (DNA osservato A) = 0.85 e P (DNA osservato B) = 0.40 Allora: P (DNA osservato A)P (A)+P (DNA osservato B)P (B) = =0.625 e P (A DNA osservato) = /0.625 = 0.68 P (B DNA osservato) = /0.625 = 0.32 Ma basta un solo test diagnostico? Genova dà i numeri Genova, 10 aprile / 52 Genova dà i numeri Genova, 10 aprile / 52

13 Un ultimo esempio: Migliorare la diagnosi con i test in serie I test diagnostici vengono usualmente somministrati in modo sequenziale. Se il soggetto è positivo al primo test viene sottoposto alla somministrazione del secondo test. Ad esempio, nella diagnosi del Carcinoma Mammario, si eseguono in serie 1. Mammografia (Sensibilità = 0.75, Specificità = 0.92). 2. Citologia (Sensibilità = 0.88, Specificità = 0.95) Migliorare la diagnosi con i test in serie La prevalenza di Carcinoma Mammario è Con la mammografia si ha: P (T + M + )=0.75,P(T M )=0.92 P (T M + )=0.25,P(T + M )=0.08. Il Teorema di Bayes fornisce: P (M + T + ) = = P (T + M + )P (M + ) P (T + M + )P (M + )+P(T + M )P (M ) ( ) =0.07 La probabilità a posteriori che la paziente sia malata è P (M + T + )=0.07. Si decide di eseguire un secondo test diagnostico. Genova dà i numeri Genova, 10 aprile / 52 Genova dà i numeri Genova, 10 aprile / 52 Migliorare la diagnosi con i test in serie La probabilità a priori è ora Con la citologia si ha: P (T + M + )=0.88,P(T M )=0.95 P (T M + )=0.12,P(T + M )=0.05. Il Teorema di Bayes fornisce: THE END Lo statistico è uno scienziato. Non studia però la cellula, le stelle, o il moto perpetuo: studia i dati. P (M + T + ) = = P (T + M + )P (M + ) P (T + M + )P (M + )+P(T + M )P (M ) (1 0.07) =0.57 Governo e Pubblica Amministrazione Imprese e Industria STATISTICA Finanza e assicurazioni La probabilità finale che la paziente sia malata, essendo risultata positiva a entrambi i test, è P (M + T + )=0.57. Medicina Tribunali Biologia Fisica e astronomia Ambiente e Energia Genova dà i numeri Genova, 10 aprile / 52 Genova dà i numeri Genova, 10 aprile / 52