Validazione di algoritmi per individuare diabete, ipertensione e cardiopatia ischemica dai database amministrativi italiani: lo studio MATRICE

Validazione di algoritmi per individuare diabete, ipertensione e cardiopatia ischemica dai database amministrativi italiani: lo studio MATRICE Rosa Gini Agenzia regionale di sanità della Toscana XXXVIII Congresso AIE, Napoli, 5-7 novembre 2014

Contenuti Identificazione di soggetti con una patologia da database esistenti Studio di validazione del progetto MATRICE Contesto Obbiettivo e razionale Metodi Risultati Conclusioni

Contenuti Identificazione di soggetti con una patologia da database esistenti Studio di validazione del progetto MATRICE Conclusioni

Identificare condizioni da database osservazionali Diagnosi

Identificare condizioni da database osservazionali Assistenza secondaria Assistenza ospedaliera Causa di morte Assistenza primaria Altre sorgenti Diagnosi

Identificare condizioni da database osservazionali Valori di laboratorio Evidenza diagnostica Bioimaging Altre sorgenti Diagnosi

Identificare condizioni da database osservazionali Altri servizi Utilizzo dei servizi Evidenza diagnostica Visite specialistiche Procedure Farmaci Esami diagnostici Diagnosi

Identificare condizioni da database osservazionali Utilizzo dei servizi Evidenza diagnostica Criteri di raffinamento e/o esclusione Diagnosi

Identificare condizioni da database osservazionali L utilizzo di queste strategie espone al Utilizzo dei rischio di bias di servizi selezione e di misclassificazione Evidenza diagnostica Criteri di raffinamento e/o esclusione Diagnosi

Motivazione per uno studio di validazione Uno studio di validazione consente di calcolare gli indici di validità di un algoritmo Prev: GS=1 GS=0 marginale di riga ALG=1 VP FP ALG=0 FN VN PPV: condizionale di riga a ALG=1 NPV: condizionale di riga a ALG=0 Prev oss: marginale di colonna Sens: condizionale di colonna a GS=1 Spec: condizionale di colonna a GS=0

Motivazione per uno studio di validazione Sorveglianza GS=1 GS=0 ALG=1 Conoscendo VP gli indici FP di validità si può aggiustare la prevalenza osservata ALG=0 FN e stimare VN la prevalenza reale Prev: marginale di riga PPV: condizionale di riga a ALG=1 NPV: condizionale di riga a ALG=0 Prev oss: marginale di colonna Sens: condizionale di colonna a GS=1 Spec: condizionale di colonna a GS=0

Motivazione per uno studio di validazione GS=1 GS=0 Gli indici di un ALG=1 algoritmo VP danno FPuna misura della selezione e della misclassificazione ALG=0 FN VN di ogni studio che usa quell algoritmo Prev oss: marginale di colonna Calibrazione Sens: condizionale di colonna a GS=1 Spec: condizionale di colonna a GS=0 Prev: marginale di riga PPV: condizionale di riga a ALG=1 NPV: condizionale di riga a ALG=0

Nel caso dei database amministrativi italiani? Utilizzo dei servizi Evidenza diagnostica Diagnosi

Nel caso dei database amministrativi italiani? Evidenza diagnostica Esami Assistenza secondaria Assistenza primaria Utilizzo dei Altri servizi servizi? Visite specialistiche diagnostici Procedure Farmaci Assistenza ospedaliera Diagnosi Causa di morte Altre sorgenti

Nel caso dei database amministrativi italiani? Utilizzo dei Altri servizi servizi? Evidenza Visite specialistiche diagnostica Criticità per individuare malattie Esami diagnostici croniche Procedure Farmaci Assistenza ospedaliera Assistenza secondaria Assistenza primaria Diagnosi Causa di morte Altre sorgenti

Agenzia Nazionale per i Servizi Sanitari Regionali (Agenas) AgeNaS supporta il Ministero della salute e le Regioni conducendo studi e progetti Immagine della XXXV conferenza dell AIE

Agenzia Nazionale per i Servizi Sanitari Regionali (Agenas) AgeNaS ha lanciato nel 2011 il progetto MATRICE, che contiene uno studio di validazione Immagine della XXXV conferenza dell AIE

Una risorsa: Società Italiana di Medicina Generale Società scientifica di MMG

Una risorsa: Società Italiana di Medicina Generale Alcuni mebri partecipano al network Health Search, che raccoglie dati clinici per svolgere studi epidemiologici Società scientifica di MMG

Una risorsa: Società Italiana di Medicina Generale Usano lo stesso software Alcuni mebri partecipano al network Health Search, che raccoglie dati clinici per svolgere studi epidemiologici Società scientifica di MMG

Una risorsa: Società Italiana di Medicina Generale Usano lo stesso software Alcuni mebri partecipano al network Health Search, che raccoglie dati clinici per svolgere studi epidemiologici I MMG che partecipano al network sono selezionati in base alla loro accuratezza nel registrare i dati Società scientifica di MMG

Una risorsa: Società Italiana di Medicina Generale Usano lo stesso software Tra i MMG di questo network si possono trovare le diagnosi che i flussi amministrativi non Alcuni raccolgono! mebri partecipano al network Health Search, che raccoglie dati clinici per svolgere studi epidemiologici I MMG che partecipano al network sono selezionati in base alla loro accuratezza nel registrare i dati Società scientifica di MMG

Obbiettivo dello studio di validazione MATRICE Identificare strategie ottimali per individuare soggetti con diabete di tipo 2, ipertensione, cardiopatia ischemica, insufficienza cardiaca e loro stadi nei database amministrativi italiani

Razionale del disegno di studio GLI MMG sono gatekeeper per l accesso ai servizi

Razionale del disegno di studio Quindi sono a conoscenza della diagnosi di patologia cronica di un loro paziente GLI MMG sono gatekeeper per l accesso ai servizi

Razionale del disegno di studio Gli MMG selezionati da SIMG hanno una buona qualità della registrazione Quindi sono a conoscenza della diagnosi di patologia cronica di un loro paziente GLI MMG sono gatekeeper per l accesso ai servizi

Razionale del disegno di studio Gli MMG selezionati da SIMG hanno una buona qualità della registrazione Quindi sono a conoscenza della diagnosi di patologia cronica di un loro paziente I pazienti dei MMG selezionati hanno pattern simili ai pazienti degli altri MMG GLI MMG sono gatekeeper per l accesso ai servizi

Razionale del disegno di studio Gli MMG selezionati da SIMG hanno una buona qualità della registrazione Quindi sono a conoscenza della diagnosi di patologia cronica di un loro paziente I pazienti dei MMG selezionati hanno pattern simili ai pazienti degli altri MMG GLI MMG sono gatekeeper per l accesso ai servizi verrà testata

Razionale del disegno di studio Gli MMG selezionati da SIMG hanno una buona qualità della registrazione Una query automatica sul DB clinico del MMG dà lo stesso risoltato di una richiesta diretta al MMG Quindi sono a conoscenza della diagnosi di patologia cronica di un loro paziente I pazienti dei MMG selezionati hanno pattern simili ai pazienti degli altri MMG GLI MMG sono gatekeeper per l accesso ai servizi

Studio preparatorio: validazione del Gold Standard Cardopatia ischemica Insufficienza cardiaca Ipertensione Stadi Diabete

Studio preparatorio: validazione del Gold Standard Insufficienza cardiaca Cardopatia ischemica Ipertensione Stadi Diabete

Studi preliminari su dati aggregati

Setting Aziende sanitarie locali A: Brescia, B: Vicenza, C: Bologna, D: Arezzo, E: Taranto MMG 5 MMG per ogni ASL Popolazione Tutti i pazienti dei 25 MMG al 1/1/2012, età 16+

Raccolta dati Ministry of Health encryption key ARS Local Health Unit GP TheMatrix encryption key encryption key Morpheus ID V1... V N ABC 1... 1 CBA 1... 0 BAC 0... 0 CAB 0... 0 ID GS ABC 1 CBA 0 BAC 1 CAB 0 Merovingio A X B Y C W A X B Y C W Morpheus ID V1... V N XYW 1... 1 WYX 1... 0 YXW 0... 0 WXY 0... 0 ID GS XYW 1 WYX 0 YXW 1 WXY 0 Merovingio Morpheus National Research Council ID V1...... V N GS XYW 1...... 1 1 WYX 1...... 0 0 YXW 0...... 0 1 WXY 0...... 0 0 ARS ID V1... Vn GS P1 1... 1 1 P2 1... 0 0 P3 0... 0 1 P4 0... 0 0

Raccolta dati Ministry of Health Local Health Unit TheMatrix ID V1... V N ABC 1... 1 CBA 1... 0 BAC 0... 0 CAB 0... 0 Merovingio ID V1... V N XYW 1... 1 WYX 1... 0 YXW 0... 0 WXY 0... 0 National Research Council ARS encryption key A X B Y C W ARS encryption key encryption key Merovingio A X B Y C W GP ID GS ABC 1 CBA 0 BAC 1 CAB 0 ID GS XYW 1 WYX 0 YXW 1 WXY 0 ID V1...... V N GS XYW 1...... 1 1 WYX 1...... 0 0 YXW 0...... 0 1 WXY 0...... 0 0 ID V1... Vn GS P1 1... 1 1 P2 1... 0 0 P3 0... 0 1 P4 0... 0 0 Morpheus Morpheus Morpheus sono stati sviluppati dei software per eseguire la raccolta dati in modo automatico e sicuro il processo è trasparente e ripetibile il permesso per eseguire il record linkage tra dati ASL e dati MMG è stato richiesto e ottenuto dall Autorità per la Privacy richiesta di rendere pubblici i dataset dei dati integrati e aggregati (per sesso, età, MMG... ) in modo da consentire studi studi di approfondimento?

Analisi Unità di osservazione È l algoritmo Misure Indici di validità: sensibilità, specificità, PPV, NPV Aggregazione Per ASL, pooled grezzi, pooled con effetto casuale sul MMG Eterogeneità Wald test della ASL

Popolazione A B C D E Tot N 6951 6839 8038 5764 6403 33995 F 3443 (49.5) 3522 (51.5) 4305 (53.6) 3023 (52.4) 3281 (51.2) 17574 (51.7) Età 16-44 2836 (40.8) 2626 (38.4) 2916 (36.3) 2130 (37.0) 2817 (44.0) 13325 (39.2) 45-64 2515 (36.2) 2254 (33.0) 2623 (32.6) 1817 (31.5) 2201 (34.4) 11410 (33.6) 65-84 1424 (20.5) 1648 (24.1) 2082 (25.9) 1459 (25.3) 1171 (18.3) 7784 (22.9) 85+ 176 (2.5) 311 (4.5) 417 (5.2) 358 (6.2) 214 (3.3) 1476 (4.3) MMG 1 1464 (21.1) 1528 (22.3) 1754 (21.8) 1415 (24.5) 1416 (22.1) 2 1444 (20.8) 1522 (22.3) 1682 (20.9) 1154 (20.0) 1372 (21.4) 3 1408 (20.3) 1502 (22.0) 1664 (20.7) 1139 (19.8) 1323 (20.7) 4 1373 (19.8) 1271 (18.6) 1619 (20.1) 1096 (19.0) 1290 (20.1) 5 1262 (18.2) 1016 (14.9) 1319 (16.4) 960 (16.7) 1002 (15.6)

Disponibilità dati Flusso A B C D E SDO 2001 2007 2006 2006 2008 Esenzioni 1991 2000 2000 2009 2011 Farmaci 2009 2007 2010 2006 2010 Ambulatoriale 2009 2009 2010 2006 2012

Algoritmi Diabete Ipertensione Cardiopatia ischemica 7 4 1 5 2 3 6 1.0 0.9 0.8 0.7 0.6 0.5 0.4 0.3 0.2 0.1 0.0 0.0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1.0 1-PPV Sensitivity 1 2 4 3 1.0 0.9 0.8 0.7 0.6 0.5 0.4 0.3 0.2 0.1 0.0 0.0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1.0 1-PPV Sensitivity 8 1 9 6 10 11 4 0.1 2 0.0 0.0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1.0 1-PPV 7 5 3 1.0 0.9 0.8 0.7 0.6 0.5 0.4 0.3 0.2 Sensitivity

Algoritmi Diabete Ipertensione Cardiopatia ischemica 7 4 1 5 2 3 6 1.0 0.9 0.8 0.7 0.6 0.5 0.4 0.3 0.2 0.1 0.0 0.0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1.0 1-PPV Sensitivity 1 2 4 3 1.0 0.9 0.8 0.7 0.6 0.5 0.4 0.3 0.2 0.1 0.0 0.0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1.0 1-PPV Sensitivity 8 1 9 6 10 11 4 0.1 2 0.0 0.0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1.0 1-PPV 7 5 3 1.0 0.9 0.8 0.7 0.6 0.5 0.4 0.3 0.2 Sensitivity ((HOSP SEC UNSPEC OR HOSP MAIN UNSPEC OR EXE OR DRUGS INSULIN OR DRUGS ORAL)) OR ((Hba1c)) Sensitivity 0.96 0.92 0.87 0.97 0.69 0.87 0.87 (0.86-0.89) <.001 Specificity 0.96 0.97 0.95 0.86 1.00 0.95.. PPV 0.69 0.76 0.60 0.38 0.96 0.62 0.63 (0.60-0.67) <.001 NPV 1.00 0.99 0.99 1.00 0.97 0.99.. κ 0.78 0.82 0.68 0.49 0.79 0.70.

Algoritmi Diabete Ipertensione Cardiopatia ischemica 7 4 1 5 2 3 6 1.0 0.9 0.8 0.7 0.6 0.5 0.4 0.3 0.2 0.1 0.0 0.0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1.0 1-PPV Sensitivity 1 2 4 3 1.0 0.9 0.8 0.7 0.6 0.5 0.4 0.3 0.2 0.1 0.0 0.0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1.0 1-PPV Sensitivity 8 1 9 6 10 11 4 0.1 2 0.0 0.0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1.0 1-PPV 7 5 3 1.0 0.9 0.8 0.7 0.6 0.5 0.4 0.3 0.2 Sensitivity ((HOSP SEC UNSPEC OR HOSP MAIN UNSPEC OR EXE OR DRUGS INSULIN OR DRUGS ORAL)) Sensitivity 0.79 0.83 0.73 0.75 0.69 0.76 0.76 (0.73-0.79) <.05 Specificity 0.99 0.99 0.99 0.96 1.00 0.99.. PPV 0.92 0.90 0.90 0.65 0.96 0.86 0.86 (0.84-0.88) <.001 NPV 0.98 0.98 0.98 0.98 0.97 0.98.. κ 0.84 0.85 0.79 0.66 0.79 0.79.

Algoritmi Diabete Ipertensione Cardiopatia ischemica 7 4 1 5 2 3 6 1.0 0.9 0.8 0.7 0.6 0.5 0.4 0.3 0.2 0.1 0.0 0.0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1.0 1-PPV Sensitivity 1 2 4 3 1.0 0.9 0.8 0.7 0.6 0.5 0.4 0.3 0.2 0.1 0.0 0.0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1.0 1-PPV Sensitivity 8 1 9 6 10 11 4 0.1 2 0.0 0.0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1.0 1-PPV 7 5 3 1.0 0.9 0.8 0.7 0.6 0.5 0.4 0.3 0.2 Sensitivity ((DRUGS INSDDDlastyear OR DRUGS ORDDDlastyear OR HOSP MAIN UNSPEC OR EXE OR HOSP DRG)) Sensitivity 0.71 0.77 0.56 0.55 0.39 0.59 0.60 (0.56-0.65) <.001 Specificity 1.00 1.00 1.00 0.99 1.00 1.00.. PPV 0.94 0.94 0.93 0.89 0.97 0.94 0.94 (0.92-0.95) 0.068 NPV 0.97 0.98 0.97 0.96 0.94 0.96.. κ 0.79 0.84 0.68 0.66 0.53 0.71.

Algoritmi Diabete Ipertensione Cardiopatia ischemica 7 4 1 5 2 3 6 1.0 0.9 0.8 0.7 0.6 0.5 0.4 0.3 0.2 0.1 0.0 0.0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1.0 1-PPV Sensitivity 1 2 4 3 1.0 0.9 0.8 0.7 0.6 0.5 0.4 0.3 0.2 0.1 0.0 0.0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1.0 1-PPV Sensitivity 8 1 9 6 10 11 4 0.1 2 0.0 0.0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1.0 1-PPV 7 5 3 1.0 0.9 0.8 0.7 0.6 0.5 0.4 0.3 0.2 Sensitivity (ARENIN OR BETABL OR EXE OR HOSP MAIN UNSP OR HOSP SEC UNSP) Sensitivity 0.68 0.80 0.77 0.86 0.50 0.72 0.73 (0.70-0.76) <.001 Specificity 0.97 0.92 0.93 0.82 0.98 0.93.. PPV 0.93 0.85 0.85 0.68 0.91 0.83 0.83 (0.81-0.86) <.001 NPV 0.85 0.90 0.89 0.93 0.81 0.87.. κ 0.70 0.73 0.72 0.63 0.54 0.67.

Algoritmi Diabete Ipertensione Cardiopatia ischemica 7 4 1 5 2 3 6 1.0 0.9 0.8 0.7 0.6 0.5 0.4 0.3 0.2 0.1 0.0 0.0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1.0 1-PPV Sensitivity 1 2 4 3 1.0 0.9 0.8 0.7 0.6 0.5 0.4 0.3 0.2 0.1 0.0 0.0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1.0 1-PPV Sensitivity 8 1 9 6 10 11 4 0.1 2 0.0 0.0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1.0 1-PPV 7 5 3 1.0 0.9 0.8 0.7 0.6 0.5 0.4 0.3 0.2 Sensitivity ((HOSP MAIN OR HOSP SEC OR NITRATES OR EXE)) Sensitivity 0.72 0.76 0.47 0.60 0.63 0.62 0.63 (0.58-0.67) <.001 Specificity 0.99 1.00 0.99 0.99 0.99 0.99.. PPV 0.81 0.89 0.80 0.69 0.70 0.79 0.79 (0.76-0.83) <.05 NPV 0.99 0.99 0.97 0.98 0.98 0.98.. κ 0.76 0.81 0.58 0.63 0.65 0.68.

Algoritmi Diabete Ipertensione Cardiopatia ischemica 7 4 1 5 2 3 6 1.0 0.9 0.8 0.7 0.6 0.5 0.4 0.3 0.2 0.1 0.0 0.0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1.0 1-PPV Sensitivity 1 2 4 3 1.0 0.9 0.8 0.7 0.6 0.5 0.4 0.3 0.2 0.1 0.0 0.0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1.0 1-PPV Sensitivity 8 1 9 6 10 11 4 0.1 2 0.0 0.0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1.0 1-PPV 7 5 3 1.0 0.9 0.8 0.7 0.6 0.5 0.4 0.3 0.2 Sensitivity ((HOSP MAIN OR HOSP SEC OR NITRATES OR PAI)) Sensitivity 0.87 0.87 0.82 0.91 0.61 0.84 0.84 (0.82-0.87) <.001 Specificity 0.92 0.91 0.90 0.84 0.96 0.90.. PPV 0.29 0.29 0.33 0.20 0.38 0.28 0.28 (0.26-0.31) <.001 NPV 0.99 0.99 0.99 1.00 0.98 0.99.. κ 0.40 0.40 0.43 0.28 0.44 0.38.

Contenuti Identificazione di soggetti con una patologia da database esistenti Studio di validazione del progetto MATRICE Conclusioni

Riassunto dei risultati Gruppo AIE-SISMEC Sia nel caso del diabete che nel caso della cardiopatia ischemica gli algoritmi indicati sono quelli prescelti dal gruppo di lavoro AIE-SISMEC nella seconda metà degli anni Duemila. Buon PPV Per tutte e tre le patologie sono disponibili algoritmi specifici e con un PPV superiore all 80% Bassa sensibilità Sensibilità inferiore all 80% e, nel caso della cardiopatia ischemica, inferiore al 65%. Eterogeneità Abbastanza alta: perché i dati sono disponibili per anni diversi? Da approfondire Aspetti inattesi Meglio dell atteso l ipertensione, peggio la cardiopatia ischemica

Raccomandazioni Gli studi che utilizzano questi algoritmi per selezionare coorti devono condurre analisi di sensibilità per valutare il possibile effetto di selezione, in particolare nel caso della cardiopatia ischemica, e il possibile effetto della misclassificazione

Domande?

Regola di classificazione Malati (GS)

Regola di classificazione In una popolazione che contiene dei malati (Gold Standard, GS) una classificazione (ALG) individua ALG GS

Regola di classificazione In una popolazione che contiene dei malati (Gold Standard, GS) una classificazione (ALG) individua ALG FP VP FN GS VN

Indici di validità Se in una popolazione è disponibile un GS è possibile calcolare gli indici di validità di ogni algoritmo: sensibilità, specificità, PPV, NPV

Sensibilità Denominatore Numeratore ALG GS ALG GS Probabilità che una persona malata sia individuata da ALG

Potere predittivo positivo (PPV) Denominatore Numeratore ALG GS ALG GS Probabilità che una persona individuata da ALG sia malata

Specificità Denominatore Numeratore ALG GS ALG GS Probabilità che una persona sana sia correttamente individuata come tale da ALG

Potere predittivo negativo (NPV) Denominatore Numeratore ALG GS ALG GS Probabilità che una persona individuata come sana da ALG lo sia realmente

Se GS non è gold standard: concordanza Denominatore Numeratore ALG GS κ: concordanza aggiustata