Validazione di algoritmi per individuare diabete, ipertensione e cardiopatia ischemica dai database amministrativi italiani: lo studio MATRICE

Transcript

1 Validazione di algoritmi per individuare diabete, ipertensione e cardiopatia ischemica dai database amministrativi italiani: lo studio MATRICE Rosa Gini Agenzia regionale di sanità della Toscana XXXVIII Congresso AIE, Napoli, 5-7 novembre 2014

2 Contenuti Identificazione di soggetti con una patologia da database esistenti Studio di validazione del progetto MATRICE Contesto Obbiettivo e razionale Metodi Risultati Conclusioni

3 Contenuti Identificazione di soggetti con una patologia da database esistenti Studio di validazione del progetto MATRICE Conclusioni

4 Identificare condizioni da database osservazionali Diagnosi

5 Identificare condizioni da database osservazionali Assistenza secondaria Assistenza ospedaliera Causa di morte Assistenza primaria Altre sorgenti Diagnosi

6 Identificare condizioni da database osservazionali Valori di laboratorio Evidenza diagnostica Bioimaging Altre sorgenti Diagnosi

7 Identificare condizioni da database osservazionali Altri servizi Utilizzo dei servizi Evidenza diagnostica Visite specialistiche Procedure Farmaci Esami diagnostici Diagnosi

8 Identificare condizioni da database osservazionali Utilizzo dei servizi Evidenza diagnostica Criteri di raffinamento e/o esclusione Diagnosi

9 Identificare condizioni da database osservazionali L utilizzo di queste strategie espone al Utilizzo dei rischio di bias di servizi selezione e di misclassificazione Evidenza diagnostica Criteri di raffinamento e/o esclusione Diagnosi

10 Motivazione per uno studio di validazione Uno studio di validazione consente di calcolare gli indici di validità di un algoritmo Prev: GS=1 GS=0 marginale di riga ALG=1 VP FP ALG=0 FN VN PPV: condizionale di riga a ALG=1 NPV: condizionale di riga a ALG=0 Prev oss: marginale di colonna Sens: condizionale di colonna a GS=1 Spec: condizionale di colonna a GS=0

11 Motivazione per uno studio di validazione Sorveglianza GS=1 GS=0 ALG=1 Conoscendo VP gli indici FP di validità si può aggiustare la prevalenza osservata ALG=0 FN e stimare VN la prevalenza reale Prev: marginale di riga PPV: condizionale di riga a ALG=1 NPV: condizionale di riga a ALG=0 Prev oss: marginale di colonna Sens: condizionale di colonna a GS=1 Spec: condizionale di colonna a GS=0

12 Motivazione per uno studio di validazione GS=1 GS=0 Gli indici di un ALG=1 algoritmo VP danno FPuna misura della selezione e della misclassificazione ALG=0 FN VN di ogni studio che usa quell algoritmo Prev oss: marginale di colonna Calibrazione Sens: condizionale di colonna a GS=1 Spec: condizionale di colonna a GS=0 Prev: marginale di riga PPV: condizionale di riga a ALG=1 NPV: condizionale di riga a ALG=0

13 Nel caso dei database amministrativi italiani? Utilizzo dei servizi Evidenza diagnostica Diagnosi

14 Nel caso dei database amministrativi italiani? Evidenza diagnostica Esami Assistenza secondaria Assistenza primaria Utilizzo dei Altri servizi servizi? Visite specialistiche diagnostici Procedure Farmaci Assistenza ospedaliera Diagnosi Causa di morte Altre sorgenti

15 Nel caso dei database amministrativi italiani? Utilizzo dei Altri servizi servizi? Evidenza Visite specialistiche diagnostica Criticità per individuare malattie Esami diagnostici croniche Procedure Farmaci Assistenza ospedaliera Assistenza secondaria Assistenza primaria Diagnosi Causa di morte Altre sorgenti

18 Agenzia Nazionale per i Servizi Sanitari Regionali (Agenas) AgeNaS supporta il Ministero della salute e le Regioni conducendo studi e progetti Immagine della XXXV conferenza dell AIE

19 Agenzia Nazionale per i Servizi Sanitari Regionali (Agenas) AgeNaS ha lanciato nel 2011 il progetto MATRICE, che contiene uno studio di validazione Immagine della XXXV conferenza dell AIE

20 Una risorsa: Società Italiana di Medicina Generale Società scientifica di MMG

21 Una risorsa: Società Italiana di Medicina Generale Alcuni mebri partecipano al network Health Search, che raccoglie dati clinici per svolgere studi epidemiologici Società scientifica di MMG

22 Una risorsa: Società Italiana di Medicina Generale Usano lo stesso software Alcuni mebri partecipano al network Health Search, che raccoglie dati clinici per svolgere studi epidemiologici Società scientifica di MMG

23 Una risorsa: Società Italiana di Medicina Generale Usano lo stesso software Alcuni mebri partecipano al network Health Search, che raccoglie dati clinici per svolgere studi epidemiologici I MMG che partecipano al network sono selezionati in base alla loro accuratezza nel registrare i dati Società scientifica di MMG

24 Una risorsa: Società Italiana di Medicina Generale Usano lo stesso software Tra i MMG di questo network si possono trovare le diagnosi che i flussi amministrativi non Alcuni raccolgono! mebri partecipano al network Health Search, che raccoglie dati clinici per svolgere studi epidemiologici I MMG che partecipano al network sono selezionati in base alla loro accuratezza nel registrare i dati Società scientifica di MMG

26 Obbiettivo dello studio di validazione MATRICE Identificare strategie ottimali per individuare soggetti con diabete di tipo 2, ipertensione, cardiopatia ischemica, insufficienza cardiaca e loro stadi nei database amministrativi italiani

27 Razionale del disegno di studio GLI MMG sono gatekeeper per l accesso ai servizi

28 Razionale del disegno di studio Quindi sono a conoscenza della diagnosi di patologia cronica di un loro paziente GLI MMG sono gatekeeper per l accesso ai servizi

29 Razionale del disegno di studio Gli MMG selezionati da SIMG hanno una buona qualità della registrazione Quindi sono a conoscenza della diagnosi di patologia cronica di un loro paziente GLI MMG sono gatekeeper per l accesso ai servizi

30 Razionale del disegno di studio Gli MMG selezionati da SIMG hanno una buona qualità della registrazione Quindi sono a conoscenza della diagnosi di patologia cronica di un loro paziente I pazienti dei MMG selezionati hanno pattern simili ai pazienti degli altri MMG GLI MMG sono gatekeeper per l accesso ai servizi

31 Razionale del disegno di studio Gli MMG selezionati da SIMG hanno una buona qualità della registrazione Quindi sono a conoscenza della diagnosi di patologia cronica di un loro paziente I pazienti dei MMG selezionati hanno pattern simili ai pazienti degli altri MMG GLI MMG sono gatekeeper per l accesso ai servizi verrà testata

32 Razionale del disegno di studio Gli MMG selezionati da SIMG hanno una buona qualità della registrazione Una query automatica sul DB clinico del MMG dà lo stesso risoltato di una richiesta diretta al MMG Quindi sono a conoscenza della diagnosi di patologia cronica di un loro paziente I pazienti dei MMG selezionati hanno pattern simili ai pazienti degli altri MMG GLI MMG sono gatekeeper per l accesso ai servizi

33 Studio preparatorio: validazione del Gold Standard Cardopatia ischemica Insufficienza cardiaca Ipertensione Stadi Diabete

34 Studio preparatorio: validazione del Gold Standard Insufficienza cardiaca Cardopatia ischemica Ipertensione Stadi Diabete

35 Studi preliminari su dati aggregati

37 Setting Aziende sanitarie locali A: Brescia, B: Vicenza, C: Bologna, D: Arezzo, E: Taranto MMG 5 MMG per ogni ASL Popolazione Tutti i pazienti dei 25 MMG al 1/1/2012, età 16+

38 Raccolta dati Ministry of Health encryption key ARS Local Health Unit GP TheMatrix encryption key encryption key Morpheus ID V1... V N ABC CBA BAC CAB ID GS ABC 1 CBA 0 BAC 1 CAB 0 Merovingio A X B Y C W A X B Y C W Morpheus ID V1... V N XYW WYX YXW WXY ID GS XYW 1 WYX 0 YXW 1 WXY 0 Merovingio Morpheus National Research Council ID V V N GS XYW WYX YXW WXY ARS ID V1... Vn GS P P P P

39 Raccolta dati Ministry of Health Local Health Unit TheMatrix ID V1... V N ABC CBA BAC CAB Merovingio ID V1... V N XYW WYX YXW WXY National Research Council ARS encryption key A X B Y C W ARS encryption key encryption key Merovingio A X B Y C W GP ID GS ABC 1 CBA 0 BAC 1 CAB 0 ID GS XYW 1 WYX 0 YXW 1 WXY 0 ID V V N GS XYW WYX YXW WXY ID V1... Vn GS P P P P Morpheus Morpheus Morpheus sono stati sviluppati dei software per eseguire la raccolta dati in modo automatico e sicuro il processo è trasparente e ripetibile il permesso per eseguire il record linkage tra dati ASL e dati MMG è stato richiesto e ottenuto dall Autorità per la Privacy richiesta di rendere pubblici i dataset dei dati integrati e aggregati (per sesso, età, MMG... ) in modo da consentire studi studi di approfondimento?

40 Analisi Unità di osservazione È l algoritmo Misure Indici di validità: sensibilità, specificità, PPV, NPV Aggregazione Per ASL, pooled grezzi, pooled con effetto casuale sul MMG Eterogeneità Wald test della ASL

42 Popolazione A B C D E Tot N F 3443 (49.5) 3522 (51.5) 4305 (53.6) 3023 (52.4) 3281 (51.2) (51.7) Età (40.8) 2626 (38.4) 2916 (36.3) 2130 (37.0) 2817 (44.0) (39.2) (36.2) 2254 (33.0) 2623 (32.6) 1817 (31.5) 2201 (34.4) (33.6) (20.5) 1648 (24.1) 2082 (25.9) 1459 (25.3) 1171 (18.3) 7784 (22.9) (2.5) 311 (4.5) 417 (5.2) 358 (6.2) 214 (3.3) 1476 (4.3) MMG (21.1) 1528 (22.3) 1754 (21.8) 1415 (24.5) 1416 (22.1) (20.8) 1522 (22.3) 1682 (20.9) 1154 (20.0) 1372 (21.4) (20.3) 1502 (22.0) 1664 (20.7) 1139 (19.8) 1323 (20.7) (19.8) 1271 (18.6) 1619 (20.1) 1096 (19.0) 1290 (20.1) (18.2) 1016 (14.9) 1319 (16.4) 960 (16.7) 1002 (15.6)

43 Disponibilità dati Flusso A B C D E SDO Esenzioni Farmaci Ambulatoriale

44 Algoritmi Diabete Ipertensione Cardiopatia ischemica PPV Sensitivity PPV Sensitivity PPV Sensitivity

45 Algoritmi Diabete Ipertensione Cardiopatia ischemica PPV Sensitivity PPV Sensitivity PPV Sensitivity ((HOSP SEC UNSPEC OR HOSP MAIN UNSPEC OR EXE OR DRUGS INSULIN OR DRUGS ORAL)) OR ((Hba1c)) Sensitivity ( ) <.001 Specificity PPV ( ) <.001 NPV κ

46 Algoritmi Diabete Ipertensione Cardiopatia ischemica PPV Sensitivity PPV Sensitivity PPV Sensitivity ((HOSP SEC UNSPEC OR HOSP MAIN UNSPEC OR EXE OR DRUGS INSULIN OR DRUGS ORAL)) Sensitivity ( ) <.05 Specificity PPV ( ) <.001 NPV κ

47 Algoritmi Diabete Ipertensione Cardiopatia ischemica PPV Sensitivity PPV Sensitivity PPV Sensitivity ((DRUGS INSDDDlastyear OR DRUGS ORDDDlastyear OR HOSP MAIN UNSPEC OR EXE OR HOSP DRG)) Sensitivity ( ) <.001 Specificity PPV ( ) NPV κ

48 Algoritmi Diabete Ipertensione Cardiopatia ischemica PPV Sensitivity PPV Sensitivity PPV Sensitivity (ARENIN OR BETABL OR EXE OR HOSP MAIN UNSP OR HOSP SEC UNSP) Sensitivity ( ) <.001 Specificity PPV ( ) <.001 NPV κ

49 Algoritmi Diabete Ipertensione Cardiopatia ischemica PPV Sensitivity PPV Sensitivity PPV Sensitivity ((HOSP MAIN OR HOSP SEC OR NITRATES OR EXE)) Sensitivity ( ) <.001 Specificity PPV ( ) <.05 NPV κ

50 Algoritmi Diabete Ipertensione Cardiopatia ischemica PPV Sensitivity PPV Sensitivity PPV Sensitivity ((HOSP MAIN OR HOSP SEC OR NITRATES OR PAI)) Sensitivity ( ) <.001 Specificity PPV ( ) <.001 NPV κ

51 Contenuti Identificazione di soggetti con una patologia da database esistenti Studio di validazione del progetto MATRICE Conclusioni

52 Riassunto dei risultati Gruppo AIE-SISMEC Sia nel caso del diabete che nel caso della cardiopatia ischemica gli algoritmi indicati sono quelli prescelti dal gruppo di lavoro AIE-SISMEC nella seconda metà degli anni Duemila. Buon PPV Per tutte e tre le patologie sono disponibili algoritmi specifici e con un PPV superiore all 80% Bassa sensibilità Sensibilità inferiore all 80% e, nel caso della cardiopatia ischemica, inferiore al 65%. Eterogeneità Abbastanza alta: perché i dati sono disponibili per anni diversi? Da approfondire Aspetti inattesi Meglio dell atteso l ipertensione, peggio la cardiopatia ischemica

53 Raccomandazioni Gli studi che utilizzano questi algoritmi per selezionare coorti devono condurre analisi di sensibilità per valutare il possibile effetto di selezione, in particolare nel caso della cardiopatia ischemica, e il possibile effetto della misclassificazione

54 Domande?

55 Regola di classificazione Malati (GS)

56 Regola di classificazione In una popolazione che contiene dei malati (Gold Standard, GS) una classificazione (ALG) individua ALG GS

57 Regola di classificazione In una popolazione che contiene dei malati (Gold Standard, GS) una classificazione (ALG) individua ALG FP VP FN GS VN

58 Indici di validità Se in una popolazione è disponibile un GS è possibile calcolare gli indici di validità di ogni algoritmo: sensibilità, specificità, PPV, NPV

59 Sensibilità Denominatore Numeratore ALG GS ALG GS Probabilità che una persona malata sia individuata da ALG

60 Potere predittivo positivo (PPV) Denominatore Numeratore ALG GS ALG GS Probabilità che una persona individuata da ALG sia malata

61 Specificità Denominatore Numeratore ALG GS ALG GS Probabilità che una persona sana sia correttamente individuata come tale da ALG

62 Potere predittivo negativo (NPV) Denominatore Numeratore ALG GS ALG GS Probabilità che una persona individuata come sana da ALG lo sia realmente

63 Se GS non è gold standard: concordanza Denominatore Numeratore ALG GS κ: concordanza aggiustata