Quando i registri nascono dall uso integrato dei sistemi informativi sanitari: quali strumenti per garantire qualità?

Transcript

1 Quando i registri nascono dall uso integrato dei sistemi informativi sanitari: quali strumenti per garantire qualità? Rosa Gini 1,2, Lorenzo Simonato 3 1 Agenzia regionale di sanità della Toscana, Firenze 2 Dipartimento di Informatica Medica, Università Erasmus, Rotterdam 3 Dipartimento di Medicina Ambientale e Sanità Pubblica, Università di Padova Convegno di primavera AIE MISURARE LA SALUTE Roma, maggio 2012

2 Indice Premessa: il laboratorio Babele Canada: un caso di studio Qualità dei registri di dati secondari Disegni di studio di validazione Dati utilizzabili Indici di qualità di classificazioni binarie E in Italia? Riassumendo

3 Indice Premessa: il laboratorio Babele Canada: un caso di studio Qualità dei registri di dati secondari E in Italia? Riassumendo

4 Laboratorio Babele

6 Stato federale Sorgente: Wikipedia Il Canada è una democrazia parlamentare con un sistema federale di 10 Province e 3 territori

7 Sistema sanitario (da HiT) Sistema sanitario universale, pagatori: pubblici, erogatori: sia pubblici che privati (profit o non profit) Tre livelli federale struttura normativa (definizione dei servizi necessari, sicurezza farmaci e alimenti), sanità pubblica, raccolta dati, ricerca province/territori pagatori, organizzatori, ricerca (alcuni) intergovernamentale istituzioni che uniscono province e governo federale per coordinamento, regolamenti, eg Canadian Health Infoway

8 Canadian Chronic Disease Surveillance System (CCDSS) Dal sito PHAC The Canadian Chronic Disease Surveillance System (CCDSS) is a collaborative network of provincial and territorial surveillance systems, supported by the Public Health Agency of Canada (PHAC). In each province and territory, the health insurance registry database is linked to the physician billing and hospitalization databases. Started with diabetes surveillance and formerly known as the National Diabetes Surveillance System (NDSS), the CCDSS is currently expanding to include other chronic disease conditions. The CCDSS regularly seeks advice from Aboriginal groups, non-governmental organizations, and researchers in order to enhance and interpret the information from the system.

9 Data model PERSONS PERSON ID GENDER CONCEPT ID DATE OF BIRTH STARTDATE ENDDATE... PHYSICIAN PERSON ID DIAGN CODE DATE DRUGS PERSON ID DRUG EXPOSURE START DATE ATC DURATION... HOSP PERSON ID START DATE MAIN DIAGNOSIS SECONDARY DIAGNOSIS 1-5 PROCEDURE CODE 1-6 PROCEDURE DATE

10 Algoritmo per diabete e ipertensione

11 Algoritmo per diabete e ipertensione P P

12 Algoritmo per diabete e ipertensione P E P E

13 Algoritmo per diabete e ipertensione P E P P E P

14 Algoritmo per diabete e ipertensione P E P Rx P E P

15 Algoritmo per diabete e ipertensione P E P Rx P E P

16 Algoritmo per diabete e ipertensione P E P Rx P P E P

17 Algoritmo per diabete e ipertensione P E P Rx P Rx P E P

18 Algoritmo per diabete e ipertensione P E P Rx P Rx P E P H

19 Algoritmo per diabete e ipertensione 1H OR 2P P E P Rx P Rx P E P H

20 Studi per assicurare qualità Lix et al 2008

21 Studi per assicurare qualità Quan et al 2009 Lix et al 2008

22 Studi per assicurare qualità Guttmann et al 2010 Quan et al 2009 Lix et al 2008

25 Razionale Due fonti danno informazioni l una sull altra

26 Razionale Due fonti danno informazioni l una sull altra Se una può essere considerata più ricca dell altra il confronto è tra una classificazione nuova e un gold standard

27 Razionale Due fonti danno informazioni l una sull altra Se una può essere considerata più ricca dell altra il confronto è tra una classificazione nuova e un gold standard Se non è possibile incrociare dati individuali si possono confrontare le stime ottenute dalle due fonti e giustificare le differenze

28 Razionale Due fonti danno informazioni l una sull altra Se una può essere considerata più ricca dell altra il confronto è tra una classificazione nuova e un gold standard Se non è possibile incrociare dati individuali si possono confrontare le stime ottenute dalle due fonti e giustificare le differenze Le qualità di un algoritmo si mantengono in applicazioni successive

29 Applicazioni Maggior precisione Conoscendo la qualità di un algoritmo si può discutere l affidabilità delle stime che si ottengono negli studi che lo utilizzano

31 Fonti elettroniche di dati Amministrativi: record linkage di

32 Fonti elettroniche di dati Amministrativi: record linkage di Anagrafe amministrativa/sanitaria/civile

33 Fonti elettroniche di dati Amministrativi: record linkage di Anagrafe amministrativa/sanitaria/civile Ricoveri diagnosi principale, n diagnosi secondarie, procedure, specialità...

34 Fonti elettroniche di dati Amministrativi: record linkage di Anagrafe amministrativa/sanitaria/civile Ricoveri diagnosi principale, n diagnosi secondarie, procedure, specialità... Farmaci prescrizioni/erogazioni

35 Fonti elettroniche di dati Amministrativi: record linkage di Anagrafe amministrativa/sanitaria/civile Ricoveri diagnosi principale, n diagnosi secondarie, procedure, specialità... Farmaci prescrizioni/erogazioni Visite generali/specialistiche, con/senza codice diagnosi

36 Fonti elettroniche di dati Amministrativi: record linkage di Anagrafe amministrativa/sanitaria/civile Ricoveri diagnosi principale, n diagnosi secondarie, procedure, specialità... Farmaci prescrizioni/erogazioni Visite generali/specialistiche, con/senza codice diagnosi Diagnostica di laboratorio e strumentale con/senza risultati

37 Fonti elettroniche di dati Amministrativi: record linkage di Anagrafe amministrativa/sanitaria/civile Ricoveri diagnosi principale, n diagnosi secondarie, procedure, specialità... Farmaci prescrizioni/erogazioni Visite generali/specialistiche, con/senza codice diagnosi Diagnostica di laboratorio e strumentale con/senza risultati Esenzioni per patologia codice di patologia

38 Fonti elettroniche di dati Amministrativi: record linkage di Anagrafe amministrativa/sanitaria/civile Ricoveri diagnosi principale, n diagnosi secondarie, procedure, specialità... Farmaci prescrizioni/erogazioni Visite generali/specialistiche, con/senza codice diagnosi Diagnostica di laboratorio e strumentale con/senza risultati Esenzioni per patologia codice di patologia Clinici (MMG, specialisti, ospedali,... )

39 Fonti elettroniche di dati Amministrativi: record linkage di Anagrafe amministrativa/sanitaria/civile Ricoveri diagnosi principale, n diagnosi secondarie, procedure, specialità... Farmaci prescrizioni/erogazioni Visite generali/specialistiche, con/senza codice diagnosi Diagnostica di laboratorio e strumentale con/senza risultati Esenzioni per patologia codice di patologia Clinici (MMG, specialisti, ospedali,... ) Registri (morte, tumori, malformazioni,... )

40 Fonti elettroniche di dati Amministrativi: record linkage di Anagrafe amministrativa/sanitaria/civile Ricoveri diagnosi principale, n diagnosi secondarie, procedure, specialità... Farmaci prescrizioni/erogazioni Visite generali/specialistiche, con/senza codice diagnosi Diagnostica di laboratorio e strumentale con/senza risultati Esenzioni per patologia codice di patologia Clinici (MMG, specialisti, ospedali,... ) Registri (morte, tumori, malformazioni,... ) Indagini campionarie (es. Multiscopo)

41 Livello di aggregazione Individuale: dati disponibili per ciscun individuo, in modo nominativo o con anonimizzazione omogenea tra le sorgenti di dati Aggregato: dati disponibili solo a livello aggregato o a livello idnividuale ma con codifiche individuali incompatibili

42 Peculiarità dei dati amministrativi Sempre raccolti per fini organizzativi o economici

43 Peculiarità dei dati amministrativi Sempre raccolti per fini organizzativi o economici Perciò specifici di ogni sistema sanitario in termini di

44 Peculiarità dei dati amministrativi Sempre raccolti per fini organizzativi o economici Perciò specifici di ogni sistema sanitario in termini di Sorgenti di dato

45 Peculiarità dei dati amministrativi Sempre raccolti per fini organizzativi o economici Perciò specifici di ogni sistema sanitario in termini di Sorgenti di dato Tracciato record

46 Peculiarità dei dati amministrativi Sempre raccolti per fini organizzativi o economici Perciò specifici di ogni sistema sanitario in termini di Sorgenti di dato Tracciato record Codifica

47 Peculiarità dei dati amministrativi Sempre raccolti per fini organizzativi o economici Perciò specifici di ogni sistema sanitario in termini di Sorgenti di dato Tracciato record Codifica Completezza

48 Peculiarità dei dati amministrativi Sempre raccolti per fini organizzativi o economici Perciò specifici di ogni sistema sanitario in termini di Sorgenti di dato Tracciato record Codifica Completezza Accuratezza

49 Peculiarità dei dati amministrativi Sempre raccolti per fini organizzativi o economici Perciò specifici di ogni sistema sanitario in termini di Sorgenti di dato Tracciato record Codifica Completezza Accuratezza Quindi gli studi internazionali vanno interpretati con accuratezza

50 Peculiarità dei dati amministrativi Sempre raccolti per fini organizzativi o economici Perciò specifici di ogni sistema sanitario in termini di Sorgenti di dato Tracciato record Codifica Completezza Accuratezza Quindi gli studi internazionali vanno interpretati con accuratezza Se possibile: riprodotti

51 Peculiarità dei dati amministrativi Sempre raccolti per fini organizzativi o economici Perciò specifici di ogni sistema sanitario in termini di Sorgenti di dato Tracciato record Codifica Completezza Accuratezza Quindi gli studi internazionali vanno interpretati con accuratezza Se possibile: riprodotti Necessitano di data management complessi per costruire la classificazione da validare (algortimi)

52 Sistemi sanitari universali con single payer Sistemi sanitari universali con single payer hanno traiettorie individuali

53 Sistemi sanitari universali con single payer Sistemi sanitari universali con single payer hanno traiettorie individuali più lunghe

54 Sistemi sanitari universali con single payer Sistemi sanitari universali con single payer hanno traiettorie individuali più lunghe con censura poco correlata a condizioni di salute, socioeconomiche...

55 Sistemi sanitari universali con single payer Sistemi sanitari universali con single payer hanno traiettorie individuali più lunghe con censura poco correlata a condizioni di salute, socioeconomiche... Similitudine tra Canada e Italia

57 Confronto con gold standard Classificazione Gold standard S N S SS SN N NS NN

58 Confronto con gold standard Classificazione Gold standard S N S VP FP N FN VN

59 Confronto con gold standard Sensibilità Classificazione Sens = VP VP+FN Gold standard S N S VP FP N FN VN Qual è la percentuale di casi che l algoritmo intercetta?

60 Confronto con gold standard Specificità Classificazione Spec = VN VP+FN Gold standard S N S VP FP N FN VN Quanto è probabile che i non casi siano davvero sani?

61 Confronto con gold standard Potere predittivo negativo Classificazione NPV = VN VN+FN Gold standard S N S VP FP N FN VN Quanto è probabile che un soggetto classificato come non sano abbia davvero la patologia?

62 Confronto con gold standard Potere predittivo positivo Classificazione PPV = VP VP+FP Gold standard S N S VP FP N FN VN Quanto è probabile che un soggetto classificato come caso lo sia davvero?

63 Confronto con gold standard Potere predittivo positivo Uno studio più facile da realizzare! Classificazione PPV = VP VP+FP Gold standard S N S VP FP N FN VN Quanto è probabile che un soggetto classificato come caso lo sia davvero?

64 Confronto tra pari Classificazione A Classificazione B S N S SS SN N NS NN

65 Confronto tra pari Classificazione A Classificazione B S N S = N =

66 Confronto tra pari Kappa di Cohen Classificazione A Classificazione B S N S = N = κ = P(=) P( ) 1 P( ) Con quale frequenza le due classificazioni coincidono?

67 Analisi multivariata Maggior precisione Durante la validazione tramite un analisi multivariata si può stabilire in cosa differiscono le popolazioni classificate nei due modi

69 Italian Administrative Databases EXE PERSON ID EXEMPTION CODE EXE START DATE... PERSONS PERSON ID GENDER CONCEPT ID DATE OF BIRTH STARTDATE ENDDATE... OUTPAT PERSON ID PROC CODE PROC START DATE... DRUGS PERSON ID DRUG EXPOSURE START DATE ATC DURATION... HOSP PERSON ID START DATE MAIN DIAGNOSIS SECONDARY DIAGNOSIS 1-5 PROCEDURE CODE 1-6 PROCEDURE DATE

70 Tracce dei percorsi di diagnosi e cura

71 Tracce dei percorsi di diagnosi e cura P P

72 Tracce dei percorsi di diagnosi e cura P E P E

73 Tracce dei percorsi di diagnosi e cura P E P P E P

74 Tracce dei percorsi di diagnosi e cura P E P Rx P E P

75 Tracce dei percorsi di diagnosi e cura P E P Rx P E P

76 Tracce dei percorsi di diagnosi e cura P E P Rx P P E P

77 Tracce dei percorsi di diagnosi e cura P E P Rx P Rx P E P

78 Tracce dei percorsi di diagnosi e cura P E P Rx P Rx P E P H

79 Tracce dei percorsi di diagnosi e cura P E P Rx P Rx X X X X X X X X X X P E P H X X X X X X X X X X

80 Ricchezza e disomogeneità Questa ricchezza di dati viene sfruttata da numerose e ricche esperienze locali per generare registri di patologia

81 Studi di validazione disponibili in Italia (da database progetto CCM) Limiti tecnologici e/o di privacy

82 Studi di validazione disponibili in Italia (da database progetto CCM) Limiti tecnologici e/o di privacy Su una sola sorgente di dato (solo ricoveri, solo farmaci,... )

83 Studi di validazione disponibili in Italia (da database progetto CCM) Limiti tecnologici e/o di privacy Su una sola sorgente di dato (solo ricoveri, solo farmaci,... ) Oppure a livello regionale o aziendale

84 Studi di validazione disponibili in Italia (da database progetto CCM) Limiti tecnologici e/o di privacy Su una sola sorgente di dato (solo ricoveri, solo farmaci,... ) Oppure a livello regionale o aziendale Su dati aggregati: confronto con dati ISTAT

85 Studi di validazione disponibili in Italia (da database progetto CCM) Limiti tecnologici e/o di privacy Su una sola sorgente di dato (solo ricoveri, solo farmaci,... ) Oppure a livello regionale o aziendale Su dati aggregati: confronto con dati ISTAT A livello individuale: confronto con registri di patologia, con dati clinici specialistici

86 Disegno di studio di validazione del progetto MATRICE Il progetto MATRICE dell AGENAS prevede il disegno, la sperimentazione, la validazione e l applicazione ad alcuni casi di studio di un software open source di aggregazione e di integrazione dei dati dei flussi sanitari nazionali, per produrre la lettura dei percorsi assistenziali di pazienti con patologie croniche

87 Disegno di studio di validazione del progetto MATRICE Il progetto MATRICE dell AGENAS prevede il disegno, la sperimentazione, la validazione e l applicazione ad alcuni casi di studio di un software open source di aggregazione e di integrazione dei dati dei flussi sanitari nazionali, per produrre la lettura dei percorsi assistenziali di pazienti con patologie croniche Tra i partner vi è il Ministero della Salute

88 Disegno di studio di validazione del progetto MATRICE Il progetto MATRICE dell AGENAS prevede il disegno, la sperimentazione, la validazione e l applicazione ad alcuni casi di studio di un software open source di aggregazione e di integrazione dei dati dei flussi sanitari nazionali, per produrre la lettura dei percorsi assistenziali di pazienti con patologie croniche Tra i partner vi è il Ministero della Salute Il progetto finanzia un dottorato di ricerca sullo studio di validazione

89 Disegno di studio di validazione del progetto MATRICE Il progetto MATRICE dell AGENAS prevede il disegno, la sperimentazione, la validazione e l applicazione ad alcuni casi di studio di un software open source di aggregazione e di integrazione dei dati dei flussi sanitari nazionali, per produrre la lettura dei percorsi assistenziali di pazienti con patologie croniche Tra i partner vi è il Ministero della Salute Il progetto finanzia un dottorato di ricerca sullo studio di validazione Lo studio di validazione rientra nell articolo 12 bis della legge sulla privacy

90 Disegno di studio di validazione del progetto MATRICE Il progetto MATRICE dell AGENAS prevede il disegno, la sperimentazione, la validazione e l applicazione ad alcuni casi di studio di un software open source di aggregazione e di integrazione dei dati dei flussi sanitari nazionali, per produrre la lettura dei percorsi assistenziali di pazienti con patologie croniche Tra i partner vi è il Ministero della Salute Il progetto finanzia un dottorato di ricerca sullo studio di validazione Lo studio di validazione rientra nell articolo 12 bis della legge sulla privacy Il disegno è un confronto individuale con dati clinici della medicina generale

92 Quando i registri nascono dall uso integrato dei sistemi informativi sanitari: quali strumenti per garantire qualità? I sistemi informativi italiani hanno la potenzialità per costruire registri di qualità, non dissimilmente da quanto avviene in Canada

93 Quando i registri nascono dall uso integrato dei sistemi informativi sanitari: quali strumenti per garantire qualità? I sistemi informativi italiani hanno la potenzialità per costruire registri di qualità, non dissimilmente da quanto avviene in Canada Mancano studi che stimano in modo sistematico indici di validità aggiustati su aree diverse del Paese

94 Quando i registri nascono dall uso integrato dei sistemi informativi sanitari: quali strumenti per garantire qualità? I sistemi informativi italiani hanno la potenzialità per costruire registri di qualità, non dissimilmente da quanto avviene in Canada Mancano studi che stimano in modo sistematico indici di validità aggiustati su aree diverse del Paese Per alcune patologie lo studio MATRICE può colmare questa lacuna

95 Grazie per l attenzione!