TheMatrix Il software

Transcript

1 TheMatrix Il software Rosa Gini Agenzia regionale di sanità della Toscana

2 Indice Il progetto MATRICE Infrastruttura distribuita Caratteristiche e requisiti Modello di dati IAD Il linguaggio di programmazione Riepilogando

4 Partner Agenzia nazionale per i servizi sanitari regionali (AgeNaS) 5 Regioni: Lombardia, Veneto, Emilia Romagna, Toscana, Puglia Ministero della Salute Agenzia regionale di sanità della Toscana Istituto di scienze e tecnologie dell informazione del CNR Società italiana di medicina generale Dipartimento di Informatica Medica dell Università Erasmus di Rotterdam Dipartimento di Informatica dell Università degli studi di Milano

5 Obiettivi generali... condividere basi informative comuni per arrivare ad un sistema che legga trasversalmente i sistemi sanitari regionali... dal documento di progetto

6 Obiettivi generali... utilizzare unicamente flussi informativi già esistenti, per poter osservare la gestione delle patologie complesse nelle diverse Regioni e Province Autonome, sulla base di dati la cui validità à condivisa con esse, attraverso operazioni di trasformazione del dato la cui validità verrà stabilita sulla base di rigorosi criteri scientifici... dal documento di progetto

7 Obiettivi generali... dotare i vari livelli istituzionali di una base conoscitiva condivisa che supporti la governance delle cure territoriali... dal documento di progetto

8 Obiettivi specifici Il progetto prevede il disegno, la sperimentazione, la validazione e l applicazione ad alcuni casi di studio di un software open source di aggregazione e di integrazione dei dati dei flussi sanitari nazionali... dal documento di progetto

9 Obiettivi specifici Il progetto prevede il disegno, la sperimentazione, la validazione e l applicazione ad alcuni casi di studio di un software open source di aggregazione e di integrazione dei dati dei flussi sanitari nazionali... TheMatrix dal documento di progetto

11 Dati tasformati localmente dati locali mapping Modello di dati IAD esecuzione script di TheMatrix ID SOGGETTO SESSO ANNO NASCITA VARIABILE X... ESPOSIZIONE EVENTO

12 Invio al punto centrale dati locali dati locali SESSO ANNO NASCITA VARIABILE X... ESPOSIZIONE EVENTO dati locali dati locali dati locali

13 Invio al punto centrale dati locali dati locali Dataset piccoli: selezionati, anonimi, aggregati SESSO ANNO NASCITA VARIABILE X... ESPOSIZIONE EVENTO dati locali dati locali dati locali

14 Algoritmi TheMatrix può applicare ai dati locali degli algoritmi che creano variabili derivate

15 Algoritmi TheMatrix può applicare ai dati locali degli algoritmi che creano variabili derivate Per esempio: un diabetico è un soggetto che ha un esenzione per diabete OR un ricovero per diabete OR una prescrizione di un farmaco antidiabetico

16 Algoritmi Validazione! TheMatrix può applicare ai dati locali degli algoritmi che creano variabili derivate Per esempio: un diabetico è un soggetto che ha un esenzione per diabete OR un ricovero per diabete OR una prescrizione di un farmaco antidiabetico

17 Algoritmi Validazione! TheMatrix può applicare ai dati locali degli algoritmi che creano variabili derivate Per esempio: un diabetico è un soggetto che ha un esenzione per diabete OR un ricovero per diabete OR una prescrizione di un farmaco antidiabetico

19 Caratteristiche Open source TheMatrix è un software open source sviluppato dall Istituto di scienze e tecnologie dell informazione (ISTI) del CNR, con il supporto del Dipartimento di Informatica dell Università degli studi di Milano Architettura Si installa presso una istituzione che possiede flussi sanitari in cui l identificativo personale è comune tra i flussi (una ASL, una Regione, un Agenzia) Programmazione flessibile È dotato di un linguaggio di programmazione sviluppato ad hoc, che consente di collegare, filtrare, trasformare, aggregare di dati Accesso ai dati Accede ai dati dei flussi sanitari esportati in formato csv in formato IAD oppure custoditi in MySQL o in Oracle Altri dati in input Accede inoltre a file csv con un qualsiasi tracciato record

20 Requisiti Sistema operativo Windows, Unix, Mac OS (Java 1.6 o superiore) Processore e RAM TheMatrix può funzionare su macchine con caratteristiche relativamente basse, ma i tempi di esecuzione si allungano, specialmente se il numero di assistiti è molto alto Spazio disco Lo spazio disco necessario a eseguire uno script complesso è circa 100GB ogni 500mila assistiti.

22 IAD EXE EXE START DATE EXEMPTION CODE DDRUG DRUG DISPENSING DATE ATC DURATION PERSON GENDER CONCEPT ID DATE OF BIRTH STARTDATE ENDDATE GP ID OUTPAT PROC START DATE PROC CODE GROUP CODE DRUGS DRUG DISPENSING DATE ATC DURATION HOSP START DATE END DATE PROCEDURE DATE 1-6 MAIN DIAGNOSIS SECONDARY DIAGNOSIS 1-5 PROCEDURE CODE 1-6

23 IAD Database relazionale EXE EXE START DATE EXEMPTION CODE DDRUG DRUG DISPENSING DATE ATC DURATION PERSON GENDER CONCEPT ID DATE OF BIRTH STARTDATE ENDDATE GP ID OUTPAT PROC START DATE PROC CODE GROUP CODE DRUGS DRUG DISPENSING DATE ATC DURATION HOSP START DATE END DATE PROCEDURE DATE 1-6 MAIN DIAGNOSIS SECONDARY DIAGNOSIS 1-5 PROCEDURE CODE 1-6

24 IAD Osservazioni con data EXE EXE START DATE EXEMPTION CODE DDRUG DRUG DISPENSING DATE ATC DURATION PERSON GENDER CONCEPT ID DATE OF BIRTH STARTDATE ENDDATE GP ID OUTPAT PROC START DATE PROC CODE GROUP CODE DRUGS DRUG DISPENSING DATE ATC DURATION HOSP START DATE END DATE PROCEDURE DATE 1-6 MAIN DIAGNOSIS SECONDARY DIAGNOSIS 1-5 PROCEDURE CODE 1-6

25 IAD Contenuto codificato con sistemi di codifica nazionali/internazionali EXE EXE START DATE EXEMPTION CODE DDRUG DRUG DISPENSING DATE ATC DURATION PERSON GENDER CONCEPT ID DATE OF BIRTH STARTDATE ENDDATE GP ID OUTPAT PROC START DATE PROC CODE GROUP CODE DRUGS DRUG DISPENSING DATE ATC DURATION HOSP START DATE END DATE PROCEDURE DATE 1-6 MAIN DIAGNOSIS SECONDARY DIAGNOSIS 1-5 PROCEDURE CODE 1-6

26 IAD EXE EXE START DATE EXEMPTION CODE DDRUG DRUG DISPENSING DATE Anagrafe ATC DURATION PERSON GENDER CONCEPT ID DATE OF BIRTH STARTDATE ENDDATE GP ID OUTPAT PROC START DATE PROC CODE GROUP CODE Caratteristiche dell individuo, storicizzate DRUGS DRUG DISPENSING DATE ATC DURATION HOSP START DATE END DATE PROCEDURE DATE 1-6 MAIN DIAGNOSIS SECONDARY DIAGNOSIS 1-5 PROCEDURE CODE 1-6

27 IAD Codifica ICD9CM (WHO) EXE EXE START DATE EXEMPTION CODE DDRUG DRUG DISPENSING DATE ATC DURATION PERSON GENDER CONCEPT ID DATE OF BIRTH STARTDATE ENDDATE GP ID OUTPAT PROC START DATE PROC CODE GROUP CODE Ricoveri ospedalieri Con diagnosi e procedure DRUGS DRUG DISPENSING DATE ATC DURATION HOSP START DATE END DATE PROCEDURE DATE 1-6 MAIN DIAGNOSIS SECONDARY DIAGNOSIS 1-5 PROCEDURE CODE 1-6

28 IAD EXE EXE START DATE EXEMPTION CODE DDRUG DRUG DISPENSING DATE ATC DURATION Visite specialistiche, esami diagnostici, PERSON GENDER CONCEPT ID DATE procedure OF BIRTH STARTDATE ENDDATE GP ID ambulatoriali Ambulatorio OUTPAT PROC START DATE PROC CODE GROUP CODE Codifica nazionale/locale DRUGS DRUG DISPENSING DATE ATC DURATION HOSP START DATE END DATE PROCEDURE DATE 1-6 MAIN DIAGNOSIS SECONDARY DIAGNOSIS 1-5 PROCEDURE CODE 1-6

29 IAD Esenzioni EXE EXE START DATE EXEMPTION CODE DDRUG DRUG DISPENSING DATE ATC DURATION PERSON GENDER CONCEPT ID DATE OF BIRTH STARTDATE ENDDATE GP ID Esenzioni ticket specifiche per patologia OUTPAT PROC START DATE PROC CODE GROUP CODE Codifica nazionale DRUGS DRUG DISPENSING DATE ATC DURATION HOSP START DATE END DATE PROCEDURE DATE 1-6 MAIN DIAGNOSIS SECONDARY DIAGNOSIS 1-5 PROCEDURE CODE 1-6

30 Farmaci erogati in farmacie ospedaliere, al di fuori di un ricovero EXE EXE START DATE EXEMPTION CODE Farmaci IAD diretti DDRUG DRUG DISPENSING DATE ATC DURATION PERSON GENDER CONCEPT ID DATE OF BIRTH STARTDATE ENDDATE GP ID Codifica ATC (WHO) OUTPAT PROC START DATE PROC CODE GROUP CODE Farmaci territorio DRUGS DRUG DISPENSING DATE ATC DURATION HOSP START DATE END DATE PROCEDURE DATE 1-6 MAIN DIAGNOSIS SECONDARY DIAGNOSIS 1-5 PROCEDURE CODE 1-6 Farmaci acquistati in farmacie non ospedaliere

32 Tipi di dato stringa contiene una stringa di caratteri alfanumerici circondata da virgolette, per esempio C0ju 9ik intero contiene un numero intero positivo, per esempio float contiene un numero decimale, con il punto come separatore, per esempio boolean contiene la dichiarazione di vero oppure di falso: vero è registrato con la stringa true e falso è registrato con la stringa false date contiene una data, nel formato YYYY-MM-DD, per esempio

33 Esempio Codice,Quantita,Prezzo,Data,Disponibile C01,98,69.90, ,true C02,5,6.10, ,false declareschema schemaesempio = [ {Codice : string} ; {Quantita: int} ; {Prezzo: float} ; {Data: date} ; {Disponibile: boolean} ]

34 Script Le procedure che eseguono le trasformazioni di dati sono contenute in file di testo chiamati script

35 Script Uno script è una sequenza di moduli, ciascuno dei quali ha un ben definito input e output Le procedure che eseguono le trasformazioni di dati sono contenute in file di testo chiamati script

36 Script L output è anch esso in formato csv Uno script è una sequenza di moduli, ciascuno dei quali ha un ben definito input e output Le procedure che eseguono le trasformazioni di dati sono contenute in file di testo chiamati script

37 Script Dettaglio: i csv L output di input è anch esso devono in formato csv essere validati prima di poter essere usati, la validazione è registrata in un filecon lo stesso nome con l estensione xml Uno script è una sequenza di moduli, ciascuno dei quali ha un ben definito input e output Le procedure che eseguono le trasformazioni di dati sono contenute in file di testo chiamati script

38 Struttura di un modulo OutputDataset input parameters end (ModuleName) custom = InputDataset parameter1 = parvalue parameter2 = parvalue

39 Struttura di un modulo Nome del dataset di output OutputDataset input parameters end (ModuleName) custom = InputDataset parameter1 = parvalue parameter2 = parvalue

40 Struttura di un modulo OutputDataset input Nome del modulo parameters end (ModuleName) custom = InputDataset parameter1 = parvalue parameter2 = parvalue

41 Struttura di un modulo descrizione del/dei dataset di input OutputDataset input parameters end (ModuleName) custom = InputDataset parameter1 = parvalue parameter2 = parvalue

42 Struttura di un modulo parametri del modulo OutputDataset input parameters end (ModuleName) custom = InputDataset parameter1 = parvalue parameter2 = parvalue

43 Moduli per l input FileInputModule da un file csv ScriptInputModule dall output di uno script precedente

44 Moduli di integrazione MergeModule record linkage deterministico uno-a-molti ProductModule record linkage deterministico molti-a-molti, condizionata

45 Moduli di creazione e modifica colonne ExtendDataModule crea una nuova colonna con un valore di default ApplyFunction modifica una colonna con l uso di funzioni

46 Moduli di filtro e aggregazione FilterModule conserva sole le righe le cui celle soddisfano una condizione logica AggregateModule aggrega per le combinazioni di un in sieme di colonne, calcolando misure di sintesi (conteggio, somma, media, minimo... ) su altre

47 Moduli di servizio SortModule ordinamento delle righe DropModule cancellazione colonne RenameModule modifica del nome delle colonne

48 Modulo di output FileOutputModule trascrive su hard disk un dataset in formato csv

49 // C a r i c a f i l e c o n t e n e n t e l i n d i c e d i d e p r i v a z i o n e d eclareschema schemadepriv = [{ID SOGGETTO : s t r i n g } ; { i n d i c e d e p r i v a z i o n e : i n t }] D e p r i v ( F i l e I n p u t M o d u l e ) p a r a m e t e r s inputfilename = DEPRIVAZIONE. csv inputschema = schemadepriv end // I n p u t d a l l o s c r i p t p r e c e d e n t e s o r t e d C o h o r t ( S c r i p t I n p u t M o d u l e ) p a r a m e t e r s s c r i p t F i l e n a m e = C O R S O p o p o l a z i o n e 1 p a t o l o g i e. t x t inputname = C O R S O P o p o l a z i o n e 1 p a t o l o g i e expectedschema = custom end // Ordina i l f i l e D e p r i v sorteddepriv ( SortModule ) i n p u t s schemadepriv = D e p r i v p a r a m e t e r s fieldnames = [ ID SOGGETTO ] end // U n i s c e i l f i l e d e l l i n d i c e d i d e p r i v a z i o n e e q u e l l o d e l l o s c r i p t p r e c e d e n t e Merge ( MergeModule ) i n p u t s custom = s o r t e d C o h o r t schemadepriv = s o r t e d D e p r i v p a r a m e t e r s primarykey = [ ID SOGGETTO ] fieldnames = [ ID SOGGETTO ] end // Output CORSOPopolazione 2 indice deprivazione ( FileOutputModule ) i n p u t s custom = Merge p a r a m e t e r s checksum = none c o m p r e s s i o n = none end

51 Riepilogando Il progetto MATRICE dell AgeNas ha sviluppato il software open source TheMatrix

52 Riepilogando TheMatrix realizza un architettura distribuita Il progetto MATRICE dell AgeNas ha sviluppato il software open source TheMatrix

53 Riepilogando Si installa localmente e legge flussi infromativi o altri file di dati TheMatrix realizza un architettura distribuita Il progetto MATRICE dell AgeNas ha sviluppato il software open source TheMatrix

54 Riepilogando Si installa localmente e legge flussi infromativi o altri file di dati Il linguaggio di script implementa semplici trasformazioni di dati TheMatrix realizza un architettura distribuita Il progetto MATRICE dell AgeNas ha sviluppato il software open source TheMatrix

55 Riepilogando Si installa localmente e legge flussi infromativi o altri file di dati Il linguaggio di script implementa semplici trasformazioni di dati TheMatrix realizza un architettura distribuita Approfondimenti: Il progetto MATRICE dell AgeNas ha sviluppato il software open source TheMatrix

56 Grazie per l attenzione!