Note metodologiche sugli indicatori e loro interpretazione

Transcript

1 Note metodologiche sugli indicatori e loro interpretazione Edizione 2016

2 SOMMARIO 1. NOTE METODOLOGICHE SUGLI INDICATORI DI ESITO La definizione degli indicatori La selezione dei soggetti in studio (scelta del denominatore) La definizione dell esito (scelta del numeratore) INTERPRETAZIONE DI SPECIFICI INDICATORI Mortalità per Infarto del Miocardio Acuto Durata della degenza post-operatoria inferiore a 3 giorni per gli interventi di colecistectomia laparoscopica Selezione parti cesarei primari Ospedalizzazioni per complicanze a lungo termine del diabete

3 1. NOTE METODOLOGICHE SUGLI INDICATORI DI ESITO 1.1. LA DEFINIZIONE DEGLI INDICATORI Un indicatore è costituito da un parametro che permette di misurare e valutare un fenomeno nella sua interezza pur rappresentandone solo una parte. Le caratteristiche fondamentali di un indicatore consistono in: - rappresentatività: l indicatore deve misurare un parametro che ha una stretta relazione con il fenomeno che si intende valutare; - accessibilità: l indicatore deve essere facilmente misurabile dalle fonti informative disponibili e la soglia di rilevabilità deve essere accessibile dal punto di vista analitico. Per quanto riguarda il Programma Nazionale Esiti si fa riferimento ai Sistemi Informativi Sanitari correnti disponibili per tutte le regioni italiane; - affidabilità: l indicatore deve essere soggetto al minor numero di errori sistematici possibili. Idealmente, l indicatore non dovrebbe essere mascherato da fattori di confondimento. Gli eventuali fattori di confondimento (per esempio, fattori di rischio o condizioni cliniche dei pazienti) dovranno essere controllati mediante opportune tecniche di risk adjustment; - operatività: l indicatore deve essere facilmente applicabile nel contesto che si intende valutare e deve permettere di individuare criticità e di monitorare eventuali azioni di intervento. Nel Programma Nazionale Esiti il processo che porta alla definizione di un indicatore di esito inizia con una fase di revisione della letteratura medico scientifica e delle eventuali linee guida di riferimento relative al trattamento o percorso diagnostico terapeutico che si intende valutare. Le informazioni derivate da questa prima fase di revisione consentono di definire una prima versione del protocollo da utilizzare per condurre le analisi preliminari che permetteranno di verificare la validità dell indicatore. Il protocollo operativo dell indicatore e i risultati delle analisi preliminari sono sottoposti alla valutazione di rappresentanti delle società scientifiche di riferimento e di gruppi di clinici esperti (Figura 1). Analogamente, il processo di individuazione e definizione dell indicatore può essere avviato dalle società scientifiche o da un panel di clinici e successivamente si procede alla stesura della prima versione del protocollo operativo da utilizzare per le analisi preliminari. 2

4 Figura 1. Processo di definizione degli indicatori di esito e di processo La costruzione di un indicatore che permetta di valutare la qualità dell assistenza sanitaria necessita della definizione di alcuni elementi: - il razionale dell indicatore: definisce in maniera chiara ed esplicita la relazione esistente tra il parametro misurato dall indicatore e la qualità del percorso clinico assistenziale; - la definizione dell indicatore: si riporta sinteticamente il parametro che si intende valutare e la popolazione nella quale tale parametro sarà misurato; - la misura di interesse: si definisce l esito da misurare al numeratore e, se necessario, la relativa unità di misura; - la popolazione da selezionare: si definisce la popolazione che deve essere considerata al denominatore; - gli intervalli di osservazione: devono essere indicati chiaramente; l intervallo di reclutamento entro il quale saranno contati i soggetti al denominatore, l intervallo di ricostruzione della storia clinica entro il quale saranno ricercati eventuali fattori di confondimento e l intervallo di follow-up entro il quale saranno misurati gli esiti di interesse. - standard di riferimento: si indica il valore con il quale confrontare i risultati misurati dall indicatore. Tale valore può essere calcolato dalla media dei risultati di tutte le unità valutate, può essere rappresentato dai migliori risultati ottenuti durante la valutazione (benchmark) oppure essere derivato dagli standard definiti dalla letteratura scientifica; - le fonti di dati: devono essere indicate le fonti dei dati necessarie al calcolo dell indicatore LA SELEZIONE DEI SOGGETTI IN STUDIO (SCELTA DEL DENOMINATORE) 3

5 La selezione dei soggetti da arruolare come coorte da analizzare è cruciale ai fini della validità dell indicatore. Per tale motivo è necessario definire in maniera esplicita nel protocollo dell indicatore i criteri di selezione dei soggetti che saranno inclusi nel denominatore. Altrettanto fondamentale è la definizione di eventuali criteri di esclusione per soggetti che non devono essere considerati nel calcolo del denominatore. Nel protocollo è necessario definire anche le fonti che saranno utilizzate per reperire i dati necessari al calcolo dell indicatore. In particolare, devono essere indicati eventuali fonti amministrative o i sistemi informativi sanitari (SIS) che saranno utilizzati ovvero specificare se sono necessari sistemi dedicati di raccolta dei dati (indagini ad hoc). Nel PNE si utilizzano i sistemi informativi sanitari correnti e le fonti amministrative per la loro accessibilità e per la loro capacità di fornire informazioni sulla totalità dell assistenza sanitaria erogata da strutture sanitarie che operano all interno del Servizio Sanitario Nazionale italiano. Inoltre, l uso dei sistemi informativi sanitari permette di condurre un monitoraggio sistematico nel tempo degli indicatori di esito inclusi nel PNE. I dati derivati dagli archivi elettronici sono collegati tra di loro mediante tecniche di record linkage con l obiettivo di integrare le informazioni presenti in archivi diversi o nello stesso archivio in periodi diversi (per maggiori informazioni sui sistemi informativi sanitari utilizzati e sulle tecniche di record linkage si veda la sezione Fonti informative e criteri di record linkage disponibile sul sito del Programma Nazionale Esiti) LA DEFINIZIONE DELL ESITO (SCELTA DEL NUMERATORE) Indicatori di esito Gli indicatori di esito misurano il risultato di un processo assistenziale in termini di esiti clinici (per esempio: mortalità, morbosità e ospedalizzazioni) oppure di variazioni della qualità della vita e della soddisfazione dell utenza. La loro relazione con il fenomeno misurato è influenzata da diversi determinanti che non sono direttamente correlabili con la qualità del processo assistenziale (marcatori di rischio, fattori ambientali, variabili socio-economiche, eccetera) e che devono essere considerati ed eventualmente corretti durante il calcolo dell indicatore. La robustezza degli indicatori di esito dipende inoltre dal tempo intercorso tra la misurazione e l effettiva erogazione della prestazione sanitaria. Sono indicatori facilmente misurabili spesso attraverso dati disponibili nei sistemi informativi sanitari, ma richiedono tecniche di risk adjustment per correggere eventuali differenze nei determinanti (case mix dei pazienti) legati agli esiti clinici. I tempi di misurazione possono essere lunghi per gli esiti a lungo termine e la numerosità di soggetti da rilevare è funzione della frequenza dell evento misurato. L affidabilità dell indicatore derivato da sistemi informativi sanitari è legata alla qualità della codifica degli esiti all interno dei flussi informativi sanitari, che può presentare disparità tra i diversi erogatori. Inoltre, gli eventi riportati all interno dei flussi sanitari possono essere soggetti a reporting bias, che consistono nella selettività nel riportare informazioni relative a dati di interesse sanitario. 4

6 Indicatori di processo (proxy di esito) Gli indicatori di processo misurano il grado di aderenza del processo assistenziale agli standard di riferimento della migliore pratica clinica basata sull evidenza: linee guida e percorsi assistenziali. Per questo motivo sono considerati dei proxy degli esiti dell assistenza e la loro robustezza, intesa come predittività degli esiti clinici, dipende dalla forza della raccomandazione e del grado di evidenza sui quali sono stati costruiti. Permettono di valutare l appropriatezza del processo assistenziale, individuando le aree di possibile miglioramento; a differenza degli indicatori di esito possono essere meno influenzati dalla variabilità nel case mix dei pazienti trattati. Ospedalizzazioni La qualità dell assistenza territoriale può essere valutata attraverso la misurazione delle cosiddette ambulatory care sensitive conditions (ACSC), che possono essere definite come le situazioni per le quali un assistenza territoriale di qualità consente di evitare il ricorso a ospedalizzazioni evitabili oppure un intervento precoce permette di prevenire complicazioni o patologie più gravi (PQI Guide AHRQ). Gli indicatori basati sui dati dei pazienti ricoverati in strutture ospedaliere (dati SIO) possono valutare la qualità dell assistenza erogata sul territorio quando sono riferiti a ricoveri potenzialmente evitabili con un appropriata gestione del paziente e del relativo percorso assistenziale. Si tratta di ricoveri che non hanno una stretta relazione con l assistenza ospedaliera, fatta eccezione per le situazioni nelle quali la necessità di ricorrere al ricovero avviene entro un breve lasso di tempo da un precedente accesso in ospedale. Nonostante tali indicatori siano costruiti con dati ospedalieri, il loro obiettivo è la misura dell assistenza territoriale e possono essere utili come strumento di screening mirato all identificazione di eventuali problemi legati alla qualità dell assistenza che possono essere oggetto di ulteriori e approfondite analisi. 5

7 2. INTERPRETAZIONE DI SPECIFICI INDICATORI 2.1. MORTALITÀ PER INFARTO DEL MIOCARDIO ACUTO La scelta dell esito da misurare deve tenere conto della sua stretta relazione con la qualità del processo assistenziale che si intende valutare. Inoltre, è necessario stabilire accuratamente il tempo di follow-up, inteso come la distanza tra l erogazione della prestazione e l esito misurato, dal momento che questo tempo influenza la robustezza dell indicatore. La morte del paziente avvenuta entro 30 giorni da un episodio di infarto del miocardio acuto (IMA) è un esito che permette di valutare l appropriatezza ed efficacia del processo diagnosticoterapeutico dell IMA a partire dal momento del ricovero ed entro un periodo di follow-up nel quale gli esiti sono ragionevolmente attribuibili alla struttura che ha preso in carico il paziente. Attualmente, il Sistema Informativo Ospedaliero permette di verificare la morte del paziente avvenuta nel ricovero indice od in ricoveri successivi, mentre l Anagrafe Tributaria permette di verificare l esistenza dello stato in vita del paziente nel periodo di follow-up. Esempio Confronto tra l Osp. di Ariano Irpino - Ariano Irpino (N = 94, Mortalità Grezza = 4,26, Mortalità ADJ = 4,64, Rischio Relativo = 0,51, p = 0,191) e l Osp. Umberto I - Nocera Inferiore (N = 247, Mortalità Grezza = 11,34, Mortalità ADJ = 18,48, Rischio Relativo = 2,05, p < 0,001) La mortalità dell Osp. di Ariano Irpino - Ariano Irpino è inferiore alla media nazionale (9,03), anche se tale differenza non risulta essere significativa, mentre la mortalità dell Osp. Umberto I - Nocera Inferiore è significativamente superiore. Criticità nell interpretazione Perché si misura la mortalità entro 30 giorni dal ricovero? La mortalità misurata entro 30 giorni (come da protocollo) è un esito in stretta relazione con l appropriatezza ed efficacia del processo diagnostico-terapeutico dell IMA; in questo caso confrontare i due risultati permette di confrontare l assistenza erogata dalle due strutture e di effettuare confronti anche con la media nazionale. Intervento Sarebbe opportuno condurre un audit clinico ed organizzativo nelle strutture con risultati molto differenti dalla media nazionale per verificare: - il percorso clinico assistenziale del paziente con IMA; - gli elementi organizzativi e gestionali di tale percorso; - eventuali problematiche riguardanti la codifica SDO (scheda di dimissione ospedaliera) del contenuto della cartella clinica. 6

8 2.2. DURATA DELLA DEGENZA POST-OPERATORIA INFERIORE A 3 GIORNI PER GLI INTERVENTI DI COLECISTECTOMIA LAPAROSCOPICA L intervento di colecistectomia per via laparoscopica non presenta differenze in termini di mortalità o complicanze rispetto all intervento laparotomico e garantisce una degenza ospedaliera e a una convalescenza post intervento più brevi rispetto alla tecnica open. Pertanto, l intervento di colecistectomia laparoscopica è considerato il gold standard nel trattamento della calcolosi della colecisti non complicata. Le linee guida raccomando l intervento per via laparoscopica, nei casi nei quali tale intervento è praticabile, al fine di garantire al paziente una ripresa più rapida dopo l intervento. L indicatore che misura la proporzione di interventi di colecistectomia con un degenza inferiore a 3 giorni è un indicatore di processo che permette di valutare il grado di aderenza del percorso assistenziale a uno standard di riferimento basato sull evidenza scientifica. La degenza postoperatoria dopo un intervento di colecistectomia laparoscopica è in generale compresa tra 2 e 5 giorni; la dimissione effettuata entro 3 giorni dall intervento può essere considerato un riferimento che indica una buona performance delle strutture. Esempio Confronto tra A.O.SSN Policlinico Umberto I - Roma (N = 313, Proporzione Grezza = 52,72, Proporzione ADJ = 50,52, Rischio Relativo = 0,73, p<0,001) e Pol.U. A. Gemelli - Roma (N = 631, Proporzione Grezza = 86,85, Proporzione ADJ = 85,92, Rischio Relativo = 1,24, p < 0,001) La proporzione di interventi con degenza post operatoria inferiore a 3 giorni del Pol.U. A. Gemelli - Roma è significativamente superiore alla media nazionale (69,18) mentre la proporzione di interventi con degenza post operatoria inferiore a 3 giorni dell A.O.SSN Policlinico Umberto I - Roma è significativamente inferiore. Criticità nell interpretazione La proporzione di interventi entro 3 giorni è un indicatore affidabile di performance delle strutture? La robustezza degli indicatori di processo dipende dalla forza della raccomandazione e dal grado di evidenza sui quali sono stati costruiti. Lo standard di riferimento, in questo caso, è derivato dalle linee guida di riferimento e dalla letteratura scientifica che prevedono una degenza post-operatoria dopo intervento di colecistectomia compresa tra 2 e 5 giorni. Permette, quindi, di valutare il processo clinico assistenziale e individua delle aree di possibile miglioramento per le strutture. Intervento Sarebbe opportuno condurre un audit clinico ed organizzativo per verificare: - il percorso clinico assistenziale del paziente che si sottopone a intervento di colecistectomia laparoscopica; - gli elementi organizzativi e gestionali di tale percorso; - eventuali problematiche riguardanti la codifica SDO del contenuto della cartella clinica. 7

9 2.3. SELEZIONE PARTI CESAREI PRIMARI Nel denominatore dell indicatore proporzione di parti con taglio cesareo primario sono escluse tutte le donne con pregresso parto cesareo dal momento che per queste donne esiste una maggiore probabilità che tale procedura possa essere eseguita anche nei parti successivi. Pertanto, la selezione della coorte da analizzare nell indicatore proporzione di parti con taglio cesareo primario prevede l inclusione di tutte le dimissioni di donne che hanno partorito in ospedali italiani, escludendo tutte le donne che con pregresso parto cesareo effettuato nei due anni precedenti; in questo modo è possibile calcolare correttamente la proporzione di parti con taglio cesareo primario (primo parto con taglio cesareo di una donna). La restrizione della coorte da analizzare alle sole donne senza pregresso parto cesareo permette di confrontare le strutture, escludendo la possibilità che la scelta della modalità del parto sia influenzata dell esecuzione di precedenti interventi cesarei. Esempio L A.O.U.U. Careggi - Firenze ha un volume di parti pari a ricoveri nel 2015 mentre per il calcolo dell indicatore proporzione di parti con taglio cesareo primario sono stati selezionati ricoveri del Il numero ricoveri per parto dell A.O.U.U.Careggi Firenze nel 2015 è maggiore del numero di ricoveri che sono utilizzati come denominatore per il calcolo dell indicatore. Criticità nell interpretazione E metodologicamente corretto che il numero di ricoveri per parto utilizzato nel calcolo dell indicatore sia inferiore al numero totale di ricoveri per parto nella struttura considerata? La selezione prevede di includere al denominatore dell indicatore tutte i ricoveri per parto, ma esclude le donne con pregresso parto cesareo (vedi protocollo dell indicatore). Pertanto, la selezione della coorte non corrisponde al totale dei parti nella struttura ma al totale dei ricoveri per parto per i quali non esiste un corrispondente pregresso parto cesareo nei due anni precedenti. Intervento Applicando i criteri di selezione della coorte indicati nel protocollo dell indicatore si può verificare il numero ricoveri per parto senza pregresso cesareo avvenuti nella struttura e che sono state selezionati nel calcolo del denominatore dell indicatore. 8

10 2.4. OSPEDALIZZAZIONI PER COMPLICANZE A LUNGO TERMINE DEL DIABETE La gestione del soggetto con diabete mellito richiede la definizione di percorsi assistenziali territoriali che permettano al sistema di prendere adeguatamente in carico il paziente cronico, favorendo l adozione di corretti stili di vita, l uso dei farmaci previsti per la patologia metabolica e il monitoraggio sistematico dei parametri fisici. La corretta gestione del soggetto diabetico permette di migliorare la qualità della vita di tali pazienti ed evita l insorgenza di complicanze a breve e a lungo termine. Infatti, lo scarso controllo a lungo termine della malattia diabetica può favorire l insorgenza di complicanze a carico del sistema cardiocircolatorio, complicanze oculari come la retinopatia diabetica, complicanze renali come la nefropatia oppure complicanze neurologiche come la neuropatia diabetica. L indicatore ospedalizzazioni per complicanze a lungo termine del diabete misura l appropriatezza e l efficacia dell intero processo di assistenza e gestione del soggetto diabetico in uno specifico territorio. Esempio Confronto tra la Provincia di Taranto (N = 170, Tasso Grezzo = 0.58, Tasso ADJ = 0.60, Rischio Relativo = 1.85, p < 0.001) e la Provincia di Lecce (N = 117, Tasso Grezzo = 0.19, Tasso ADJ = 0.19, Rischio Relativo = 0.57, p < 0.001) Il numero di ospedalizzazioni per complicanze a lungo termine del diabete nella Provincia di Taranto è superiore alla media nazionale (0.32) mentre il numero di ospedalizzazioni per complicanze a lungo termine del diabete nella Provincia di Lecce è significativamente inferiore. Criticità nell interpretazione Il numero di ospedalizzazioni per complicanze a lungo termine del diabete è un indicatore che valuta l appropriatezza dell assistenza a livello ospedaliero oppure la qualità della gestione del paziente a livello del territorio? Evidenze scientifiche hanno dimostrato che i pazienti che ricevono un assistenza territoriale integrata ed un supporto educativo all autogestione ed al follow-up della malattia meno frequentemente ricorrono alle cure ospedaliere. Quindi, l indicatore valuta la qualità dell assistenza territoriale, dal momento che misura il numero di ospedalizzazioni potenzialmente evitabili con una corretta gestione del soggetto diabetico a livello territoriale. Intervento Nella Provincia di Taranto sarebbe opportuno verificare la qualità dei dati dei Sistemi Informativi Ospedalieri ed eventualmente rivedere le politiche di gestione del soggetto diabetico a livello territoriale e revisionare il percorso assistenziale nelle diverse fasi di presa in carico del paziente. 9