GLI INDICATORI Metodi di costruzione ed esempi a cura di Viviana Cancellieri T&C MANUALE DI RIFERIMENTO PER IL PERSONALE SANITARIO DEGLI OSPEDALI
Obiettivi degli slide kit Gli slide kits sono stati costruiti per essere uno strumento didattico a diposizione del Farmacista che voglia sostenere, promuovendo azioni di Formazione e l aggiornamento sui differenti aspetti legati alla gestione complessiva del farmaco di tutto il personale, laureato e non dei Reparti e dei Servizi della propria realtà organizzativa. Gli slide kits contengono, per ogni argomento trattato, la normativa più recente di riferimento, i metodi e gli strumenti validati a livello istituzionale e internazionale ed esempi di applicazione, che sono da utilizzare come strumenti ed esercizi didattici. Nella speranza che quest iniziativa possa essere un valido aiuto per la diffusione in tutti i professionisti sanitari delle conoscenze sulla complessa realtà della Farmacia ospedaliera e territoriale, oltre che delle competenze necessarie per agire in sicurezza, auguro a tutti Voi buon lavoro dr.ssa Viviana Cancellieri 2
Disclaimer Gli autori e redattori del sito Farmacisti Janssen Cilag sono Medici, Farmacisti, Ingegneri esperti di rischio clinico e di management sanitario. Quanto riportato deriva da fonti ufficiali del Ministero della Salute, dell Agenzia italiana del Farmaco e altre fonti istituzionali e da affidabili studi scientifici, accompagnato dai relativi riferimenti bibliografici, oltre che dalla esperienza maturata dagli Autori in oltre 10 anni di formazione rivolta al personale sanitario ospedaliero e territoriale in tutta Italia. In ogni caso, le informazioni fornite, gli esempi costruiti su procedure organizzative e gestionali, sono da intendersi come di natura generale ed a scopo puramente divulgativo ed illustrativo. Gli Autori declinano ogni responsabilità riguardo a possibili errori, dimenticanze o erronee interpretazioni presenti in queste pagine. 3
Cosa troviamo in questo slide Kit MISURAZIONI E INDICATORI COME PROCEDERE NELLA COSTRUZIONE DELL INDICATORE SCEGLIAMO I NOSTRI OBIETTIVI CRITERI: DEFINIZIONE E SCELTA STANDARD: DEFINIZIONE E SCELTA INDICATORI: DEFINIZIONE E SCELTA INDICATORI: 1 DEFINIZIONE INDICATORI: 2 DEFINIZIONE INDICATORI DI PERFORMANCE: - secondo la JCAHO - secondo HEDIS - secondoil sistema australiano - secondo il Regno Unito - esempi di indicatori di performance gestionale dall estero La funzione di un indicatore é di segnalare dove vi può essere un problema nella nostra organizzazione, come un cane da caccia punta alla selvaggina. Kazandjiian VA, Matthes N, Wicker KG (2003). Are performance indicators generic? The international experience of the Quality Indicators Project. J Eval Clin Prat 9:265-276 4
Misurazioni e indicatori I riferimenti di metodo e le definizioni sono tratti dal 2 Manuale degli indicatori in valutazione e miglioramento della qualità professionale a cura dell Istituto Superiore di Sanità, edizione 2005. Al prof. Pierluigi Morosini, che ne ha curato la redazione, un pensiero personale di stima e di riconoscenza per la costante opera prestata negli anni per la diffusione della cultura per la qualità nella sanità italiana Viviana Cancellieri 5
Misurazioni e indicatori Definizione tecnica di un indicatore: Misura sintetica, nella maggior parte dei casi approssimata, di un elemento quantitativo o qualitativo che si ritiene significativo per il controllo di un determinato problema (Montaguti-Zuccatelli) 6
Perché serve misurare? Soprattutto in Sanità Pubblica, perché misurare gli output (le prestazioni erogate) e gli outcome (gli effetti degli output)? Nina Waters afferma che si misura per due motivi essenziali: a) per rilevare se i programmi incidono concretamente sulla vita delle persone; b) per favorire la programmazione di azioni di miglioramento dei servizi. Nina Waters: Measuring Program Outcomes: A Practical Approach, 1996 United Way of America 7
Misurare consente una migliore comprensione dell andamento dell Azienda e della qualità delle prestazioni erogate di programmare azioni di correzione di eventuali criticità, ma anche di identificare aree di eccellenza un benchmarking con altre Aziende, nel rispetto della confrontabilità dei dati di fornire uno strumento per il decision making della Direzione strategica, ma anche per decisioni politico sanitarie in genere di utilizzare i dati e i risultati nella ricerca scientifica (segnatamente negli studi randomizzati e controllati) 8
La catena di montaggio degli indicatori DEFINIZIONE OBIETTIVI Organizzativi, Clinici e Professionali (Medici, Infermieristici, tecnici ecc..) CRITERI Qualificazione dell attività nel suo contesto Scelta dell obiettivo della misurazione Quali fenomeni sono in grado di definire la buona qualità dell attività che ho posto sotto osservazione STANDARD Organizzativi e Professionali INDICATORI Processo, Performance e Risultato Comportamenti organizzativi con cui mi confronto Misura del Criterio: Confronto tra standard e comportamento in atto
Come procedere nella costruzione dell indicatore La prima domanda da porsi é: cosa vogliamo misurare? la qualificazione dell attività prescelta nel suo contesto 10
Perché vogliamo misurare? Scegliamo i nostri obiettivi SEMPLICI MISURABILI ATTUALI RIPRODUCIBILI TEMPORALIZZATI ORGANIZZATIVI CLINICI TECNICI 11
I Le 7 famiglie di criteri per Donabedian 1. accessibilità 2. appropriatezza 3. adeguatezza 4. efficacia pratica 5. efficacia sperimentale 6. efficienza 7. accettabilità I 7 nani: La metafora: lavorano in gruppo, hanno ben presente gli obiettivi (strega, pietre preziose) agiscono per realizzarli ottengono il risultato 12
Criterio = Fenomeno da valutare (una lettura complessa) Le 7 famiglie di criteri per Donabedian 1. accessibilità 2. appropriatezza 3. adeguatezza 4. efficacia pratica 5. efficacia sperimentale 6. efficienza 7. accettabilità Quando Dove quando e dove: ACCESSO DEL PAZIENTE ALLA TERAPIA VALUTAZIONE DELLA PRESCRIZIONE Allestimento Consegna EDUCAZIONE DEL PAZIENTE CONTINUITÀ DELLE CURE 13
Standard: comportamenti con cui confronto il livello di raggiungimento del criterio Prescrittivi: dettati da leggi e regolamenti (norme, leggi, regolamenti, protocolli etc.) Ideali: confronto con linee guida (best practices, OMS, EBM.) Storici: se non ho di meglio prendo il mio comportamento storico e mi confronto con esso! (n. di prodotti galenici allestiti nel 2008 sul dato del 2007) 14
Concetto di indicatore È necessario identificare una grandezza sintetica che rappresenti un fenomeno e che si presti a dare giudizi (ovvero che sia in grado di comprendere al suo interno i fattori che hanno determinato il fenomeno così come si è osservato). Ciò introduce il concetto di indicatore. Gli indicatori sono variabili ad alto contenuto informativo, che consentono una valutazione sintetica di fenomeni complessi e forniscono gli elementi necessari ad orientare le decisioni. F. Focarile 2003 15
Indicatore È il rapporto tra atteso e osservato È la misura di raggiungimento dello standard Come costruirlo: il livello misurato é posto al numeratore lo standard di confronto è al denominatore Il rapporto deve tendere a 100% 16
L indicatore completo Un indicatore pronto per il monitoraggio deve essere così ben descritto da permettere all Operatore che rileva il dato di procedere senza incertezze interpretative. 17
Si valuta anche l indicatore! Riproducibile (preciso, affidabile, attendibile, ripetibile, costante) Ridotta variabilità tra e entro osservatori Accurato La rilevazione è priva di errori sistematici; il valore ottenuto corrisponde alla realtà o vi è vicino Sensibile al cambiamento Significa che l indicatore è capace di evidenziare i cambiamenti del fenomeno nel tempo e nello spazio (tra centri o soggetti diversi) Specifico per il fenomeno indagato Il termine significa che l indicatore è poco influenzato da fattori estranei alla qualità stessa. 18
L indicatore é utile solo se chiara la sua indicazione Esempio: Quest anno abbiamo speso 50.000 euro di farmaci in un mese! e allora? Deve essere esplicitato il termine di paragone (standard) e l obiettivo della misura (perché mi interessa questo dato, come lo voglio usare?) uno standard preso dalla letteratura il risultato per lo stesso indicatore di un altra U.O. il risultato per lo stesso indicatore nel tempo 19
Un indicatore utile Pertinente Misura il fenomeno che si intende misurare. Se mancano indicatori veramente Pertinenti, si possono usare indicatori approssimati o indiretti (es. mortalità invece di morbilità; giornate di degenza anziché costi) Scientificamente fondato Per un indicatore di processo professionale, basato su buone evidenze del Collegamento tra il processo in esame e gli esiti; per un indicatore di esito, riguardante esiti influenzabili dagli interventi in esame Inserito in un modello decisionale Valori diversi dell indicatore dovrebbero comportare scelte diverse. A questo scopo è opportuno che sia accompagnato da una soglia Facilmente comprensibile,semplice, non inutilmente complesso Per distinguere un cavallo da un asino bastano le orecchie. 20
Caratteristiche degli indicatori appropriatezza capacità discriminante completezza comprensibilità credibilità economicità essenzialità facilità di rilevazione misurabilità multidimensionalità obiettività pertinenza riproducibilità significatività tempestività all inizio quando il sistema é maturo 21
Come rappresentarli: la scheda indicatore (fonte Joint Commission International 2000) Codice Indicatore Area e Criterio prioritario di riferimento Indicatore: titolo Focus della valutazione: (l area specifica di uno o più fenomeni a cui la valutazione è indirizzata) Definizione del numeratore: (descrizione del campione posto al numeratore) Descrizione del numeratore: (ove necessario fornire le seguenti indicazioni) Dati: presenza di categorie, campioni, fenomeni, sequenze di processo da mettere al numeratore sorgente del dato: individuo o strumento od organizzazione interna od esterna responsabile in prima istanza dell elaborazione e diffusione di questi popolazione inclusa:informazioni dettagliate riguardo alla popolazione oggetto di valutazione. I dettagli possono includere informazioni specifiche su gruppi di dati.ed esempio procedure,periodi di rilevazione popolazione esclusa:informazioni dettagliate riguardanti le popolazioni di dati (categorie) che sono escluse dalla valutazione Definizione del denominatore: descrizione del campione posto al denominatore Descrizione del denominatore: (ove necessario fornire le seguenti indicazioni) Dati: presenza di categorie, campioni, fenomeni, sequenze di processo da mettere al denominatore sorgente del dato: individuo o strumento od organizzazione interna od esterna responsabile in prima istanza dell elaborazione e diffusione di questi popolazione inclusa:informazioni dettagliate riguardo alla popolazione oggetto di valutazione. I dettagli possono includere informazioni specifiche su gruppi di dati, ad esempio procedure,id10cm, periodi di rilevazione popolazione esclusa: informazioni dettagliate riguardanti le popolazioni di dati (categorie) che sono escluse dalla valutazione Informazioni aggiuntive: (eventuali note) Organizzazione promotrice: (fonte dell indicatore, linea guida di riferimento, Istituto o Associazione promotrice, anno di pubblicazione 22
Come rappresentarli: il report di scheda (fonte: Joint Commission International 2000) 23
Un esempio in galenica oncologica SIFO Standard tecnici Galenica Oncologica Rev_08_10_06.doc 24
Attribuzioni qualitative della qualità dell indicatore (score) Attribuzione Riferimento 1 insufficiente fino a 50 % 2 mediocre > 50 % fino a 65 % 3 sufficiente > 65 % fino a 80 % 4 buono > 80 % fino a 90 % 5 ottimo > 90 % 25
1 classificazione degli indicatori (da Donabedian) Indicatori di: Struttura: personale, logistica, apparecchiature Processo: di dagnosi, di cura e assistenza, riabilitazione, formazione, ecc. (cosa faccio per ottenere ciò che mi sono proposto) Esito: quali risultati abbiamo raggiunto (in termini organizzativi e in termini di qualità delle cure (indice complicanze, prevenzione cadute,ecc.) 26
2 classificazione degli indicatori WHO I: Indicatori aziendali II: Indicatori di risultato Pianificazione/programmazione Organizzativi/gestionali Qualità Economici Implementazione attività/prestazioni III: Indicatori di performance di azienda di unità operativa World Health Organization (WHO Regional Office for Europe, 2003) 27
Ricordiamoci che: Gli indicatori sono una descrizione precisa, misurabile ed oggettivamente verificabile dell andamento di un attività. L indicatore ha sempre un intento fotografico e non giudicatorio, mentre l indice è il rapporto fra un indicatore ed una quantità paragone, per cui esso fornisce un giudizio di valore. 28
Indicatori di performance L outcome da solo non è una misurazione della qualità sufficientemente affidabile. La sola conoscenza dell outcome raramente permette all utilizzatore di sapere cosa cambiare e cosa mantenere inalterato per migliorare la qualità. La qualità è strettamente correlata al processo. [Øvretveit] 29
Questioni epistemiologiche 1. Gli indicatori devono indicare : difficoltà di identificazione di reali indicatori di performance in Sanità. 2. Gli indicatori di performance frequentemente non misurano la performance, bensì i suoi epifenomeni. 3. Mentre la misurazione ha un valore globale, la valutazione è assoggettata ad una filosofia e ad aspettative locali. 4. La performance può essere descritta come un paradigma per fasi: definizione delle misure, monitoraggio, valutazione; se non cambia la vision, la misurazione della performance resta un mero esercizio accademico. 5. La misurazione della performance non deve restare un patrimonio istituzionale; deve estendersi e riflettersi sullo stato di salute del paziente assoggettato alle prestazioni sanitarie. 30
Questioni metodologiche La valutazione dei processi e degli outcome ha conseguenze insignificanti se non è associata ad una corretta analisi e interpretazione dei dati. Valutare cosa è misurabile vs. cosa è importante Soppesare gli outcome iniziali, intermedi e finali. It s not the data non è il dato... It s what you do with it! È quello che ne fai!!! (The Association of Maryland Hospitals & Health Systems) 31
Tipologia di processi e outcome misurabili - JCHAO JCHAO (Joint Commission on Accreditation of Healthcare Organizations): performance clinica stato di salute soddisfazione efficienza intesa come aspetti economico finanziari 32
Tipologia di processi e outcome misurabili - HEDIS HEDIS (Health Employer Data Information Set National Committee for Quality Assurance): qualità delle prestazioni soddisfazione accesso ai servizi utilizzo dei servizi pianificazione manageriale aspetti economico finanziari 33
Tipologia di processi e outcome misurabili CONQUEST (Computerized Needs Oriented Quality Measurement Evaluation System Federal Government s Agency for Health Care Policy and Research): 1.200 indicatori di outcome 34
Chi legge gli indicatori Direzione Azienda? Direttori di Distretto? Committente Direttori di Presidio? Direttori di Dipartimento? Stakeholders istituzionali? analisi delle criticità? Motivazioni quality improuvment? Attribuzione di risultato?? 35
Vantaggi e svantaggi delle misure di processo Vantaggi Facili da interpretare Campioni più piccoli Non intrusivi Più facilmente accettabili Dati già disponibili o più facilmente accessibili Più facile identificare azioni migliorative Tempi minori di raccolta dati e analisi Svantaggi Meno rilevanti per i pazienti Necessari continui aggiornamenti in linea con conoscenze Legame con gli esiti non sempre facile da stabilire Dubbi su rilevanza e specificità L aderenza a processi di cura appropriati non garantisce un miglioramento degli esiti La semplice aderenza non è esauriente per una misura della qualità effettiva 36
Vantaggi e svantaggi delle misure di outcome Vantaggi Obbligano a valutare se il sistema raggiunge i suoi obiettivi principali Stanno più a cuore ai vari stakeholders, in particolare ai pazienti I metodi di misurazione sono molto migliorati Permettono di stimolare una partecipazione più creativa dei clinici Alcuni possono essere confrontati tra condizioni e processi diversi Svantaggi Non sensibili al cambiamento in condizioni di cronicità non modificabile Possono incoraggiare la selezione dei pazienti favorevoli Il legame con i processi assistenziali può spesso essere solo ipotizzato I cambiamenti possono essere al di là di ciò che i clinici possono fare Possono richiedere lunghi tempi di osservazione Gli outcome più rari possono richiedere database grandi e complessi 37
III: Indicatori di performance La valutazione della performance non è da considerarsi altro che una dei numerosi strumenti di Quality Improuvment oggi utilizzati quali: l accreditamento i processi di auditing l outcome research il managed care (report card, profiling ecc.) la guidelines dissemination and implementation 38
II: Indicatori di risultato CLASSI Obiettivi di pianificazione/programmazione Obiettivi organizzativi/gestionali Obiettivi di qualità Obiettivi economici Obiettivi di implementazione di attività e prestazioni Obiettivi di formazione Altri obiettivi 39
Indicatori di pianificazione Farmacia Classe Pianificazione / programmazione Obiettivi Categoria Atti e provvedimenti Informatizzazione Programmi di prevenzione / riabilitazione Indicatori adozione dell atto/degli atti elaborazione finale dell atto/degli atti elaborazione del progetto adozione dell atto / degli atti elaborazione finale dell atto/degli atti elaborazione del progetto numero utenti numero utenti esterni numero stakeholder numero incontri informativi percentuale popolazione target 40
Indicatori gestionali di Farmacia Classe Organizzativi / gestionali Obiettivi Categoria Atti interni di riordino delle responsabilità Applicazione di normative Contenimento tempi di attesa delle prestazioni Riduzione tempi di attesa delle risposte Aumento disponibilità oraria per utenti Recupero ferie Indicatori produzione dell atto atto di definizione del protocollo operativo numero di incontri informativi numero di ordinatori della spesa unità di tempo (giorni) percentuale di abbattimento unità di tempo (giorni) percentuale di abbattimento ore istituzionali dedicate al progetto percentuale di incremento numero massimo di giorni residui 41
Indicatori qualità gestionale Farmacia Obiettivi Classe Categoria Accreditamento Indicatori produzione documenti qualità approvati (manuale qualità, procedure, istruzioni operative) verbale pre-audit esterno Qualità Gruppi di miglioramento Appropriatezza certificazione chiusura della scheda / Ufficio Qualità n linee guida implementate percentuale campionaria cartelle esaminate mediante audit riduzione % numero prescrizioni inappropriate 42
Indicatori gestionali di Farmacia Obiettivi Classe Categoria Riduzione / contenimento dei costi Indicatori valore monetario percentuale Economici Erogazione diretta Riduzione del personale Vendita di prestazioni valore monetario percentuale volumi distribuiti numero di unità valore economico valore monetario 43
Indicatori di Farmacia Classe Implementazione attività / prestazioni Obiettivi Categoria Nuove metodiche introdotte Prestazioni integrative e/o di supporto Prestazioni aggiuntive Indicatori numero di accertamenti nell unità di tempo numero di prestazioni nell unità di tempo percentuale incremento dell offerta 44
Indicatori Classe Obiettivi Categoria Indicatori percentuale target Formazione Sensibilizzazione numero ore allestimento protocolli, linee guida ecc. 45