Indicatori di esito tra gli obiettivi di budget in un Azienda Ospedaliera Universitaria: le conoscenze dei professionisti sanitari Fabiola Fabris 1*, Mariangela Bocchi 2, Valentina Mecchi 2, Albino Poli 3, Giulia Bisoffi 4, Oscar Bortolami 5, Valeria Perilli 6, Pierluigi Persi 7, Pier Paolo Benetollo 8 1 Medico Chirurgo, Direttore Servizio Miglioramento Qualità e Accreditamento, Azienda Ospedaliera Universitaria Integrata di Verona, 2 Medico Chirurgo, Scuola di Specializzazione in Igiene e Medicina Preventiva, Università degli Studi di Verona, 3 Professore Ordinario di Igiene, Dipartimento di Sanità Pubblica e Medicina di Comunità, Università degli Studi di Verona, 4 Responsabile Ufficio Supporto alla Ricerca e Biostatistica, Azienda Ospedaliera Universitaria Integrata di Verona, 5 Biostatistico, Ufficio Supporto alla Ricerca e Biostatistica, Azienda Ospedaliera Universitaria Integrata di Verona, 6 Direttore Servizio Controllo di Gestione, Azienda Ospedaliera Universitaria Integrata di Verona, 7 Collaboratore Tecnico, Servizio Controllo di Gestione, Azienda Ospedaliera Universitaria Integrata di Verona, 8 Direttore sanitario, Azienda Ospedaliera Universitaria Integrata di Verona ABSTRACT Background. La valutazione delle performance in sanità è progressivamente divenuta uno strumento rilevante per la programmazione dei servizi e per l allocazione delle limitate risorse disponibili. Numerose agenzie nazionali e internazionali hanno eleborato indicatori di qualità dell assistenza; anche la certificazione e l accreditamento delle strutture sanitarie passano dalla valutazione delle prestazioni in termini di efficienza ed efficacia. Obiettivi. Investigare interesse e conoscenze dei professionisti sanitari sugli indicatori di esito, valutando la loro capacità di identificarli nella propria Unità Operativa Complessa (UOC). Metodi. Alle UOC dell Azienda Ospedaliera Universitaria Integrata (AUOI) di Verona è stata definita, tra gli obiettivi di budget 2011, la proposta di tre indicatori di esito. Per facilitare e sostenere i professionisti nella loro selezione è stato realizzato un manuale con i principali criteri per la selezione; parallelamente è stata elaborata e distribuita alle UOC una scheda indicatore. Il direttore della UOC e il referente qualità erano i professionisti incaricati per selezionare gli indicatori da proporre. E stata condotta un analisi sulla frequenza di risposta, sulla tipologia di indicatori proposti e sulla corrispondenza di questi alle indicazioni della letteratura. Risultati. Hanno risposto il 76,6% delle UOC, proponendo complessivamente 151 indicatori. Di questi, 100 (66,2%) erano realmente indicatori di esito, mentre circa il 30% delle UOC ha proposto tipici indicatori di processo, quali i tempi o le liste di attesa per l erogazione delle prestazioni. Solo un numero limitato degli indicatori proposti (12.6%) erano proposti dalle agenzie nazionali e internazionali. Tra gli indicatori di esito proposti con maggiore frequenza dalle UOC cliniche la mortalità intraospedaliera, le infezioni correlate a pratiche assistenziali e lo stato di autosufficienza secondo l indice di Barthel. Limiti. Ipotizzando che le conoscenze degli operatori siano sovrapponibili a quelle del direttore e del referente qualità della UOC struttura, lo studio potrebbe sovrastimare l interesse relativamente ai meccanismi di valutazione degli esiti. Un ulteriore limite è considerare il numero e la qualità delle risposte come indicatore proxy delle conoscenze dei professionisti. Conclusioni. I risultati dello studio dimostrano la necessità di sostenere la formazione specifica nell ambito della valutazione delle performance tra i professionisti sanitari, in particolare riguardo gli indicatori di esito. Citazione. Fabris F, Bocchi M, Mecchi V et al. Introduzione degli indicatori di esito in una Azienda Ospedaliera Universitaria: quale percezione degli operatori sanitari? Evidence 2014;6(2): e1000069. Ricevuto 9 ottobre 2013 Accettato 10 gennaio 2014 Pubblicato 28 febbraio 2014 Copyright. 2014 Fabris. Questo è un articolo open-access, distribuito con licenza Creative Commons Attribution, che ne consente l utilizzo, la distribuzione e la riproduzione su qualsiasi supporto esclusivamente per fini non commerciali, a condizione di riportare sempre autore e citazione originale. Fonti di finanziamento. Nessuna. Conflitti d interesse. Nessuno dichiarato. Provenienza. Non commissionato; sottoposto a peer-review. * E-mail: albino.poli@univr.it Evidence www.evidence.it 1 Febbraio 2014 Volume 6 Issue 2 e1000069
BACKGROUND Negli ultimi anni la valutazione delle performance in sanità ha ricevuto un notevole impulso, in quanto strumento essenziale di programmazione, allocazione delle risorse e valutazione degli esiti assistenziali 1-13. A partire dagli anni Ottanta sono sorte diverse agenzie di valutazione con l intento di proporre, validare e applicare indicatori di performance delle strutture che erogano prestazioni sanitarie. In questi anni si sono sviluppati numerosi filoni di ricerca in ambito di valutazione a diversi livelli del processo di erogazione delle prestazioni, favorendo il confronto e l analisi di efficacia degli interventi sanitari: lo sviluppo dell Health Technology Assessment (HTA) e il numero di relative pubblicazioni testimonia la rilevanza assunta dai metodi di valutazione. Parallelamente alla valutazione della qualità delle prestazioni sanitarie, essenziale per garantire agli utenti interventi di eccellenza e allocare le risorse, si è diffuso l utilizzo degli indicatori di esito. In Italia l AGENAS ha lanciato il Programma Nazionale Esiti, che confronta gli esiti assistenziali tra tutte le strutture di ricovero nazionali 14,15. Considerato che la valutazione degli esiti assistenziali necessita di adeguata percezione e conoscenza da parte dei professionisti sanitari, alla fine del 2010 l Azienda Ospedaliera Universitaria Integrata (AOUI) di Verona ha iniziato un percorso per mettere a punto un cruscotto di indicatori di qualità per consentire ai professionisti di valutare le proprie prestazioni: il presente lavoro analizza la risposta degli operatori a questo programma di valutazione degli esiti. L AOUI di Verona si articola in due presidi, l Ospedale Civile di Borgo Trento, con 44 UOC, e l Ospedale Policlinico di Borgo Roma, con 33 UOC, aggregate in 9 dipartimenti trasversali alle due sedi. L AOUI registra circa 400 accessi/die al pronto soccorso e 45.572 ricoveri ordinari/ anno, di cui circa 10.000 provengono da fuori regione e oltre 3.000 da fuori provincia. Ogni giorno sono presenti circa 1.150 ricoverati in degenza ordinaria e circa 280 ricoverati in day-hospital, circa 100 pazienti vengono sottoposti a intervento chirurgico (un terzo in regime di day surgery) e circa 3.000 cittadini usufruiscono dei servizi ambulatoriali. L AOUI ha più di 6.000 dipendenti tra medici ospedalieri e universitari, infermieri, operatori sanitari, personale tecnico-professionale e addetti al settore amministrativo. In quanto struttura integrata ospedaliero-universitaria, nell AOUI si svolgono anche lezioni e tirocini per gli studenti del corso di laurea in Medicina e Chirurgia, in Odontoiatria e Protesi Dentaria e per numerose altre professioni sanitarie (infermieri, ostetriche, tecnici di radiologia, tecnici di laboratorio biomedico, fisioterapisti, logopedisti, etc.), oltre alla formazione di 982 specializzandi iscritti a 40 scuole di specializzazione. Nel dicembre 2002 l AOUI ha conseguito la prima certificazione del proprio sistema qualità secondo la norma ISO 9001:2000 (poi ISO 9001:2008), mantenendola sino ad oggi con un estensione ad oltre il 95% delle UOC. La certificazione attesta che l Azienda sta applicando un modello di organizzazione del lavoro in grado di fornire ai pazienti le maggiori garanzie in termini di efficacia e appropriatezza delle prestazioni ricevute e, in generale, di rispondere adeguatamente a tutte le loro esigenze. OBIETTIVI Investigare interesse e conoscenze dei professionisti sanitari sugli indicatori di esito, valutando la loro capacità di identificarli nella propria UOC. METODI Tra gli obiettivi di budget 2011 assegnati dalla direzione strategica alle singole UOC c era la richiesta di tre indicatori di esito. Per facilitare e sostenere i professionisti nella loro selezione è stato realizzato e diffuso un manuale con i principali criteri per la selezione; parallelamente è stata elaborata e distribuita alle UOC una scheda indicatore strutturata in tre sezioni: identificazione dell indicatore: nome, significato, documenti di riferimento, processo di riferimento, standard, attività ed eventuale indice di rischio, tipologia ed eventuale trasferibilità; caratteristiche: numeratore, denominatore, calcolo, fonte dati, periodicità di rilevazione: analisi e valutazione: risorse e responsabile, periodicità analisi, tipo di analisi, modalità di rappresentazione, valori di riferimento, validazione. Il direttore della UOC e il referente qualità erano incaricati di selezionare gli indicatori da proporre. A inizio 2012 tutte le proposte pervenute dalle singole UOC sono state analizzate da un gruppo di lavoro costituito dal direttore sanitario, dal personale del Controllo di Gestione, del Servizio di Miglioramento Qualità e dell Ufficio Supporto alla Ricerca e Biostatistica. Le proposte sono state validate o respinte in relazione ai seguenti criteri di validazione definiti nel manuale: indicatore di esito o di altra tipologia, aderenza ai criteri predefiniti presenti nel manuale, eventuale validazione da parte di agenzie nazionali (AGENAS, Istituto Mario Negri) o internazionali (AHRQ, OECD, Joint Commission), possibilità di calcolare l indicatore con i flussi correnti aziendali. I dati sono riportati come frequenze e percentuali e i confronti fra frequenze sono condotti con il test chi quadrato o con il test esatto di Fisher a seconda del numero minimo di risposte. RISULTATI Delle 77 UOC coinvolte, 59 (76,6%) hanno risposto proponendo complessivamente 151 indicatori. Di questi, (tabella 1), 100 erano indicatori di esito (66,2%), 46 (30.5%) di processo e 5 (3.3%) di altro tipo (struttura, Evidence www.evidence.it 2 Febbraio 2014 Volume 6 Issue 2 e1000069
Tabella 1. Suddivisione degli indicatori proposti per polo ospedaliero Policlinico Borgo Roma 33 UOC Ospedale Civile Borgo Trento 44 UOC Totale* 77 UOC UOC che hanno risposto 24 (72.7%) 35 (79.5%) 59 (76.6%) Indicatori di esito 49 (64,5%) 64 (71,1%) 100 (66.2%) Indicatori di processo 22 (28,9%) 26 (28,9%) 46 (30.5%) Altri indicatori 5 (6,6%) 0 (0,0%) 5 (3.3%) Totale 76 90 151 *il totale non è pari alla somma dei singoli valori perché vi sono indicatori comuni a UOC dei due poli ospedalieri qualità percepita, volume etc.). La distribuzione del tipo di indicatore per area di provenienza (tabella 2) dimostra la difficoltà dei servizi di proporre indicatori di esito rispetto alle UOC cliniche (41.3% vs 78.2%; p=0,003). Frequentemente sono stati proposti come indicatori di esito tipici indicatori di processo, quali i tempi di attesa o la degenza media (1 UOC di Area Chirurgica), mentre poche UOC hanno proposto la misurazione e il controllo del dolore, a dispetto di una recente direttiva aziendale. Dei 151 indicatori proposti, solo 19 (12,6%) risultavano validati da un agenzia nazionale o internazionale: 15 erano di esito e 4 di processo (figura 1). Tra gli indicatori di esito proposti con maggiore frequenza vi erano la mortalità intraospedaliera (proposta da 35 UOC), le infezioni correlate a pratiche assistenziali (19 UOC) e lo stato di autosufficienza secondo l indice di Barthel (12 UOC), proposto per lo più da UOC di area medica (tabella 3). Per i servizi sono risultate di rilevante interesse le performance nei circuiti di controllo esterno della qualità dei risultati forniti. DISCUSSIONE La valutazione d degli esiti è uno strumento consolidato a livello di ricerca epidemiologica e in ambito di HTA; meno studiata la conoscenza e l utilizzo di questo strumento da parte dei professionisti sanitari 16. Il nostro studio riporta i risultati di un percorso di introduzione di indicatori di esito in un AOUI di grandi dimensioni, contesto di professionisti esperti e culturalmente all avanguardia, nel quale vengono fornite prestazioni tecnologicamente avanzate ed è diffusa l abitudine alla ricerca clinica. In questo contesto, le risposte alla richiesta di proporre indicatori da parte delle UOC sono state utilizzate come proxy della conoscenza, dell interesse, della diffusione e dell utilizzo di indicatori di esito tra gli operatori. Nonostante la proposta di indicatori di esito fosse parte integrante degli obiettivi di budget, e quindi vincolante per il loro raggiungimento, diverse UOC non hanno fornito alcuna risposta. Questo atteggiamento refrattario, in presenza di un input aziendale importante, suggerisce che non tutti i responsabili delle UOC ritengono Tabella 2. Suddivisione degli indicatori per area Area Esito Processo Altri Totale Medicina 51 (77,3%) 15 (22,7%) 0 (0,0%) 66 Chirurgia 29 (80,6%) 7 (19,4%) 0 (0,0%) 36 Emergenza 7 (77,8%) 2 (22,2%) 0 (0,0%) 9 Servizi 19 (41,3%) 22 (47,8%) 5 (10,9%) 46 Figura 1. Indicatori validati da agenzie nazionali o internazionali fondamentale misurare oggettivamente la propria attività e che gli obiettivi di budget non vengono sempre correlati alle pratiche professionali. Si tratta probabilmente di un atteggiamento autoreferenziale, retaggio di un approccio alla valutazione della propria attività legato al singolo caso trattato e non al complesso delle prestazioni eseguite 17. La percentuale di risposta superiore al 70% garantisce un bias di selezione trascurabile 18 : pertanto i risultati possono essere ragionevolmente estesi a tutta l AOUI. Obiettivo specifico erano gli indicatori di esito delle prestazioni assistenziali erogate: il 33.8% degli indicatori proposti non era di esito, ma di altra natura. Il dato, combinato con la mancata risposta, porta ad un errore di risposta pari a circa il 50% degli indicatori: questo dimostra come la definizione di indicatore di esito venga ancora confusa con altre tipologie di indicatori. Emerge dunque la necessità di percorsi formativi specifici per tutti i professionisti sanitari, sin dalla formazione di base, in quanto la scarsa conoscenza degli strumenti di valutazione degli esiti influenza sia l organizzazione dell attività Evidence www.evidence.it 3 Febbraio 2014 Volume 6 Issue 2 e1000069
Tabella 3. Indicatori proposti con maggiore frequenza nelle quattro aree Indicatore Medicina Chirurgia Emergenza Servizi Totale Mortalità ospedaliera per tutte le cause 22 10 3 0 35 Infezioni correlate a pratiche assistenziali 6 8 3 2 19 Indice di Barthel 12 0 0 0 12 Performance valutazioni esterne qualità (VEQ) 0 0 0 3 3 assistenziale, che il riconoscimento delle prestazioni erogate. Ad esempio, la scarsa comprensione del significato degli indicatori può indurre a sottostimare l importanza della qualità del dato riportato nei flussi correnti aziendali o regionali con ripercussioni sul sistema di finanziamento stesso delle Aziende 16,17,19. La misclassificazione è più evidente nell area dei servizi (laboratori, radiologie, anatomia patologica), per i quali le proposte corrette erano inferiori al 50%. Se può risultare complesso identificare indicatori di esito per l assenza di meccanismi consolidati di feedback dai clinici sulla qualità dei referti, è tuttavia possibile valutare gli esiti utilizzando strumenti indiretti come i controlli di qualità esterni, oppure attraverso l analisi delle richieste di ripetizione di esami entro breve periodo. In ogni caso, l analisi delle cause del ridotto numero di indicatori di esito proposti dall area dei servizi non è obiettivo di questo studio e richiede un approccio differente. Dalle UOC sono state prese in considerazione solo in minima parte le agenzie che propongono indicatori di esito già validati, verosimilmente non note ai clinici o considerate di interesse marginale. L indicatore di esito proposto con maggiore frequenza è la mortalità intraospedaliera per tutte le cause, segnalato prevalentemente dalle UOC di area medica, ma anche da quelle di area chirurgica e dell emergenza (tabella 3). Le infezioni correlate alle pratiche assistenziali, che si collocano al secondo posto, proposte maggiormente in ambito chirurgico, in particolare da chirurgie specialistiche quali l oculistica e la neurochirurgia nelle quali tali complicanze hanno un notevole impatto sulla qualità dell assistenza. Proposto esclusivamente da UOC di area medica, geriatrica, neurologica e riabilitativa, è l indicatore sullo stato di autosufficienza descritto dall indice di Barthel: probabilmente questo è la conseguenza di un aspetto assistenziale particolarmente sentito in area medica in quanto l autosufficienza condiziona la dimissione del paziente, soprattutto negli anziani. LIMITI Innanzitutto, è stata fatta un assunzione di ordine gene- rale che la cultura sugli indicatori del direttore della UOC e del rispettivo referente qualità sia sovrapponibile a quella degli altri professionisti della stessa UOC. Questo potrebbe sovrastimare le conoscenze, il cui peso relativo non è possibile quantificare con questo studio. In secondo luogo è possibile che l interesse nei confronti di questo aspetto professionale sia enfatizzato dal fatto che esso costituiva obiettivo di budget, e quindi la risposta sia stata condizionata e quasi forzata. In ogni caso, nonostante le ripetute sollecitazioni, circa un quarto delle UOC non ha risposto. Un terzo limite è considerare la qualità delle risposte come un proxy delle conoscenze degli operatori: è chiaro che vi possono essere importanti bias nella generalizzazione di queste informazioni; tuttavia è questo un metodo indiretto di valutazione che probabilmente sottende la reale attenzione, sintesi di conoscenza e interesse, da parte dei responsabili ai processi di valutazione delle perfomance assistenziali non soltanto dal punto di vista della efficienza, ma anche e soprattutto della efficacia 3,16,17,19,20,21. CONCLUSIONI La maggior parte delle UOC ha aderito alla richiesta della direzione strategica di proporre tre indicatori. Tuttavia, la scelta di indicatori di esito si è rivelata appropriata solo in circa la metà dei casi, essendo stati proposti anche indicatori di processo e di altro tipo. Dallo studio emerge chiara la necessità di continuare e sostenere la formazione specifica in questo ambito tra i professionisti sanitari. CONTRIBUTO DEGLI AUTORI Ideazione e disegno dello studio: Fabiola Fabris, Albino Poli, Pierpaolo Benetollo Acquisizione dei dati: Fabiola Fabris, Giulia Bisoffi, Oscar Bortolami, Valeria Perilli, Pierluigi Persi Analisi e interpretazione dati: Fabiola Fabris, Mariangela Bocchi, Valentina Mecchi, Albino Poli, Giulia Bisoffi, Valeria Perilli Stesura dell articolo: Mariangela Bocchi, Valentina Mecchi, Albino Poli Evidence www.evidence.it 4 Febbraio 2014 Volume 6 Issue 2 e1000069
Revisione critica: Fabiola Fabris, Giulia Bisoffi, Pierpaolo Benetollo Approvazione finale della versione da pubblicare: Fabiola Fabris, Mariangela Bocchi, Valentina Mecchi, Albino Poli, Giulia Bisoffi, Oscar Bortolami, Valeria Perilli, Pierluigi Persi, Pier Paolo Benetollo BIBLIOGRAFIA 1. Bertin G. Governance e valutazione della qualità nei servizi socio-sanitari. Milano: Franco Angeli; 2007. 2. Hussey PS, Mattke S., Morse L., Ridgely MS. Evaluation of the use of AHRQ and other Quality Indicators. AHRQ Publication No. 08-M012-EF December 2007. Prepared for the Agency for Healthcare Research and Quality. Disponibile a: http://www. ahrq.gov/research/findings/final-reports/qualityindicators/ qualityindicators.pdf. Ultimo accesso: 28 3. Morosini P. Indicatori in valutazione e miglioramento della qualità professionale. Rapporti ISTISAN 04/29. Roma: Istituto Superiore di Sanità, 2004. Disponibile a: www.iss.it/binary/ publ/publi/04-29%20rev.1127220808.pdf. Ultimo accesso: 28 4. Agency for Healthcare Research and Quality. Prevention Quality Indicators Overview. Disponibile a: www. qualityindicators.ahrq.gov/modules/pqi_resources.aspx. Ultimo accesso: 28 5. Agency for Healthcare Research and Quality. Inpatient Quality Indicators Ovierview. Disponibile a: www. qualityindicators.ahrq.gov/modules/iqi_resources.aspx. Ultimo accesso: 28 6. Agency for Healthcare Research and Quality. Patient Safety Indicators Overview. Disponibile a: www.qualityindicators. ahrq.gov/modules/psi_resources.aspx. Ultimo accesso: 28 7. Agency for Healthcare Research and Quality. Pediatric Quality Indicators Overview. Disponibile a: www.qualityindicators. ahrq.gov/modules/pdi_resources.aspx. Ultimo accesso: 28 8. Joint Commission International. Manuale degli per l accreditamento all eccellenza degli ospedali. 4 a edizione, gennaio 2011. 9. Millar J, Mattke S and the Members of the OECD Patient Safety Panel. Selecting Indicators for Patient Safety at the Health System Level in OECD Countries. Parigi: Organisation for Economic Co-operation and Development ; 2004. Disponibile a: www.oecd.org/health/health-systems/33878001.pdf. Ultimo accesso: 28 10. Agency for Healthcare Research and Quality. Department of Health and Human Services. Guide to Patient Safety Indicators. March 2003. Version 3.0 (February 20, 2006). Disponibile a: ww.qualityindicators.ahrq.gov/downloads/ Modules/PSI/V30/psi_guide_v30.pdf. Ultimo accesso: 28 11. Kelley E, Hurst J. Health Care Quality Indicators Project. Conceptual Framework Paper. Organisation for Economic Cooperation and Development; 2006. Disponibile a: www.oecd. org/els/health-systems/36262363.pdf. Ultimo accesso: 28 12. Global Comparators. Leading hospital leading quality. Disponibile a http://globalcomparators.com. Ultimo accesso: 28 13. Brugnoli A, Vignali P. Identificazione di prioritari indicatori di esito e di processo dei Percorsi Diagnostico Terapeutici. Rapporto finale. Milano: Istituto Regionale di Ricerca della Lombardia; 2008. Disponibile a www.irer.it/rapportifinali/ Rapporto_finale_2007B036.pdf. Ultimo accesso: 28 febbraio 2014. 14. Agenzia Nazionale per i Servizi Sanitari Regionali, Ministero della Salute. Il Programma Nazionale Valutazione Esiti (PNE). Ed. 2012, SDO 2005-2011. Disponibile a: http://151.1.149.72/ pne11_new. Ultimo accesso: 28 15. Agenzia Nazionale per i Servizi Sanitari Regionali. I 42 Indicatori per gli ospedali. Disponibile a: www.quotidianosanita. it/allegati/allegato174458.pdf. Ultimo accesso: 28 febbraio 2014. 16. Chuang S, Howley PP, Hancock S. Using clinical indicators to facilitate quality improvement via the accreditation process: an adaptive study into the control relationship. Int J Qual Health Care 2013;25:277-83. 17. Renzi C, Sorge C, Fusco D, Agabiti N, Davoli M, Perucci CA. Reporting of Quality Indicators and Improvement in Hospital Performance: The P.Re. Val.E. Regional Outcome Evaluation Program. Health Serv Res 2012;47:1880-901 18. De Marco R, Verlato G, Zanolin E, Bugiani M, Drane JW. Nonresponsive bias in EC Respiratory Health Survey in Italy. European Respir J 1994;7:2139-45. 19. De Vos M, Graafmans W, Kooistra M, Meijboom B, Van Der Voort P, Westert G. Using quality indicators to improve hospital care: a review of the literature. Int J Qual Health Care 2009;21: 119-29. 20. Agabiti N, Davoli M, Fusco D, Stafoggia M, Perucci CA. Valutazione comparativa di esito degli interventi sanitari. Epidemiologia & Prevenzione 2011;35 Suppl.1: 1-80. 21. Davies HTO. Public release of performance data and quality improvement: internal responses to external data by US health care providers. Qual Health Care 2001;10:104-10. Evidence www.evidence.it 5 Febbraio 2014 Volume 6 Issue 2 e1000069