L integrazione sociosanitaria: la valutazione come strumento per apprendere e cambiare - Contributo teorico - Lucia Ferrara, dottoranda in Scienze delle relazioni Umane curriculum Progettazione e valutazione delle politiche sociali, Università degli Studi di Bari 1 Giuseppe Moro, professore ordinario di Sociologia, Università degli Studi di Bari Introduzione L invecchiamento, l aumento della cronicità e la scarsità di risorse rappresentano i nodi della società odierna nella riprogettazione delle politiche di welfare. I modelli di cure esistenti, frammentati e a compartimenti stagni, non sono più adeguati a rispondere alle necessità di una crescente popolazione anziana con bisogni sanitari multipli, complessi (Ham e Curry, 2011), continuativi ed onerosi. È ormai condiviso che per migliorare la salute ed il benessere dei cittadini, sia necessario, nei sistemi pubblici universalistici, offrire l accesso e l erogazione dei servizi garantendo un approccio socio-sanitario integrato, specialmente per le categorie più fragili della popolazione, e proteggere indistintamente i cittadini contro i rischi economico-sociali legati alla malattia (Nuti e Bersanti, 2009). La ricerca sui modelli e le modalità di integrazione delle cure (IC) è divenuta una priorità per alimentare processi continui di innovazione, efficienza e qualità nell assistenza delle persone con bisogni clinici e sociali complessi. Sul versante degli indirizzi politico-amministrativi, l integrazione socio-sanitaria, costituisce, infatti, a partire dalla L. 328/2000, dal D.Lgs. 229/1999 e dal P.S.N. 1998-2000, un tema fondamentale della normativa nazionale ed oggetto specifico delle strategie di politica della salute e delle normative regionali di programmazione sanitaria. A livello normativo e politico l integrazione è promossa come un fattore fondamentale di qualificazione dell offerta dei servizi e delle prestazioni socio sanitarie in grado di generare maggiore efficacia di 1 Autore corrispondente lucia.ferrara@uniba.it 1
cura e di sostegno, favorire un uso più efficiente delle risorse, ridurre il disagio dei cittadini nel rapporto con i servizi e garantire maggiore equità, livelli omogenei di opportunità per l accesso ai servizi, per la qualità dei trattamenti e nei costi e nella contribuzione a carico dei cittadini. Nonostante l attenzione crescente nei confronti dell integrazione e delle potenzialità ad essa connesse, l efficacia assoluta e comparativa dei programmi di integrazione rispetto ai diversi modelli di presa in carico dei pazienti fragili e l ampiezza con cui i servizi sono integrati per rispondere ai bisogni sanitari dei pazienti è spesso sconosciuta e raramente misurata e mancano a livello internazionale delle valutazioni robuste sull efficacia dei programmi di integrazione (Reynolds & Sutherland, 2013; Ye et al., 2012). Tre review sistematiche della letteratura (Armitage, Suter, Oelke, & Adair, 2009; Strandberg-Larsen & Krasnik, 2009; Lyngsø, Godtfredsen, Høst, & Frølich, 2014) hanno rilevato una mancanza di ricerche valutative di qualità e di strumenti standardizzati per valutare gli outcome dell integrazione e i meccanismi che favoriscono e rendono possibile l integrazione. La fretta a intervenire senza valutazioni e monitoraggi adeguati continuerà a risultare in una debole evidenza a supporto dei processi decisionali e di valutazione (Reynolds & Sutherland, 2013). Data l importanza attribuita all integrazione a livello politico governativo, risulta, pertanto, necessario e di estrema attualità e importanza sviluppare sistemi di valutazione e monitoraggio metodologicamente robusti per valutare gli effetti e i fattori che determinano e rendono possibile l integrazione (Greaves et al., 2013) al fine di supportare i decisori politici e le fasi di programmazione degli interventi. L obiettivo di questa review è, pertanto, identificare quali ricerche valutative sull integrazione sono state condotte, quali sono i metodi di valutazione, gli approcci, i framework di valutazione e gli strumenti di valutazione dell integrazione presenti in letteratura. In particolare nel presente lavoro si è cercato di rispondere a due principali domande di ricerca: 1. Quali ricerche valutative sono state condotte sull integrazione? E nello specifico, quali tipologie di ricerche valutative sono state condotte? Quali metodologie sono state usate? Quale funzione è stata attribuita alla valutazione (es. learning, accountability ecc)? In 2
quale momento si colloca la valutazione (ex ante in itinere ex post)? Qual è l oggetto della valutazione (politica, programma, progetto, servizio)? 2. Tenuto conto dei framework di integrazione individuati a livello internazionale, quali sono gli strumenti di valutazione e quali aspetti dell integrazione sono indagati? Metodologia di ricerca Strategia di ricerca È stata condotta una revisione sistematica della letteratura su PubMed, Medline, Jstor, CINAHL, usando come criteri di ricerca ("Int J Integr Care"[Journal] OR ("integrated"[all Fields] AND "care"[all Fields]) OR "integrated care"[all Fields]) AND ("evaluation studies"[publication Type] OR "evaluation studies as topic"[mesh Terms] OR "evaluation"[all Fields]). Inoltre, sono stati analizzati i siti internet di alcune rilevanti organizzazioni per individuare ulteriori rapporti di ricerca e pubblicazioni sul tema della valutazione dell integrazione. Sono stati considerati nell analisi gli articoli scritti in italiano, inglese, francese e spagnolo. Gli articoli scritti in altre lingue sono stati inclusi solo se un abstract in una delle precedenti lingue era fornito. Per l inclusione nella review, ogni articolo doveva soddisfare i seguenti criteri di inclusione: - essere pubblicato in un peer review journal tra il 1980 e il 2014; - includere un framework di valutazione dell integrazione; - includere un approccio di valutazione; - includere un modello di valutazione; - includere uno strumento di valutazione. Processo di revisione Dai quattro database sono stati identificati 14.000 articoli. Dopo revisione dei titoli e delle parole chiave ed eliminazione degli articoli non rilevanti per la review e/o duplicati, 190 abstract sono stati analizzati. Da questi abstract 50 articoli sono stati selezionati per essere revisionati e analizzati nel dettaglio (Figura 1). Dall analisi dei testi e dei riferimenti bibliografici sono stati individuati 3
ulteriori 52 articoli potenzialmente rilevanti che sono stati oggetto di revisione specifica. Nessuno di questi articoli è stato successivamente incluso nella review. Figura 1 - Processo di revisione La ricerca in JStor, PubMEd ha prodotto 14.000 articoli potenzialmente rilevanti I titoli e le parole chiave sono state analizzate e 13.809 articoli sono stati esclusi perchè non rilevanti o duplicati 190 Articoli sono stati selezionati per una ulteriore analisi Gli abstract sono stati revisionati e 140 articoli sono stati esclusi 50 Articoli sono stati selezionati per una revisione detagliata I full text degli articoli sono stati revisionati e 31 articoli sono stati esclusi 19 articoli sono stati inclusi nella revisione sistematica Risultati Sono stati identificati 19 articoli che rispettano i criteri di ricerca e rispondono alle domande di ricerca: 9 articoli riportano case studies e 10 strumenti di valutazione. Di seguito si riporta una sintesi dei risultati più rilevanti. La valutazione dell integrazione I casi studio di valutazione riportati in letteratura sono stati analizzati al fine di individuare e riportare schematicamente quali sono gli elementi che caratterizzano queste valutazioni. Seguendo una tassonomia classica degli elementi di una valutazione, sono stati individuati gli obiettivi, le fasi, le funzioni, gli approcci e le metodologie di valutazione (Tabella 1). Le ricerche valutative individuate sono state condotte quasi nella totalità nel contesto anglosassone e mirano a valutare l efficacia degli interventi in termini di outcome e impatto sull uso dei servizi e sui costi. La valutazione svolge essenzialmente una funzione di learning, finalizzata a generare apprendimento, ovvero si tratta di valutazione in senso stresso, come stima degli effetti prodotti da un programma. È di tipo ex-post (raramente in itinere) e prospettica, per riorientare il disegno dei programmi. Dal 4
punto di vista degli approcci, si fa per lo più ricorso agli approcci sperimentali e quasi sperimentali, fanno eccezione la valutazione del programma Pilota The Northwest London Integrated Care Pilot in cui gli autori ricorrono alla teoria della valutazione degli interventi complessi (Curry e Ham, 2010) per sviluppare una responsive evaluation; il lavoro di Reynolds e Sutherland (2013) che ricorre all approccio sistematico di Rossi, Lipsey e Freeman (2004) per la valutazione dei programmi e il lavoro di Ling e colleghi (2010) che fanno ricorso alla valutazione basata sulla teoria (Weiss, 1997). Dal punto di vista dei metodi si tratta per lo più di ricerche che usano una metodologia mista (mixed method) attraverso la triangolazione di metodologie di ricerca proprie della ricerca qualitativa (interviste, focus group, osservazioni non partecipanti ecc.), della ricerca quantitativa (questionari, dati sui pazienti, ecc.) e della valutazione economica. In tutti i casi analizzati si tratta di singole valutazioni non inserite all interno di un programma strutturato di valutazioni ovvero slegate dal ciclo di vita dei programmi (Policy cycle analysis). 5
Tabella 1 - La valutazione dell'integrazione una tassonomia Articolo Obiettivo articolo Paese Esiti Funzione Tempo Oggetto Approccio Metodologia (Greaves et Valutare come la sperimentazione si Uk Impatto su Learning In itinere Programma Responsive Teoria della al., 2013) inserisce nell economia sanitaria, il uso dei Ex-post sperimentale valutazione degli suo impatto sugli outcome clinici e i costi e sull esperienza dei pazienti e servizi, costi, interventi complessi professionisti qualità Mixed method (Reynolds & Sutherland, 2013) (Curry et al., 2013) (Ling, et al., 2010) (Bernabei et al., 1998) (Horwitz al., 2012) (Gorina al., 2014) (Ignatowicz et al., 2014) et et (Haas et al., 2001) Definire un approccio sistematico alla valutazione dell integrazione a livello nazionale per favorire il processo decisionale Valutare l implementazione e l impatto di una sperimentazione Produrre un portfolio di evidenze per rafforzare le conoscenze sull integrazione e identificare i contesti in cui l integrazione è efficace Valutare l impatto di un programma di integrazione socio-sanitaria per gli anziani fragili Valutare le esperienze dei pazienti nei confronti di un servizio innovativo di integrazione Confrontare il livello di soddisfazione degli utenti inseriti in due modelli di presa in carico Valutare il coinvolgimento dei fornitori in un servizio integrato efficace Definire i fattori che possono influenzare una implementazione di successo e lo sviluppo di un servizio integrato USA UK UK Processo Impatto Outcome Processo Outcome Processo Outcome Learning In itinere Servizio Sistematico Monitoring and evaluation framework (M&E) Implementation In itinere (Dopo 1 anno sperimentazione) Learning In itinere (Dopo 1 anno sperimentazione) Italia Outcome Accountability In itinere Ex post (1 anno follow up) Nuova Zelanda 6 Programma sperimentale Service Programma Controfattuale Valutazione basata sulla teoria (Weiss) Mixed method Mixed method Programma Sperimentale Randomised controlled trial Outcome Learning Ex-post Servizio Quasi sperimentale Spagna Outcome Learning Ex-post Servizio Quasi sperimentale Ricerca quantitativa Ricerca quantitativa UK Processo Learning In itinere Programma Responsive Recerca qualitativa Paesi Bassi Processo Learning Ex-post Servizio Comparativo Analisi SWOT
Gli strumenti di valutazione dell integrazione L analisi della letteratura ha permesso di individuare 10 strumenti di valutazione dell integrazione: 1. Human service integration measure (Browne et al., 2004; Ye et al., 2012). 2. Questionnaire of interprofessional collaboration (Solinís et al., 2013). 3. Functional clinical integration measure (Ahgren & Axelsson, 2005). 4. Intersectoral collaboration measure(ahgren, Axelsson, & Axelsson, 2009). 5. Service delivery integration measure (Sheiman & Shevski, 2013). 6. Partnership self-assessment tool (Center for the Advancement of Collaborative Strategies in Health, 2002). 7. Team Climate Inventory (Anderson e West, 1994). 8. Perception of interprofessional collaboration model questionnaire (Ødegård, 2006). 9. Service Delivery Integration Index (Henrard et al., 2006). 10. Integration service delivery (Hébert & Veil, 2004). Di questi strumenti, 7 sono strumenti creati ad hoc per la valutazione dell integrazione, mentre 3 (il Partnership Self-Assessment Tool, il Team Climate Inventory questionnaire, e il Perception of Interprofessional Collaboration Model Questionnaire) sono mutuati da altre discipline e adattati per la valutazione dell integrazione. La Tabella 2 riporta per ogni strumento di misurazione dell integrazione individuato il Paese in cui è stato sperimentato e validato, l obiettivo specifico dello strumento, il punto di vista dell analisi (professionista, manager, paziente), l oggetto della misurazione e qual è l utilità dello strumento nella valutazione dell integrazione. 7
Tabella 2 - Strumenti di misurazione dell'integrazione Misura Paese Obiettivo Prospettiva Cosa va a misurare Human service Canada Fornitori dei integration servizi locali measure Quantifica l estensione, scopo e profondità della collaborazione. Identifica quali settori, servizi o agenzie sono connesse e stanno collaborando meglio/peggio con le alter al fine di migliorare la collaborazione. Portata, profondità, estensione dell Integrazione Caratteristiche Utilità strumento Misura quantitativa per ogni servizio e una misura totale del livello di integrazione tra servizi Scala Ordinale a 5 punti Permette di determinare quali servizi stanno collaborando meglio con gli altri e quali no. Fornisce una misura di base per comparare i progressi longitudinalmente Questionnire of interprofessional collaboration Functional clinical integration measure Intersectoral collaboration measure Spagna Svezia Svezia Valuta la collaborazione tra professionisti clinici in due differenti livelli di cura Valuta il grado di integrazione clinica funzionale Valuta l integrazione dei servizi e cattura la percezione degli utilizzatori Professionisti Collaborazione interprofessionale Managers Grado di integrazione Utilizzatori Percezione dell IC, struttura, processi e outcome Questionario Scala likert a 5 punti Griglia autovalutazione Ratio - scale di Questionario (32 domande scala ordinale e aperte) Misura come la collaborazione interprofessionale cambia nel tempo e con lo sviluppo di diverse iniziative di integrazione Include livelli ottimali di integrazione accanto ai livelli attuali Poche valutazioni della collaborazione intersettoriale tengono conto delle percezioni dei pazienti Service delivery integration measure Russia Sviluppare un modello analitico per la valutazione dell IC che include attributi, strumenti e indicatori del processo Professionisti Teamwork Coordinamento Continuità delle cure Questionario (58 domande 3/7 opzioni di risposta) Prende in considerazione tre attributi centrali dell IC Partnership selfassessment tool USA Valuta differenti aspetti della partnership, per imparare dai punti di forza e di debolezza e migliorare il processo collaborativo Professionisti Sinergia tra i partner e altre dimensioni del processo di collaborazione Questionario auto somministrato (11 domini, 67 items Yes/no o Likert Scale) Permette di conoscere i punti di forza e di debolezza e quali step mettere in atto per migliorare il processo collaborativo 8
Misura Paese Obiettivo Prospettiva Cosa va a misurare Team Climate UK Valuta il funzionamento del Professionisti Innovazione di Inventory team a livello di gruppo gruppo Perception of interprofessional collaboration model questionnaire Norvegia Misura le percezioni e i comportamenti tra professionisti nel processo di collaborazione a livello individuale, di gruppo e organizzativo Professionisti Percezioni sulla collaborazione interprofessionale Caratteristiche Utilità strumento Questionario auto Assume una prospettiva somministrato (14, 38 0 complessa verso i processi di 61 domande) gruppo. Può essere usata nella Scala Likert a 5 0 7 valutazione della Partnership punti tra servizi sociali e sanitari. Questionario (48 Item Permette di valutare se la Scala Likert a 7 punti) qualità della collaborazione è un predittore dei risultati di salute Service Delivery integration index Integration service delivery Italia, Francia, Valuta le caratteristiche di base Paesi Bassi, di un servizio domicilare UK, Repubblica Ceca, Germania, Finlandia, Norvegia, Islanda, Svezia, Danimarca Canada Misura l implementazione di una specifica componente di un Integrated Service Delivery system Professionisti Indice di fornitura dei servizi Policymakers, Managers, clinici, pazienti caregivers informali e Grado di implementazione di un Integrated Service Delivery (ISD) system Questionario (Score 0-1) Ratio scale (Interviste, focus group, analisi della documentazione) Permette di comparare i livelli di integrazione delle cure. Fornisce informazioni a manager e policy makers su come il progetto sta evolvendo, per rendere conto dell uso delle risorse, identificare ostacoli e trovare strategie per spingere l implementazione. Descrive i fattori facilitanti e gli ostacoli che l implementazione futura deve considerare 9
Gli strumenti di valutazione dell integrazione individuati in letteratura sono stati successivamente analizzati tenendo conto dei livelli e delle dimensioni centrali dell integrazione definite sulla base dalla letteratura internazionale (Tabella 3) al fine di individuare le dimensioni dell integrazione oggetto di analisi da parte di ogni singolo strumento. La 10
Tabella 4 riporta per ogni strumento di valutazione individuato le dimensioni oggetto di analisi. Tabella 3 - Dimensioni e prospettive di integrazione dei processi di cura Integrazione di sistema Integrazione organizzativa Integrazione professionale Integrazione clinica Integrazione funzionale Integrazione normativa Il sistema di governance esplicita il coordinamento verticale (integrazione verticale), necessario tra i livelli di cura, gli ambiti di policy (sociale, sanitario, politiche del lavoro ecc) e i professionisti, e orizzontale (integrazione orizzontale), per ricomporre le diverse prospettive e promuovere l adozione di strumenti e valori comuni. Individua le soluzioni organizzative adottate per promuovere l integrazione dei processi di cura, sia a livello intra-organizzativo che inter-organizzativo, assumendo forme di organizzazione reticolare (network) diverse. Identifica le modalità di integrazione tra più professionisti, in particolare tra specialisti appartenenti a saperi disciplinari e modalità di lavoro distinte ad esempio, tra l approccio clinico (care) e quello sociale (cure). L integrazione professionale può assumere forme diverse lungo un continuum che va dalla cooperazione (spesso forzata dall alto) fino alla collaborazione effettiva, in cui obiettivi ed incentivi di risultato sono condivisi dal gruppo di cura. Nella progressione di questo continuum sono fondamentali gli strumenti di cui i professionisti si dotano per definire regole di comportamento reciproco e di modalità operative (protocolli). È tipica della presa in carico olistica e personalizzata della medicina generale, in grado di sintetizzare i diversi bisogni, assistenziali, sanitari e terapeutici, in modo continuativo nel tempo. Indica l attivazione e costruzione di strumenti finalizzati a supportare l integrazione: ad esempio, lo sviluppo di sistemi informativi, condivisi a livello di sistema, di meccanismi di finanziamento o modalità gestionali (es. gestione delle risorse umane, della qualità ecc). Si tratta di una dimensione strumentale e trasversale. Attiene agli aspetti valoriali e comportamentali del sistema, allo stile di leadership prevalente, e sottolinea la necessità di una vision e cultura condivisa da tutti gli attori per l integrazione dei processi di cure. Si tratta di una dimensione strumentale e trasversale, si ancora alla dimensione professionale, quale volano degli assetti valoriali e comportamentali che promuovono o ostacolano la collaborazione. Fonte 1: adattato da Fulop et al. 2005 e Valentijn et al., 2013 11
Tabella 4 - Strumenti di misurazione e dimensioni dell'integrazione analizzate Strumento di misurazione Human service integration measure Questionnire of interprofessional collaboration Functional clinical integration measure Intersectoral collaboration measure Service delivery integration measure Partnership selfassessment tool Team Climate Inventory Perception of interprofessional collaboration model questionnaire Service Delivery integration index Integration service delivery Integrazione di sistema Organizzativa Professionale Clinica Funzionale Normativa Nessuno strumento di misurazione analizza l integrazione a livello di sistema (es. strategic planning, finanziamento ). Il Questionnaire of Interprofessional Collaboration è il più inclusivo in quanto tiene conto di quasi tutte le dimensioni dell integrazione. Conclusioni Nell ambito dell integrazione sociosanitaria la valutazione assume una certa rilevanza sia in una prospettiva di accountabilibity, in quanto rende conto a tutti i possibili stakeholder di come funziona realmente l integrazione e di quali fattori la favoriscono o la ostacolano, sia in una prospettiva di learning (apprendimento), in quanto rende conto di qual è effettivamente l efficacia e l impatto dell integrazione sui sistemi sociosanitari. Monitorare i miglioramenti nella efficienza ed equità del sistema sociosanitario potenzialmente associati all integrazione è, tuttavia, reso 12
difficoltoso dalla mancanza di strumenti di valutazione dell integrazione standardizzati che tengano conto dei vari aspetti dell integrazione e possano essere sistematicamente usati per valutare l impatto dell integrazione in termini di efficienza, efficacia, equità, qualità, miglioramento delle cure e dei processi di cura. La review ha messo in evidenza alcuni elementi fondamentali: in primo luogo, dal punto di vista della cultura della valutazione, occorre considerare che valutare l integrazione non significa individuare il modello di integrazione più efficace e che si adatta a tutti i contesti. L evoluzione teorica e le evidenze empiriche suggeriscono, infatti, che non è possibile individuare una soluzione ideale né modelli assoluti o stabili nel tempo che siano efficaci. L integrazione delle cure piuttosto va interpretata come un processo complesso e dinamico che avviene attraverso livelli diversi, macro (sistema), meso (organizzazioni e professionisti), micro (paziente e singolo professionista), e concentrici, in un continuum verticale, e trasversale, attraverso l utilizzo di strumenti comuni. La valutazione apporta a questo processo di analisi la possibilità di individuare quali sono gli effetti di un modello di valutazione in un determinato contesto, quali sono i fattori di contesto che favoriscono o ostacolano l integrazione e come questi fattori possono essere superati o al contrario favoriti. In secondo luogo, dal punto di vista degli strumenti di valutazione, nessuno degli strumenti individuati valuta tutte le dimensioni dell integrazione individuate ma, tenuto conto della complessità dell integrazione, possono essere usati in maniera coordinata per individuare diverse sfaccettature dell integrazione e da diverse prospettive (da quella dei manager ai professionisti, agli utilizzatori dei servizi). L analisi ha permesso di individuare quali sono le dimensioni principali dell integrazione sulle quali c è consenso a livello internazionale, quali sono gli elementi caratterizzanti di ogni dimensione (che possono essere operazionalizzate in indicatori) e come queste dimensioni possono essere valutate con gli strumenti a disposizione validati in altri contesti internazionali. I risultati della review forniscono la base per la definizione degli indicatori valutativi 13
utili a misurare gli effetti dell integrazione e comprendere quali fattori e meccanismi favoriscono e rendono possibile l integrazione o al contrario ostacolano l integrazione. Bibliografia Ahgren, B., e Axelsson, R. (2005). Evaluating integrated health care: a model for measurement. International Journal of Integrated Care, 5(3). Ahgren, B., Axelsson, S. B., & Axelsson, R. (2009). Evaluating intersectoral collaboration: a model for assessment by service users. International Journal of Integrated Care, 9(1). Anderson, N. R. e West, M. A. (1994). The team climate inventory. Manual and users guide. Assessment Services for Employment. Windsor, UK. Armitage, G. D., Suter, E., Oelke, N. D., e Adair, C. E. (2009). Health systems integration: state of the evidence. International Journal of Integrated Care, 9(2). Bernabei, R., Landi, F., Gambassi, G., Sgadari, A., Zuccala, G, Mor, V., Rubenstein, L. Z. e Carbonin, P. U. (1998). Integrated Care and Case Management for Older People Living in the Community. BMJ: British Medical Journal, 316(7141), 1348 1351. Browne, G., Roberts, J., Gafni, A., Byrne, C., Kertyzia, J., & Loney, P. (2004). Conceptualizing and validating the human services integration measure. International Journal of Integrated Care, 4(2). Center for the Advancement of Collaborative Strategies in Health (2002). Partnership selfassessment tool (PSAT) Questionnaire. Curry, N., Harris, M., Gunn, L., Pappas, Y., Blunt, I., Soljak, M., Bardsley, M. (2013). Integrated care pilot in north west London: a mixed methods evaluation. International Journal of Integrated Care, 13(3) 14
Fulop N, Mowlem A and Edwards N (2005). Building Integrated Care: Lessons from the UK and elsewhere. London: NHS Confederation. Gorina, M., Limonero, J. T., Peñart, X., Jiménez, J., & Gassó, J. (2014). Comparison of level of satisfaction of users of home care: integrated model vs. dispensaries model. Atencion Primaria / Sociedad Española De Medicina De Familia Y Comunitaria, 46(6), 276 282. http://doi.org/10.1016/j.aprim.2013.07.011 Greaves, F., Pappas, Y., Bardsley, M., Harris, M., Curry, N., Holder, H., Car, J. (2013). Evaluation of complex integrated care programmes: the approach in North West London. International Journal of Integrated Care, 13(1). Haas, C. L. M., Falkmann, H., Douma, J., Gassel, J. G. van, Peters, W. G., Mierlo, R. van, Schrijvers, A. J. P. (2001). Organisational design for an integrated oncological department. International Journal of Integrated Care, 1(3). Ham C., Curry N. 2011). Integrated care: What is it? Does it work? What does it mean for the NHS? London: The Kings Fund. Hébert, Réjean, e Anne Veil. 2004. Monitoring the degree of implementation of an integrated delivery system. International Journal of Integrated Care 4(3). Henrard, J.-C., Ankri, J., Frijters, D., Carpenter, I., Topinkova, E., Garms-Homolova, V., Bernabei, R. (2006). Proposal of a service delivery integration index of home care for older persons: application in several European cities. International Journal of Integrated Care, 6(3). Horwitz, R., Brener, L., & Treloar, C. (2012). Evaluation of an integrated care service facility for people living with hepatitis C in New Zealand. International Journal of Integrated Care, 12(6). 15
Ignatowicz, A., Greenfield, G., Pappas, Y., Car, J., Majeed, A., & Harris, M. (2014). Achieving Provider Engagement: Providers Perceptions of Implementing and Delivering Integrated Care. Qualitative Health Research. http://doi.org/10.1177/1049732314549024 Ling, T., Bardsley, M., Adams, J., Lewis, R., & Roland, M. (2010). Evaluation of UK Integrated Care Pilots: research protocol. International Journal of Integrated Care, 10(3). Lyngsø, A. M., Godtfredsen, N. S., Høst, D., & Frølich, A. (2014). Instruments to assess integrated care: A systematic review. International Journal of Integrated Care, 14(3). Nuti S.; Barsanti S. (2009). L integrazione socio sanitaria: strumenti per la programmazione e la valutazione delle zone-distretto del sistema sanitario toscano. L integrazione Socio-sanitaria: Ricerca Scientifica Ed Esperienze Operative A Confronto - Strategie Ed Esperienze Della Regione Toscana, Il Mulino Ødegård, A. (2006). Exploring perceptions of interprofessional collaboration in child mental health care. International Journal of Integrated Care, 6. Reynolds, H. W., & Sutherland, E. G. (2013). A systematic approach to the planning, implementation, monitoring, and evaluation of integrated health services. BMC Health Services Research, 13, 168. http://doi.org/10.1186/1472-6963-13-168 Rossi, Lipsey e Freeman (2004). Evaluation. A Systematic approach. Seventh Edition. Sage publication Sheiman, I., & Shevski, V. I. (2013). Evaluation of health care delivery integration: the case of the Russian Federation. International Journal of Integrated Care, 0(0). Solinís, R. N., Zabalegui, I. B., Arce, R. S., Rodríguez, L. S. M., & Polanco, N. T. (2013). Development of a questionnaire to assess interprofessional collaboration between two different care levels. International Journal of Integrated Care, 13(2). 16
Strandberg-Larsen, M., & Krasnik, A. (2009). Measurement of integrated healthcare delivery: a systematic review of methods and future research directions. International Journal of Integrated Care, 9(1). Valentijn, P. P., Schepman, S. M., Opheij, W., & Bruijnzeels, M. A. (2013). Understanding integrated care: a comprehensive conceptual framework based on the integrative functions of primary care. International Journal of Integrated Care, 13(1). Weiss, C. H. (1997). Theory-based evaluation: Past, present, and future. New Directions for Evaluation, 1997(76), 41 55. http://doi.org/10.1002/ev.1086 Ye, C., Browne, G., Grdisa, V. S., Beyene, J., & Thabane, L. (2012). Measuring the degree of integration for an integrated service network. International Journal of Integrated Care, 12(5). 17