ASSOCIAZIONE ITALIANA DI VALUTAZIONE

Transcript

1 XVIII Congresso nazionale VALUTAZIONE E EQUITA SOCIALE La valutazione come fattore di cambiamento delle politiche pubbliche e strumento per il contrasto delle diseguaglianze sociali Genova, aprile 2015 DIPARTIMENTO DI SCIENZE DELLA FORMAZIONE Università di Genova Valutare i Piani di Zona: il caso della Regione Puglia e la gestione delle risorse indirizzate a specifici gruppi target a rischio di esclusione sociale. Tema: Le politiche sociali e di inclusione sociale Autori: GRUPPO DI RICERCA DEI PDZ DELLA REGIONE PUGLIA Responsabile scientifico: prof. Luigi Spedicato Dipartimento di Storia, Società e Studi sull Uomo - Università del Salento Componenti del gruppo di ricerca: prof. Luigi Spedicato - luigi.spedicato@unisalento.it, cel dott. Mario Quarta - mario.quarta@unisalento.it, cel dott.ssa Marileda Vergori - marileda.vergori@unisalento.it, cel dott.ssa Annamaria Vitale - annamaria.vitale@unisalento, cel dott. Andrea Forte - andrea.forte@unisalento.it, cel PREMESSA Dal punto di vista della valutazione, un Piano di Zona (d ora innanzi: PdZ) è un tema strutturalmente complesso per la compresenza di oggetti diversi: in esso coesistono, infatti, elementi di processo ed elementi di prodotto, che ai fini della valutazione appaiono non sempre riconducibili a modelli ed approcci codificati nella letteratura. Gli elementi di processo attengono alla funzione di programmazione locale dei PdZ, in raccordo con i Piani regionali delle politiche sociali, mentre gli elementi di prodotto possono essere identificati, tipicamente, con le azioni previste dal PdZ, i servizi erogati, le prestazioni effettuate, le risorse impegnate, i risultati conseguiti sia in termini di outcome che di output. Renzo Scortegagna (2002) invita a considerare il PdZ non un semplice XVIII Congresso nazionale Genova, aprile 2015 Valutare i Piani di Zona 1

2 documento ma un momento del sistema integrato dei servizi e degli interventi sociali, e dunque da affrontare, sul piano valutativo, come un continuum che produce prodotti descrivibili come: - rapporti sui livelli di cambiamento e di stabilizzazione dei bisogni della comunità in relazione agli obiettivi di politica sociale locale; - elaborazioni ottenute dall integrazione delle informazioni provenienti dai diversi sistemi informativi dei soggetti partecipanti e dalla messa in comune delle loro rispettive conoscenze; - valutazione del grado di attinenza e di affidabilità dei programmi sviluppati dagli stessi soggetti; - pareri e consigli su questioni specifiche poste dai singoli soggetti coinvolti nel Piano; - rapporti sul livello di raggiungimento delle diverse tipologie di obiettivi del Piano; - rapporti su efficienza, efficacia e qualità delle azioni e dei programmi svolti dai singoli soggetti o dal sistema integrato nel suo insieme, secondo criteri stabiliti in sede di elaborazione del Piano stesso; - rapporti sul livello e sulla qualità della partecipazione di base (Scortegagna, 2002). Il modello proposto da Scortegagna rinvia alla necessaria duttilità teorico-metodologica quando il PdZ viene assunto quale oggetto di processi valutativi orientati alla comprensione dei livelli di efficienza e di efficacia nelle politiche sociali a livello locale mirate alla riduzione delle diseguaglianze sociali: l ipotesi di fondo che guida la nostra ricerca attualmente in fase di svolgimento in Puglia è che il PdZ, in quanto principale strumento di attuazione delle linee strategiche di intervento decise dalla Regione in materia di politiche sociali, sia un eccellente punto di osservazione, di analisi e di intervento per l ottimizzazione di queste politiche, per la valorizzazione dei processi di inclusione e partecipazione previsti dal PRPS, per l identificazione dei punti di forza e dei punti di criticità, se e dove presenti. In altri termini, abbiamo assunto che valutare i PdZ dell intera Regione Puglia (la ricerca ha preso in esame la XVIII Congresso nazionale Genova, aprile 2015 Valutare i Piani di Zona 2

3 triennalità 2010/2012, per la quale abbiamo presupposto esistesse una documentazione completa) fosse un elemento decisivo nei processi di accountability dell azione pubblica, e per il rafforzamento, attraverso la condivisione degli esiti della valutazione stessa, delle pratiche di programmazione partecipata e del grado di inclusione dei soggetti sociali nell arena delle politiche di welfare locale promosse e regolate dalla L. 328/2000. Oltre ad essere un insieme di processi e di prodotti, dunque, abbiamo considerato i PdZ pugliesi come strumenti di quella che M. Paci (2008) ha definito democrazia partecipativa definendola come un tratto caratterizzante ed essenziale del welfare locale: La dimensione locale del welfare, si caratterizza sempre più come ambito privilegiato per la lettura delle esigenze e dei bisogni del territorio nonché per l individuazione delle risorse più idonee a rispondervi. Cambia dunque l apparato teorico-concettuale che guida il corso delle nuove politiche sociali locali: governance multilevel, sussidiarietà, diritti di cittadinanza, partenariato e co-progettazione, sono alcuni dei concetti che danno un idea di come stia evolvendo il settore sociale. E cambia l approccio per la realizzazione del sistema degli interventi, attraverso il tentativo di valorizzare le risorse di reciprocità e le relazioni fiduciarie tra gli attori sociali delle comunità locali e il capitale sociale di cui è portatore il territorio (Paci, 2008). LE PREMESSE NORMATIVE DELLA VALUTAZIONE DEI PDZ NELLA REGIONE PUGLIA Negli ultimi anni la normativa nazionale e regionale ha introdotto diversi riferimenti sul tema della qualità e della valutazione delle politiche e dei Servizi Sociali, orientata sia verso un tipo di valutazione/apprendimento per migliorare (learning), sia verso quella della valutazione/ rendicontazione (accountability). Il percorso che ha segnato questa trasformazione prende avvio dalla L. 285/97 1 la quale istituisce il Fondo Nazionale per l infanzia e l adolescenza, prevedendo specifiche forme di integrazione tra le diverse politiche (sociali, educative, sanitarie, urbanistiche, culturali, sportive, ) e stimolando un lavoro concertato tra enti pubblici e privato sociale. Pur carente di una vera e propria metodologia 1 Cfr. in particolare: U. De Ambrogio, Valutare gli interventi e le politiche sociali, Carocci, Roma, 2003; U. De Ambrogio, T. Bertotti, F. Merlini, L Assistente Sociale e la Valutazione, Carocci, Roma, XVIII Congresso nazionale Genova, aprile 2015 Valutare i Piani di Zona 3

4 della valutazione nei Servizi Sociali, la legge prevede un attività di monitoraggio a supporto della progettazione. Si introduce in questo modo, un nuovo orizzonte teorico aperto all attività valutativa: la valutazione di impatto ai fini di reporting anche se essa resta orientata più sul controllo della quantità degli interventi che non sulla loro qualità o impatto. Con il D.lgs. 229/98 2 o Riforma Sanitaria-Ter (legge Bindi) si rilancia con forza il tema dell integrazione socio-sanitaria con alcuni riferimenti al tema della valutazione della qualità, i quali risultano indeterminati. Sebbene richiesta una valutazione delle politiche, dei livelli di assistenza e degli obiettivi del Piano sanitario, non è precisato quale e come realizzarla. 3 La legge quadro dei Servizi Sociali, L. 328/00 4, è il provvedimento che più di tutti pone maggiore attenzione alla valutazione. Secondo l art. 3 per la realizzazione degli interventi e dei Servizi Sociali, in forma unitaria e integrata, è adottato il metodo della programmazione degli interventi e delle risorse, dell operatività per progetti, della verifica sistematica dei risultati in termini di qualità e di efficacia delle prestazioni, nonché della valutazione di impatto in genere. La legge attribuisce, inoltre, ai Comuni una rilevante funzione valutativa che va dalla valutazione dei casi, ai servizi e alle politiche, con sottolineature ed accenti vari (dall efficienza, all efficacia, alla qualità). Per assicurare una completa conoscenza dei bisogni sociali, del sistema integrato degli interventi e dei Servizi Sociali, la 328/00 prevede che lo Stato, le Regioni, le Province e i Comuni istituiscano un sistema informativo dei Servizi Sociali, in modo da poter disporre tempestivamente di dati e informazioni necessarie alla programmazione, alla gestione e alla valutazione delle politiche sociali. 2 D. L. 19 giugno 1999, n. 229, Norme per la razionalizzazione del Servizio Sanitario Nazionale, a norma dell art. 1 legge n. 419 del 30 novembre 1998, pubblicato nella Gazzetta Ufficiale n. 165 del 16 luglio L art. 1, al comma 10, precisa che il Piano Sanitario Nazionale [PSN] contiene anche indicazioni sui criteri e gli indicatori per la verifica dei livelli di assistenza assicurati in rapporto a quelli previsti ; al comma 12, troviamo tra le diverse informazioni i risultati conseguiti rispetto agli obiettivi fissati dal PSN L art. 12 prevede una forma partecipativa tra Regioni, organizzazioni di cittadini e di volontariato, nell attività di valutazione delle politiche sociali L art. 12-bis fa riferimento a diverse modalità di valutazione spaziando dalla verifica di impatto, alla verifica dell efficacia e della congruità economica, all autovalutazione. Restano, però, indeterminate le metodologie da applicare nella valutazione; il riferimento alla valutazione di impatto e di efficacia non viene contestualizzato nel quadro di complessità e di difficoltà di attuazione. 4 Legge n. 328 del 8 novembre 2000, legge quadro per la realizzazione del sistema integrato di interventi e Servizi Sociali, pubblicata nella Gazzetta Ufficiale n. 265 del 13 novembre XVIII Congresso nazionale Genova, aprile 2015 Valutare i Piani di Zona 4

5 Anche il sistema informativo è dunque pensato come strumento di supporto alla valutazione. Con l istituzione del Piano Nazionale degli interventi e dei Servizi Sociali, elaborato ogni tre anni dal Governo, si introduce uno strumento progettuale per la cui definizione ed attuazione vengono coinvolti gli enti locali, le Regioni, lo Stato e gli organismi del Terzo Settore. Il Piano di Zona deve essere elaborato in una prospettiva di qualità che realizzi una rete integrata di interventi sociali, seguendo i criteri di verifica e valutazione indicati in seguito dai Piani regionali degli interventi e dei Servizi Sociali. Una ulteriore logica valutativa è introdotta dalla Carta dei Servizi Sociali, essenzialmente individuata come strumento che promuove la valutazione della qualità dal punto di vista del cittadino/utente. La Regione Puglia fa propri i principi e le indicazioni introdotte dalla L.328/00, attuandoli nella Legge Regionale 5 n.19 del 10 luglio 2006, con la quale la Regione programma, coordina e assicura sul territorio un sistema integrato d'interventi e servizi sociali per le persone, le famiglie e i nuclei di persone, al fine di garantire la qualità della vita, le pari opportunità, la non discriminazione e i diritti di cittadinanza, operando per prevenire, eliminare o ridurre gli ostacoli alla piena inclusione sociale derivante da condizioni di disabilità, di bisogno e di disagio individuale e familiare, da inadeguatezza di reddito, difficoltà sociale e condizioni di non autonomia, in coerenza con gli articoli 2, 3 e 38 della Costituzione. Al fine di favorire l'integrazione e l'inclusione sociale per costruire comunità solidali la Regione Puglia fonda il sistema integrato dei servizi sociali sul principio di domiciliarità. Il sistema d'interventi e servizi sociali è definito dal Piano regionale delle politiche sociali che fornisce le linee d indirizzo e le priorità strategiche per ogni area d intervento. Lo stesso sistema integrato d interventi, è realizzato attraverso i Piani sociali di zona, garantendo la gestione unitaria del sistema locale dei servizi sociali a rete secondo gli ambiti territoriali socio-assistenziali come definiti dalla Regione. Con cadenza triennale la Regione approva il Piano Regionale delle Politiche Sociali, quale strumento di programmazione di continuità 5 L. R. Puglia n.19/2006 "Disciplina del sistema integrato dei servizi sociali per la dignità e il benessere delle donne e degli uomini in Puglia" XVIII Congresso nazionale Genova, aprile 2015 Valutare i Piani di Zona 5

6 e di innovazione. L obiettivo del Piano Regionale è la costruzione di un sistema di servizi sociali e sociosanitari proteso al miglioramento della qualità della vita, delle condizioni di benessere e che privilegia la prossimità con i cittadini. Il welfare pugliese sceglie di sostenere e potenziare gli sforzi di protezione e di promozione sociale delle persone che vivono in condizioni di fragilità e di disagio/marginalità, in alternativa ad un generale quanto dispersivo obiettivo di contrasto al disagio puramente economico. In altri termini, il welfare pugliese è chiamato oggi più che mai ad occuparsi di quella parte del disagio economico, e delle fragilità che ne derivano, che appare strettamente connesso alla carenza di servizi ma che è, in larga misura, anche acuito dalla presenza di barriere nell accesso alle opportunità di inserimento sociolavorativo. L idea dominante del Piano, quindi, è quella di rimuovere le cause che determinano povertà e rischio di esclusione e marginalità per quei nuclei familiari e quelle persone che, a causa della carenza di servizi, in specifiche fasi della vita o in presenza di particolari situazioni di bisogno, sono sovraesposte rispetto al rischio delle nuove povertà: giovani coppie con bambini, famiglie con anziani non autosufficienti, presenza di persone con disabilità, fragilità nello svolgimento del ruolo genitoriale, nuclei familiari immigrati. Inoltre, la L. R. 19/2006 istituisce l Osservatorio regionale delle politiche sociali, il cui scopo è di promuovere, coordinare e realizzare azioni di monitoraggio sul sistema di offerta dei servizi sociali, sulla loro domanda, sulla spesa sociale della Regione e degli altri enti, nonché attività di monitoraggio sull attuazione dei Piani Sociali di Zona. QUALE VALUTAZIONE PER I PdZ: QUESTIONI TEORICHE E METODOLOGICHE Emerge anche da questa sintetica descrizione del quadro normativo la complessità sistemica del PdZ, strumento di programmazione del sistema dei servizi sociali a livello territoriale, frame concettuale ed operativo allo stesso tempo per la promozione dello sviluppo integrato dei servizi sociali e socio-sanitari, punto di coordinamento del sistema di offerta attraverso l utilizzo coerente delle risorse, anche informative, disponibili. XVIII Congresso nazionale Genova, aprile 2015 Valutare i Piani di Zona 6

7 Ai fini della predisposizione di uno strumento valutativo articolato sulla sua pluralità dimensionale, il Piano di Zona è uno strumento che deve: - analizzare i bisogni e i problemi della popolazione sotto il profilo qualitativo e quantitativo; - riconoscere e far operare le risorse professionali, personali, strutturali, economiche pubbliche, private ( profit e non profit ) e del Volontariato; - determinare obiettivi e priorità nel triennio di durata del piano ; - individuare le unità d'offerta e le forme organizzative coerenti, nel rispetto dei vincoli normativi e delle caratteristiche proprie delle singole comunità locali; - stabilire forme e modalità gestionali volte a garantire interventi definiti in termini di efficacia, efficienza ed economicità; - prevedere sistemi, caratteristiche, responsabilità e tempi per la verifica e la valutazione dei programmi e dei servizi. Rispetto a questa pluralità di funzioni del PdZ (che sul piano delle esperienze si è tradotta in una molteplicità di modelli attuativi), l approccio valutativo non può che essere a sua volta attento a non adottare prospettive deterministicamente legate a teorie e metodologie non direttamente riferibili ad un quadro che a partire dalla normativa italiana si è poi articolato lungo linee di intervento orientate dall autonomia legislativa delle singole Regioni e dall autonomia operativa e progettuale dei singoli Ambiti territoriali. Nel caso dei PdZ la valutazione si trova a doversi confrontare con due assi principali: - un asse territoriale: l azione valutativa viene esercitata a livello regionale e a livello dei singoli Ambiti territoriali; - un asse temporale: l azione valutativa si articola lungo le classiche fasi ex-ante, in itinere ed ex-post, e la valutazione produce o dovrebbe produrre feedback sulle azioni in atto all interno della triennalità, dei singoli anni di esercizio che la compongono, ma anche, e XVIII Congresso nazionale Genova, aprile 2015 Valutare i Piani di Zona 7

8 soprattutto, come premessa per la programmazione della triennalità successiva a quella al cui interno la valutazione stessa è stata effettuata. U. De Ambrogio (2003) connette questi due assi ricorrendo alla metafora del modello frattale che sottende processi valutativi di casi, servizi e politiche e fa perno sulle competenze del valutatore, il quale dovrebbe definire e costruire il disegno della valutazione nella consapevolezza che i diversi livelli seguono la stessa logica complessiva e rispondono, pur con gradi di complessità diversa, ai medesimi principi metodologici. In un altro suo contributo, De Ambrogio (Battistella, De Ambrogio, Ranci Ortigosa, 2004) evidenzia come la duplicità degli attori sull asse che abbiamo definito territoriale comporti la presenza, potenzialmente conflittuale, di differenti interessi e di esigenze concorrenti nella valutazione. Questa situazione di potenziale conflitto per De Ambrogio dovrebbe essere governata da una funzione di regìa a livello regionale, con compiti di garanzia della metodologia valutativa e in grado di offrire omogeneità negli approcci e negli strumenti, favorendo la negoziazione e la costruzione di legami trasparenti e di fiducia tra i diversi attori in campo. E tuttavia questa logica di governance territoriale dei PdZ non appare priva di rischi, come ha sottolineato R. Scortegagna (2002) quando, a proposito della pluralità di soggetti sociali ed istituzionali coinvolti nella elaborazione e nella gestione dei Piani, evidenzia che essi possono dare luogo a situazioni contraddittorie perché da un lato le autonomie dei soggetti (a livello di Ambito, nostra nota) apparirebbero condizionate da ragioni di ordine superiore (tipicamente, le scelte strategiche operate dai PRPS), mentre dall altro la creatività e identità degli stessi soggetti non possono essere soffocati per non annullare il loro contributo. Il conflitto implicito nella diarchia territoriale dei PdZ, secondo Scortegagna, può determinare tre tipologie di organizzazione, ma solo una di esse, caratterizzata da flessibilità adattiva degli strumenti di Piano a livello locale, si dimostrerebbe in grado di automodellarsi sulla lettura dei bisogni del territorio, sugli obiettivi da raggiungere e sulle risorse utilizzabili. XVIII Congresso nazionale Genova, aprile 2015 Valutare i Piani di Zona 8

9 Incrociandosi e sovrapponendosi all asse territoriale, la dimensione temporale della valutazione dei PdZ rappresenta un altro problematico aspetto della complessità sistemica di questo strumentoprincipe delle politiche sociali. Ancora De Ambrogio (del quale abbiamo già utilizzato la metafora del modello frattale) propone, a nostro avviso in modo argomentativamente convincente, che la complessità dell oggetto-pdz possa essere utilmente aggredita attraverso un disegno di valutazione basato sulla Realistic evaluation di Pawson e Tilley (Pawson, Tilley, 1997; De Ambrogio, 2004; per una presentazione del modello, cfr. Stame, 2002), un modello basato sulla consapevolezza che le politiche complesse richiedono un approccio ad hoc, partecipato, impostato secondo metodi misti in grado di interrogarsi sul significato di ogni esperienza che si valuta. I programmi (riferiamo questo termine alla duplice natura dei PdZ quali atti di programmazione e documenti orientati alla realizzazione di azioni) sono frutto di complesse e sofisticate interazioni sociali; la complessità è opportunità, elemento fondante che richiede una particolare sensibilità ai processi di costruzione del significato e di attribuzione di senso all azione sociale. Nelle parole degli autori: Realists regard programmes as rather sophisticated social interactions set amidst a complex social reality. Realism carries a profoundly sociological view on social change. Realist evaluation has a distinctive account of the nature of programmes and how they work, of what is involved in explaining and understanding programmes, of the research methods that are needed to understand the workings of programmes, and of the proper products of evaluation research (Pawson, Tilley 2004). Quindi la Realistic evaluation non si chiede Quale soluzione funziona? e neppure Questo intervento funziona?, ma si chiede invece Quale soluzione funziona per chi, in quali circostanze, in che senso, e come?. Questo approccio analizza come e quanto l impianto del PdZ potenzialmente condiziona l implementazione e la realizzazione degli interventi previsti in rapporto al quadro organizzativo (organigramma) e al modello gestionale (relazioni e interazioni); come si sviluppano le performance e si realizzano i risultati; le competenze e le modalità di essere messe in XVIII Congresso nazionale Genova, aprile 2015 Valutare i Piani di Zona 9

10 atto, quanto concorrono alla produzione delle performance come mezzo per ottenere risultati attesi e conseguire gli obiettivi programmati. (De Ambrogio, 2004). La prospettiva della Realistic evaluation, e soprattutto l enfasi che Pawson e Tiley hanno posto sull importanza dei meccanismi generatori di effetti osservabili dal ricercatore-valutatore, ci sembra possa contribuire a ripensare, quantomeno nell ottica nostra ricerca, la centralità solitamente attribuita nelle prassi valutative alla classica distinzione in fasi. Nella costruzione del piano della ricerca valutativa sui PdZ della Regione Puglia, abbiamo assunto che l analisi dei processi e dei prodotti fosse riconducibile solo in parte al piano temporale strutturato su ex-ante, in itinere ed expost e dovesse invece confrontarsi con quella che ancora De Ambrogio definisce una valutazione di processo, mirata ad analizzare oltre che gli output e gli outcome anche le relazioni e il complesso gioco dei ruoli tra i soggetti coinvolti a vario titolo nella progettazione e gestione dei PdZ, le modalità con le quali vengono raggiunti i gruppi-target, le procedure a presidio del coinvolgimento e della partecipazione, i punti di forza e di criticità dei Piani e dei processi organizzativo-gestionali. LA VALUTAZIONE DEI PdZ DELLA REGIONE PUGLIA Nell ambito dell Osservatorio delle Politiche sociali, la Regione Puglia, finanziando due borse postlaurea, ha affidato all Università del Salento la realizzazione di una ricerca valutativa sulle esperienze dei Piani Sociali di Zona, in riferimento alla triennalità Le prime fasi della ricerca, avviata nel corso del 2014, hanno visto: - l analisi della letteratura esistente sul tema della valutazione dei PdZ, e la ricerca sulle esperienze di valutazione condotte sia in Puglia che in altre Regioni; - una prima mappatura degli Uffici di Piano dei 45 Ambiti territoriali pugliesi; - lo sviluppo di contatti con i responsabili dei vari Uffici di Piano ai fini dell acquisizione della documentazione e in vista della somministrazione di strumenti qualitativi; - l analisi della documentazione: piani di zona, verbali dei tavoli di concertazione, relazioni sociali, protocolli d intesa; XVIII Congresso nazionale Genova, aprile 2015 Valutare i Piani di Zona 10

11 - la messa a punto del piano della ricerca valutativa e definizione dell apparato metodologico. Nella fase di ideazione e costruzione del progetto di ricerca valutativa abbiamo strutturato un modello basato su cinque dimensioni della valutazione, le quali comprendono i processi ed i prodotti, con l obiettivo di standardizzare su entrambi i livelli l impianto metodologico e gli strumenti valutativi: ogni dimensione genera i quesiti valutativi, definisce i soggetti investiti dall azione valutativa, le fonti utilizzate nella raccolta dei dati utili alla valutazione, gli output intesi quali prodotti ed azioni coerenti con la dimensione analizzata e realizzati nell ambito del PdZ. L impianto della ricerca non è orientato all analisi dei singoli PdZ pugliesi, quanto, piuttosto, alla identificazione di un possibile modello valutativo standard a livello regionale, anche nella previsione di una possibile implementazione di criteri di premialità nell assegnazione di risorse sulla base di risultati operativi tra loro confrontabili. L ultimo passo del modello metodologico è rappresentato dalla identificazione degli indicatori, premessa per la costruzione del protocollo di rilevazione sulla documentazione disponibile. A) L ANALISI DEI BISOGNI E IL PROCESSO PROGRAMMATORIO B) I PROCESSI ORGANIZZATIVI E DI GESTIONE C) IL COMPLESSO DELLE AZIONI E DEGLI INTERVENTI DI PIANO D) QUALITÀ, SOGGETTI E SVILUPPO DEL PROCESSO PARTECIPATIVO E) QUALITA, SOGGETTI E UTILIZZO DELLA VALUTAZIONE Tab. 1: Le dimensioni della valutazione dei PdZ in Puglia XVIII Congresso nazionale Genova, aprile 2015 Valutare i Piani di Zona 11

12 dimensioni DIMENSIONE D sottodimensioni D1 - D2 - D3 - aree D1.1 D1.2 D1. D2.1 D2. D3.1 D3. indicatori Tab. 2: La struttura dell albero delle dimensioni Il gruppo di ricerca si è orientato verso un modello valutativo basato su un mix di strumenti quantitativi e qualitativi, e sull adozione di indicatori pesati, in ragione della multifattorialità delle cinque dimensioni. Nella fase attualmente in corso, destinata a concludersi entro l estate 2015, l equipe si è concentrata sulla costruzione di un protocollo di ricerca quantitativo in grado di generare valori numerici assegnati ai singoli indicatori; nella seconda fase, verrà identificato un campione qualitativo di testimoni privilegiati interni ai processi di programmazione, gestione e valutazione dei PdZ (responsabili degli Uffici di Piano, Sindaci ed amministratori, soggetti del volontariato e del Terzo settore) con i quali realizzare interviste in profondità orientate alla verifica dei dati più significativi emersi dalla fase della ricerca valutativa su base quantitativa. Questo modello valutativo richiede un punto di sintesi dei diversi aspetti considerati. Tale sintesi passa dalla costruzione di indici che aggreghino i singoli indicatori utilizzati per rappresentare la complessità di un criterio. In letteratura, diverse sono le strade percorribili nel processo di identificazione e di aggregazione degli indicatori; possono essere direttamente sommati fra di loro oppure subire un processo aggregativo tipologico (Bertin, 2007). Nel primo caso, una proprietà fondamentale è che tutti gli indicatori debbono essere misurati sulla stessa scala di misura e dunque nel caso contrario, subire un processo di standardizzazione tale da XVIII Congresso nazionale Genova, aprile 2015 Valutare i Piani di Zona 12

13 renderli direttamente sommabili. La presenza di questa proprietà, consente di aggregare direttamente in modo sommativo gli indicatori che rappresentano uno stesso concetto. La somma sarà semplice (somma diretta dei valori dei singoli indicatori) qualora i singoli indicatori figurino avere la stessa rilevanza o pesati qualora la rilevanza dei singoli indicatori non sia la stessa. Nel secondo caso, invece, non sempre gli indicatori, scelti per la specificazione del criterio di valutazione, possono essere considerati tra loro indipendenti e, quindi, non sempre il giudizio di sintesi potrà essere riconducibile alla somma dei valori assunti dai singoli indicatori. Esiste un rapporto complesso fra gli indicatori considerati per cui la loro aggregazione non può essere fatta semplicemente su base sommativa. L elemento principale che porta ad utilizzare l approccio tipologico nella costruzione degli indici di valutazione è riconducibile al rapporto fra la proprietà del criterio e gli indicatori. Tale proprietà non è data dalla semplice somma dei valori presenti negli indicatori, ma richiede un giudizio extracontabile, dato dal valutatore e relativo al profilo di autonomia emerso dall analisi dei valori teorici degli indicatori. Per fare ciò, abbiamo ritenuto opportuno costruire un algoritmo al fine di definire un albero logico capace di rappresentare le diverse proprietà considerate. Lo nostra proposta parte da quelle che sono le basi metodologiche già note in letteratura come la proprietà sommativa degli indicatori standardizzati per giungere, in seguito, alla definizione di un analisi degli Ambiti Sociali Territoriali nelle loro dimensioni, così come descritte in Tab. 1. Il secondo step metodologico, intende calcolare un punteggio medio delle singole dimensioni all interno di ogni Ambito Sociale Territoriale della Regione Puglia. Tale procedura sarà utile per definire un livello valutativo che ogni singolo Ambito acquisisce rispetto alle cinque dimensioni e, dunque, un punteggio medio totale. In altre parole, il punteggio medio valutativo discrezionale (PMVD) per ogni dimensione sarà così calcolato: =, =,,; =,, XVIII Congresso nazionale Genova, aprile 2015 Valutare i Piani di Zona 13

14 dove: = punteggio riguardante la sezione del valore reale rilevato (VRR), assegnato al sottoindicatore -esimo, per la valutazione dell indicatore -esimo relativo alla dimensione -esima; = punteggio che riguarda la sezione del Peso Valutativo Discrezionale (PVD), attribuito dal valutatore al sotto-indicatore -esimo, per la valutazione dell indicatore -esimo relativo alla dimensione -esima; = numerosità totale di ogni dimensione. Pertanto un output pari a 0 abbatte tutto il valore. Una volta calcolati i punteggi medi delle dimensioni, sarà possibile procedere all analisi valutativa dei 45 Ambiti Sociali Territoriali. Questa analisi dovrà fissare un punto medio utile alla definizione di un benchmark di valutazione e qualità e per comprendere se esiste omogeneità tra i PdZ. A livello macrovalutativo, cioè una valutazione complessiva dei 45 PdZ, si potrà affermare che emerge: molta omogeneità, molta disomogeneità, tendenziale omogeneità cioè nell ambito della loro autonomia i PdZ della Regione Puglia si sono mantenuti su livelli standard oppure ci sono risultati, processi e prodotti molto diversi tra loro. Per fare ciò, abbiamo stabilito un indice totale pari a 100 suddiviso tra le cinque dimensioni della valutazione: per ogni dimensione vengono determinati gli indicatori quindi la dimensione ha un fattore che a sua volta è scomposto in singoli indicatori. Il peso totale delle dimensioni sarà a100. L attribuzione dei pesi non avviene su base arbitraria bensì in modalità discrezionale poiché esiste una discrezionalità valutativa definita dai riferimenti forniti dai singoli PdZ e dalle Relazioni annuali. Il modello di analisi proposto, dopo un processo di standardizzazione, prevede che ognuna delle 5 dimensioni individuate assuma un peso totale (PT) ( ) definito sulla base della complessità e rilevanza dei processi, delle risorse impegnate nelle azioni di piano, del rapporto con gli obiettivi strategici indicati nel PRPS della Puglia. XVIII Congresso nazionale Genova, aprile 2015 Valutare i Piani di Zona 14

15 A) L ANALISI DEI BISOGNI E IL PROCESSO PROGRAMMATORIO PT=10 B) I PROCESSI ORGANIZZATIVI E DI GESTIONE PT=20 C) IL COMPLESSO DELLE AZIONI E DEGLI INTERVENTI DI PIANO PT=40 D) QUALITÀ, SOGGETTI E SVILUPPO DEL PROCESSO PARTECIPATIVO PT=15 E) QUALITA, SOGGETTI E UTILIZZO DELLA VALUTAZIONE PT=15 Tab. 3: Il peso delle singole dimensioni Il PVDI viene così calcolato: = ;!" = = # # ; con, = 1,,5, = 1,,(, peso assegnato al sotto-indicatore -esimo, per la valutazione alla dimensione -esima. In totale, il PVDI risulta essere: # 100 L attribuzione del Peso Valutativo Discrezionale Index (PVDI) corrisponde ad una scala di risultato che può definire nel tempo un benchmark qualitativo su base comparativa tra i vari PdZ, oltre a fornire una efficace rappresentazione sia dei risultati inerenti i processi che quelli relativi ai prodotti nel PdZ. ALCUNI RISULTATI (MOLTO) PRELIMINARI Il gruppo di ricerca è attualmente impegnato nella definizione delle domande valutative inerenti ognuna delle cinque dimensioni della valutazione, e nella conseguente scelta degli indicatori sulla base dei quali costruire il protocollo di analisi; successivamente si passerà alla definizione del XVIII Congresso nazionale Genova, aprile 2015 Valutare i Piani di Zona 15

16 protocollo di ricerca qualitativa, come precedentemente illustrato. Il modello proposto è stato testato su due sotto-dimensioni, allo scopo di verificarne la validità; in particolare, abbiamo analizzato elementi riferibili alle dimensioni D (qualità, soggetti e sviluppo del processo partecipativo) ed E (qualità, soggetti ed utilizzo della valutazione). In questa fase della ricerca, le dimensioni non sono state ancora articolate su tutta la gamma di indicatori che possono intercettare i processi e i prodotti che le strutturano, e dunque questi risultati non possono che intendersi come preliminari. Essi, tuttavia, sono già in grado di indicare criticità, alcune delle quali rilevanti, e tali da incidere in maniera non marginale sulla effettiva capacità dei PdZ di essere strumento di efficaci politiche sociali sul territorio in coerenza con il mandato istituzionale affidato dalla Regione Puglia. Le prime criticità rilevate, hanno riguardato le notevoli difficoltà nell accesso ai dati e alla memoria oggettiva sui PdZ. Inoltre, quando i sistemi informativi esistono, difficilmente utilizzano criteri e standard operativi interfacciabili tra loro. Un altro ostacolo è rappresentato dal turn over dei referenti istituzionali, che crea spesso difficoltà anche per l utilizzazione della memoria soggettiva. D altronde la complessità della pianificazione sociale rende quasi sempre necessaria una distribuzione delle competenze di programmazione tra più soggetti, appartenenti ad aree operative diverse (decisori politici, operatori sociali, funzioni amministrative, ecc.). Il reperimento dei dati e la ricostruzione delle informazioni richiede quindi una pluralità di presenze, non sempre disponibile. Queste criticità, inclusa la mancata disponibilità di molti referenti nel fornire la documentazione da noi richiesta, hanno comportato un notevole ritardo nell avvio della ricerca stessa. In questa prima fase possiamo presentare alcuni dati relativi alle dimensioni: D: qualità, soggetti e sviluppo del processo partecipativo ed E: qualità, soggetti e utilizzo della valutazione riferiti rispettivamente all area Comunicazione della sottodimensione D1: processo partecipativo e alla sottodimensione E1: processo valutativo. XVIII Congresso nazionale Genova, aprile 2015 Valutare i Piani di Zona 16

17 D1 - PROCESSO PARTECIPATIVO D1.1 COMUNICAZIONE D1.2 SOGGETTI SOCIALI D1.3 SOGGETTI PUBBLICI D1.1A presenza di un sito web di Ambito D1.1B ultima data di aggiornamento del sito D1.1C indicazione di un contatto telefonico D1.1D indicazioni di mail dei responsabili D1.1E presenza di una area per un download dei documenti (*) D1.1F completezza dei documenti nell area di download (**) D1.1G presenza nel sito della sezione trasparenza D1.1H presenza di URP dell ambito D1.1I disponibilità alle richieste dell equipe della ricerca, quando richiesta, risposta tempestiva alle mail; D1.1J indicazione di un referente per la ricerca all interno dell Ufficio di Piano D1.2A - _ D1.2B - _ D1.2C - _ D1.2D - _ D1.2E - D1.3A - _ D1.3B - _ D1.3C - _ D1.3D - _ D1.3E - (*) Documenti relativi alla triennalità (**) quali: piano di zona, verbali dei tavoli di concertazione, relazioni annuali, accordo di programma, protocolli d intesa, studi e ricerche, delibere Tab. 4: La sottodimensione D1 della dimensione qualità, soggetti e sviluppo del processo partecipativo Dall analisi dell area comunicazione risulta che poco più del 50 % degli ambiti territoriali hanno provveduto all allestimento di un sito web o almeno di un area dedicata all interno di un sito del Comune capofila: XVIII Congresso nazionale Genova, aprile 2015 Valutare i Piani di Zona 17

18 Presenza di un sito web No 49% Si 51% Esistenza link dell'ambito sui siti del Comune L'ambito è invisibile telematicamente Inoltre non in tutti i siti è presente un area download e comunque quando è presente non sempre la documentazione messa a disposizione è completa: infatti sul 78% di siti con area download solo il 53% presenta documentazione completa: Presenza area download no 22% si 78% Completezza dei documenti No 47% Si 53% I documenti più presenti al di là del Piano di Zona sono i verbali dei tavoli di concertazione e le relazioni di programma : Tipologia dei documenti 100,00 90,00 80,00 70,00 60,00 50,00 40,00 30,00 20,00 10,00 0,00 91,67 79,17 70,83 8,33 8,33 0,00 0,00 Un altro elemento che caratterizza la dimensione comunicativa è la disponibilità degli UdP a XVIII Congresso nazionale Genova, aprile 2015 Valutare i Piani di Zona 18

19 interaggire con l equipe di ricerca: spesso è mancata la tempestività nella risposta, sia nei contatti telefonici, che via 80,0 60,0 40,0 20,0 0,0 Disponibilità alle richieste dell'équipe 73,3 22,2 4,4 Entro tre giorni Più di tre giorni Mancata risposta Lo sviluppo della comunicazione istituzionale è stato uno dei fattori più rilevanti nel generale processo di ammodernamento della Pubblica Amministrazione in Italia, un processo che a partire dalla L. 150/2000 e fino al Decreto Legislativo del 14 marzo 2013, n. 33, passando per la direttiva n. 8/2009 contenente le "Linee guida per i siti web delle PA" e per il Decreto legislativo 7 marzo 2005 n. 82, Codice dell'amministrazione Digitale, ha fatto della comunicazione via web (ed in particolare dopo la diffusione del cosiddetto web 2.0) una delle leve principali per l estensione dei diritti di accesso e partecipazione. Gli indicatori relativi alla comunicazione istituzionale degli Ambiti pugliesi mostrano una realtà caratterizzata da ampie lacune informative: quasi ¼ dei siti non ha un area download (il 22%), rendendo di fatto impossibile l accesso ai documenti; nel 13% dei casi manca sul sito l indicazione di un contatto telefonico con gli Uffici di Piano, e nel 16% non è presente un indirizzo a disposizione degli utenti. Nella totalità dei casi, l area del download di documenti (dove esistente) non riporta le delibere adottate dagli organi do governo dell Ambito; stesso risultato per studi e ricerche. I protocolli d intesa, che pure dovrebbero essere l atto formale di costruzione e funzionamento delle reti territoriali di partenariato e partecipazione alla governante del PdZ, sono accessibili e consultabili solo nell 8,3% dei siti; le relazioni annuali, documento di sintesi e rendicontazione, sono consultabili solo nel 70,8%; questa percentuale sale al 79,1% per i verbali dei tavoli di concertazione. Desta perplessità, infine, che neppure i Piani di Zona siano XVIII Congresso nazionale Genova, aprile 2015 Valutare i Piani di Zona 19

20 presenti in tutti i siti che consentono il download, poiché nell 8,4% dei casi questo documento semplicemente non è stato messo on line. I primi indicatori per l area Comunicazione segnalano dunque una criticità di livello significativo all interno di una dimensione valutativa strategica quale quella della qualità, soggetti e sviluppo del processo partecipativo. La sottodimensione E1: processo valutativo della dimensione E. Ancora più problematici appaiono i risultati del set di primi indicatori utilizzati per l estrazione delle informazioni sulla Dimensione E (qualità soggetti ed utilizzo della valutazione), e precisamente: Presenza nell'up di risorse umane incaricate alla valutazione Documento programmatico valutazione Percorso di valutazione ex-ante Presenza di un piano di monitoraggio e valutazione in itinere Valutazione ex-post Uso della valutazione per le successive annualità Strumenti e risultati della valutazione discussi con gli Stakeholders Coordinamento istituzionale è stato informato del processo di valutazione? Realizzazione di report valutativi Pubblicazione report di valutazione su sito La documentazione reperita sui siti, o ottenuta in formato cartaceo spesso al termine di ripetute sollecitazioni presso gli Uffici di Piano, non ha permesso all equipe di ricerca di rintracciare alcun documento che corrispondesse ai contenuti di un piano di valutazione, dai documenti di programmazione alla individuazione di risorse (umane, non meno che finanziarie e logistiche) da destinare in via non episodica alle attività di monitoraggio e valutazione, fino alla realizzazione di veri e propri report valutativi, da utilizzare anche nella costruzione dei PdZ per la triennalità XVIII Congresso nazionale Genova, aprile 2015 Valutare i Piani di Zona 20

21 successiva a quella presa in esame. La lunga serie di nessun risultato che abbiamo ottenuto utilizzando il set di indicatori sopra descritto sarà, inevitabilmente, al centro della fase qualitativa della nostra ricerca, quando attraverso interviste in profondità a stakeholders ed attori sociali ed istituzionali coinvolti nei PdZ cercheremo di ricostruire il punto di vista e l rdine delle motivazioni di quanti, a vario titolo, avrebbero avuto la necessità (o il vero e proprio obbligo) di promuovere, realizzare e diffondere la pratica della valutazione intesa nel suo senso più profondo di autoriflessione organizzativa orientata al miglioramento. BIBLIOGRAFIA K. Avanzini, U. De Ambrogio, Valutare i Piani di zona, in Prospettive Sociali e Sanitarie, n 10/2003, Milano. A. Battistella, U. De Ambrogio, E. Ranci Ortigosa, Il Piano di Zona, Costruzione, Gestione, Valutazione, Carocci, Roma, G. Bertin, Governance e valutazione della qualità nei servizi socio-sanitari, FrancoAngeli, Milano, C. Bezzi, Il nuovo disegno della ricerca valutativa, FrancoAngeli, Milano, F. Ciucci, La valutazione delle politiche e dei Servizi Sociali, FrancoAngeli, Milano, U. De Ambrogio, Valutare gli interventi e le politiche sociali, Carocci, Roma, U. De Ambrogio, T. Bertotti, F,. Merlini, L assistente sociale e la valutazione, Carocci, Roma, F. Lazzari, L. Gui, (a cura di), Partecipazione e cittadinanza - Il farsi delle politiche sociali nei Piani di Zona, FrancoAngeli, Milano, Linee guida per la valutazione dei Piani di Zona, Provincia di Milano Direzione Centrale Affari Sociali Settore Politiche Sociali, aprile M. Paci, Welfare locale e democrazia partecipativa, Il Mulino, Bologna, M. Palumbo, Il Processo di Valutazione, decidere, programmare, valutare, FrancoAngeli, Milano, R. Pawson, N. Tilley, Realistic Evaluation,, Sage Publications, London, R. Pawson, N. Tilley, Realistic Evaluation, in S. Matthieson (ed), Encyclopaedia of Evaluation, Sage, Beverly Hills, CA, XVIII Congresso nazionale Genova, aprile 2015 Valutare i Piani di Zona 21

22 R. Scortegagna, La dimensione organizzativa del Piano di Zona, in La rivista del Servizio Sociale, A. 2002, n. 4. N. Stame, La valutazione realistica: una svolta, nuovi sviluppi, in Sociologia e ricerca sociale, n , XVIII Congresso nazionale Genova, aprile 2015 Valutare i Piani di Zona 22