La valutazione dei centri ricreativi estivi della provincia di Lodi di Daniela Baldini 1 I centri ricreativi estivi sono esperienze socio-educative rivolte ai ragazzi di età compresa tra i 6 e i 14 anni che si svolgono nei mesi di interruzione del calendario scolastico. Sono per lo più esperienze caratterizzate da finalità educative ed aggregative, da un elevata partecipazione di utenti, volontari ed educatori e dalla messa in gioco di numerose risorse, in termini di tempo ed energie. Per tali ragioni, la valutazione di tale servizio non può essere improvvisata o lasciata al caso. Il tema della valutazione, inteso come funzione trasversale del processo di progettazione, è peraltro oggetto di un ampio dibattito tra studiosi e policy-maker e sta coinvolgendo con rinnovato interesse anche il comparto dei servizi socio-educativi. A partire da questo scenario, una valutazione dei centri ricreativi estivi è stata elaborata in via sperimentale nel contesto dei Grest 2 della provincia di Lodi, attraverso l applicazione della metodologia della goal-free evaluation. Questo modello è particolarmente significativo per la prospettiva innovativa negli orientamenti metodologici della valutazione, in quanto prevede la momentanea non considerazione degli obiettivi predefiniti dal progetto, in funzione della valutazione di tutti gli effetti (anche inizialmente non previsti) prodotti dall esperienza. Il presente articolo intende presentare i risultati della valutazione effettuata mediante adozione di un approccio goal-free, nel conteso dei Grest lodigiani. Queste tematiche, ora riprese in sintesi, costituiscono l oggetto della tesi di laurea specialistica La valutazione della progettualità di interventi socio-educativi per minori e giovani, dalla quale prendono spunto le riflessioni di questo articolo. Tali riflessioni vengono sviluppate in un percorso che si sviluppa in quattro macro-aree: 1. la progettazione e la valutazione; 2. la progettualità dell evaluando: l esperienza del Grest estivo promossa dall Ufficio di Pastorale Giovanile della Diocesi di Lodi; 3. il disegno della ricerca valutativa e il dispositivo per la valutazione del Grest in ripresa della metodologia goal- free; 4. le considerazioni e le questioni metodologiche riguardo al dispositivo valutativo e del modello goal-free impiegato per la valutazione dell esperienza del Grest e delle azioni dell Ufficio di Pastorale Giovanile della Diocesi di Lodi. 1. La progettazione e la valutazione La valutazione e la progettazione sono processi connessi tra loro ed è possibile osservare come le evoluzioni dei paradigmi di progettazione e di valutazione possano essere concepite come parallele, seppure tali comparazioni non possano essere assunte in 1 Collaboratrice dell Istituto italiano di Valutazione; l articolo riprende in sintesi i contenuti della tesi di laurea specialistica Progettazione pedagogica e interventi socio-educativi, Università Cattolica del S.Cuore, Milano 2 I Grest sono i centri ricreativi estivi organizzati nelle parrocchie della diocesi di Lodi, in collaborazione con l Ufficio per la Pastorale Giovanile della Diocesi di Lodi. L estensione della diocesi di Lodi corrisponde quasi completamente alla provincia di Lodi 1
modo rigido e lineare. Per queste ragioni si possono collocare gli approcci di progettazione e di valutazione lungo un continuum che ne rappresenta le peculiarità in relazione a diverse concezioni di razionalità. A partire da orientamenti maggiormente ingegneristici e meccanici si determina la correlazione tra approcci di progettazione curricolare, lineare e sinottico con i modelli di valutazione obiettivi- risultati e costibenefici ; procedendo verso concezioni di razionalità meno lineare si individuano gli approcci progettuali del problem- solving e partecipativi che richiamano i modelli valutativi sperimentale, quasi- sperimentale, audit e la valutazione partecipata. All estremo opposto del continuum indicato, si collocano l approccio progettuale euristico e quello valutativo del goal- free. La goal- free evaluation (indipendente dagli obiettivi) è una posizione valutativa estrema in quanto non prende in considerazione gli obiettivi enunciati dal progetto, ritenendoli affermazioni retoriche e semplicistiche di principi. Supera l unilateralità tipica dello schema obiettivi- risultati, per concentrarsi rispetto alle attività svolte, agli effetti prodotti e valutati non in rapporto agli obiettivi del progetto ma in base alla loro rilevanza e significatività da un punto di vista sociale. Il modello obiettivi- risultati, nell analisi del comportamento precedenti e prodotti, esclude dalla valutazione stessa altri risultati ed eventuali effetti collaterali. Il paradigma goal- free, invece, suggerisce provocatoriamente di ignorare gli obiettivi di un programma, in quanto prenderli in considerazione sarebbe un azione contaminante per la prospettiva valutativa: se il valutatore non ha coscienza degli obiettivi del progetto all inizio della sua ricerca valutativa, la sua visione non viene influenzata e considera gli effettivi impatti reali. In questo modo, i risultati ottenuti e gli effetti prodotti da un progetto non sono visti in riferimento agli obiettivi del progetto stesso ma in riferimento ai bisogni sociali a cui dare risposta. Questo in quanto, nella prospettiva dell approccio goal- free, gli obiettivi di cui parlano gli operatori possono essere identificati maggiormente in slogan idealistici e retorici del progetto, piuttosto che in scopi realistici (e che talvolta rimangono impliciti). Per quanto possa apparire paradossale, nel problematizzare il progetto ed i suoi obiettivi, la valutazione goal- free è orientata a far emergere le effettive finalità e intenzionalità e i risultati involontari dei progetti. È così possibile studiare la valutazione in un ottica che comprende anche la sua effettiva applicazione, come la sua funzione nel processo progettuale e le sue strategie e metodologie per l analisi della realtà. A partire da tale complessità metodologica e dalle suggestioni della prospettiva goal- free (che ha acceso il dibattito proponendo una significativa innovazione nell approccio dei ricercatori e valutatori), si sperimenta l applicazione di questo orientamento alle progettazioni di interventi socio- educativi cercando di non assumerlo in modo acritico ma, piuttosto, di individuarne sia le potenzialità e sia le criticità. Oggetto della valutazione è - nello specifico- il Grest, considerandolo progetto-campione efficace per valutare i concreti cambiamenti socio- educativi apportati dall'ufficio per la Pastorale Giovanile di Lodi nella comunità e nei singoli (in una dimensione extrascolastica). L obiettivo è di creare uno strumento valutativo il più possibile efficace, volto a considerare la progettualità di interventi socio- educativi, gli effettivi cambiamenti educativi e sociali apportati dal Grest nel contesto, nella comunità e nei singoli e di analizzare le metodologie, l efficacia, le strategie e le linee di sviluppo del modello di valutazione goal-free. Per queste ragioni, il dispositivo valutativo non si limita all analisi della realizzazione del Grest ma anche della progettazione, dei processi formativi e dell organizzazione, con l elaborazione di un disegno della ricerca finalizzato alle situazioni micro dei singoli oratori e all esame del coordinamento e progettazione della Pastorale Giovanile e delle collaborazioni regionali. 2
2. La progettualità dell evaluando Le finalità del progetto del Grest si intrecciano fortemente con quelle della Pastorale Giovanile e dell Ufficio per la Pastorale Giovanile in quanto esso consiste in un azione Pastorale. Per queste ragioni, tra le finalità e gli obiettivi iniziali che hanno promosso l Ufficio di Pastorale Giovanile della Diocesi di Lodi vi sia stato il Grest, e tuttora esso è uno dei nodi cruciali della sua progettualità. Esso è l esperienza estiva di più rilevante impatto nel territorio, con il coinvolgimento più elevato di ragazzi, giovani e adolescenti e volontari. Il centro ricreativo estivo- Grest può essere considerato nella complessità un vero e proprio evento che si ripete ogni anno, a livello della regione Lombardia, con più di 550.000 bambini e ragazzi, grazie alla presenza di oltre 80.000 volontari adulti e alla collaborazione di 83.000 adolescenti. A livello diocesano vi sono 80 Grest in azione con la presenza di circa 10.000 bambini e ragazzi tra i 6 e i 14 anni, e di circa 3.000 adolescenti. A livello cittadino della sola città di Lodi si svolgono 10 Grest con il coinvolgimento di più di 1.500 bambini e ragazzi e 300 adolescenti. Negli incontri dei piani di zona della Provincia di Lodi il direttore dell UPG è il responsabile e il portavoce dell esperienza estiva più incidente nel territorio, in confronto e relazione con altre proposte comunali, dei centri sportivi o private. Il Grest è uno dei momento più intensi della vita dell oratorio: i ragazzi dai sei ai quattordici anni trascorrono molte ore in questo ambiente educativo (dalle ore 8 alle 17), strutturato da un animazione che alterna gioco libero, gioco organizzato, attività manuali, momenti di riflessione, in un esperienza intensa di socializzazione. Il Grest ha dunque un forte impatto nel territorio e nelle persone: una grande percentuale di bambini trascorre il tempo e sperimenta esperienze educative nel Grest, gli adolescenti maturano consapevolezza di sé e responsabilità nei confronti dei più piccoli, i volontari trovano a loro volta occasioni per una riflessione e maturazione. Significativo è dunque l impatto a livello personale e sociale dei soggetti coinvolti e per questo motivo l indagine è rivolta a valutare gli aspetti educativi e sociali della proposta. Il Grest è perciò un esperienza socio- educativa complessa che coinvolge differenti soggetti promotori delle tappe progettuali, delle azioni, della rete regionale, diocesana, parrocchiali, e si estende durante l intero corso dell anno. Si distinguono dunque differenti fasi e livelli per la realizzazione del Grest: progettazione, formazione, organizzazione e attuazione, che coinvolgono, rispettivamente soggetti, risorse e azioni differenti. Come precedentemente introdotto, i progetti Grest sono progettati nel tempo (da settembre a maggio: la progettazione e la formazione degli animatori; da giugno a luglio: l esperienza sul campo con i ragazzi) e si compongono di nodi cruciali, ai quali corrispondono differenti contestualizzazioni. Per quanto riguarda la progettazione, si individuano: - il livello regionale con la progettazione da parte della Commissione Estate Ragazzi e della commissione formata dai sacerdoti degli Uffici per la Pastorale Giovanile della Lombardia. - Il livello diocesano formato dall Ufficio per la Pastorale Giovanile responsabile degli aspetti concreti come i materiali (cappellini, pubblicità delle proposte, altro ancora), la diffusione dei sussidi (in collaborazione con Noi Lodi Associazione ). Insieme all Equipe di Pastorale Giovanile si occupa della formazione degli animatori del Grest e dell organizzazione del FestaGrest per ragazzi e adolescenti. - Il livello parrocchiale che comprende la progettazione concreta e centrata sullo stesso contesto di attuazione da parte dei sacerdoti, dei coordinatori, degli educatori, degli animatori e dei volontari. 3
L esperienza del Grest coinvolge dunque una quantità significativa di persone che si impegnano nelle fasi di progettazione, organizzazione e realizzazione, estendendo il tempo ad esso dedicato oltre i mesi di giugno e luglio. Manca tuttavia, in questo ciclo di progettazione e azione, la funzione della valutazione che può avvenire sia in itinere che al termine del processo, al fine di potere offrire strumenti per la progettazione per l anno successivo. Per questo motivo, questo lavoro di tesi è finalizzato a suggerire una proposta di disegno di ricerca valutativa, elaborata al termine dell esperienza ma che si avvale di osservazioni anche durante le fasi del progetto e che necessita l avvio di alcune valutazioni anche prima dei mesi estivi, al termine di alcune tappe progettuali. 3. Il disegno della ricerca valutativa: un dispositivo sperimentale di valutazione La prima fase della valutazione è finalizzata alla ricerca valutativa degli effetti reali apportati dal progetto Grest, dalle sue azioni e dinamiche, considerando anche aspetti quantitativi di partecipazione che evidenziano un significativo impatto, in sintonia con l orientamento della goal- free evaluation. Successivamente la valutazione procede a ritroso, per considerare e confrontare i risultati dell indagine con le annotazioni dei progetti Grest e gli obiettivi predefiniti al fine dello studio relativo alla conformità tra quanto predeterminato e quanto effettivamente svolto. Infine, si aprirà la riflessione integrando i riferimenti ad altri modelli valutativi maggiormente strutturati, per considerare lo scarto del cambiamento tra la situazione prima e dopo l intervento, quanto e in che modo i risultati siano stati raggiunti, i costi e benefici impiegati. La ricerca valutativa non si limita all analisi del Grest nella sua fase di realizzazione ma anche ad altre dimensioni, quali la progettazione e l organizzazione, con il disegno della ricerca finalizzato alle situazioni micro dei singoli oratori e all analisi di coordinamento e progettazione della Pastorale Giovanile, della Commissione Estate Ragazzi e delle collaborazioni interdiocesane tra i direttori degli Uffici per la Pastorale Giovanile. Nello specifico, il dispositivo di valutazione dei Grest estivi è rivolto ad individuare: gli elementi costanti e generalizzabili dei Grest, per potere compiere un analisi scientificamente fondata riguardo a questa proposta socio- educativa e i suoi impatti nei singoli e nella comunità; l effettiva significatività pedagogica e sociale delle esperienze concrete del Grest, ma anche delle sue fasi di progettazione e formazione che favoriscono la creazione di reti interdiocesane e interparrocchiali; le peculiarità delle singole esperienze, per valutare l effettivo apporto dei singoli progetti Grest, per tracciare le linee guida e gli accorgimenti per gli anni successivi, per individuare le strategie particolarmente efficaci impiegate in alcuni Grest e che si possono condividere tramite la rete creata; gli elementi cruciali, gli snodi fondamentali e metodologici delle progettualità in essere a differenti livelli (macro e micro), per potere specificare le criticità per una accurata riprogettazione (se e dove può essere necessaria). Questi obiettivi sono orientati allo studio di alcuni oggetti specifici: la progettazione a livello micro e macro; la realizzazione e le dinamiche di progettazione, formazione e realizzazione; le situazioni e le dinamiche al termine del Grest. 4
Essi sono analizzati in considerazione delle dimensioni: educative e sociali; di progettazione, coordinamento e organizzazione; di relazione con il contesto, i limiti e le risorse dei singoli, delle equipe di lavoro, delle esperienze del Grest. Inoltre si individuano delle aree di studio utili al valutatore per le riflessioni finali: A. Area di riflessione e progettazione, si riferisce agli aspetti impliciti ed espliciti di progettazione iniziale e durante realizzazione del Grest. Infatti, nella prassi quotidiana del Grest la progettazione viene ad essere un elemento implicito ma che influisce nelle attività (per esempio per favorire le collaborazione in rete tra i soggetti, per programmare Grest carichi di contenuti educativi e consoni ai ragazzi e ai contesti, per progettare ogni giorno interventi socio- educativi adeguati al contesto e ai soggetti, e altro ancora). B. Area di fattibilità, attuazione e gestione delle attività: sono elementi fondamentali per la riuscita e per le dinamiche quotidiane del Grest e possono essere caratterizzati da differenti svolgimenti complessivi (attività pratiche di progettazione, realizzazione della formazione, esperienza concreta del Grest oratoriano) e svolti da diversi soggetti (giovani e sacerdoti che si occupano della fase progettuale concreta, giovani e i sacerdoti impegnati nella formazione concreta dei ragazzi, animatori, giovani, sacerdoti e ragazzi che con la loro presenza rendono possibile il Grest). C. Area di incidenza formativa e educativa del Grest, ovvero i vissuti e gli apprendimenti dei ragazzi e dei soggetti che progettano, formano e realizzano e collaborano per il Grest. A queste aree fanno riferimento i quattro criteri (parametri) di valutazione: 1. qualità della progettazione; 2. adeguatezza delle competenze formative; 3. competenze di organizzazione e operatività; 4. maturazione socio- educativa dei ragazzi. Questi parametri sono specificati attraverso 74 indicatori per lo più qualitativi che, a loro volta, sono stati declinati a livello operativo su posizioni descrittive da 1 a 4. Per ciascun indicatore, inoltre, si attribuisce un coefficiente di peso che ne rappresenta la specificità e l importanza. Benché si elaborino numerosi indicatori, si propone che il valutatore scelga di volta in volta quali impiegare in base alle caratteristiche del progetto, alle intenzioni valutative e alle variabili contestuali; la scelta può essere facilitata considerando anche i coefficienti di valori attribuiti, in quanto i pesi maggiori possono segnalare peculiarità dell evaluando da esaminare durante la valutazione. 4. Questioni metodologiche della valutazione della progettualità Nel dispositivo di valutazione progettato si sono delineati gli oggetti, i criteri e gli indicatori in considerazione dell esperienza e delle conoscenze teoriche in possesso e sono emerse alcune questioni metodologiche relative all applicazione del modello goal- free. La scelta di progettare un numero elevato di indicatori nel dispositivo di valutazione dell esperienza del Grest, è determinata dalla connotazione metodologica del modello goal- free in quanto è finalizzato all analisi degli impatti effettivi di un progetto a prescindere dagli obiettivi predeterminati; quindi, per non tralasciare alcuni outcomes, si cerca di riportare il maggiore numero di variabili relative agli elementi osservabili. Tuttavia possono emergere alcune criticità tra loro connesse in una forma di circolarità consecutiva: 5
la necessità di introdurre l intenzionalità processuale nell elaborazione e nello studio valutativo; infatti, non è possibile con l approccio goal- free originale comprendere se alcuni elementi valutati e presenti al termine del progetto fossero già esistenti o in che misura si sono modificati grazie all intervento: non si può individuare uno scarto ed un cambiamento tra la fase iniziale e finale, approfondire come e perché alcune competenze sono state sviluppate a discapito di altre, quali imprevisti sono incorsi durante l intervento e quali strategie sono state adottate (sono elementi che lasciano spunti per una riflessione ulteriore nel proseguimento dell intervento o nel tempo). Per questo motivo si suggerisce l elaborazione della valutazione nel tempo (per esempio, per quanto riguarda le dinamiche di realizzazione del Grest un analisi sul campo exante a metà giugno, in itinere dopo una settimana di giochi e al termine, negli ultimi momenti) e non unicamente al termine del processo; l opportunità della condivisione e negoziazione tra valutatore e responsabile del progetto in una fase antecedente alla delineazione degli indicatori; l esigenza di una notevole quantità di tempo per la raccolta dei dati e per l argomentazione delle osservazioni valutative; il rischio che il dispositivo sia oltremodo lungo, complesso e costoso (in termini economici, di tempo e di energie) e poco agevole nel momento dell osservazione e della valutazione; l opportunità di poter fare riferimento nel momento dell elaborazione degli indicatori a conoscenze provenienti dalla teoria e dalle esperienze pratiche rispetto all evaluando, al fine di potere attribuire direzioni significative alla valutazione (accorgimento sottolineato nella valutazione theory- driven); la scelta degli indicatori e dei criteri è sviluppata dal valutatore, tuttavia nella delineazione degli indicatori finalizzati alla valutazione degli outcomes reali, a prescindere dagli obiettivi, possono non essere previste le manifestazioni di alcune azioni e impatti (in quanto si è orientati a valutare gli outcomes non previsti). Si procede nella ricerca valutativa applicando lo schema predefinito degli indicatori della valutazione, con il rischio di non accorgersi della mancanza di caratteri significativi per la valutazione finale. Il dispositivo sembra così ritorcersi su se stesso in quanto cade nella stessa strutturazione rigida dalla quale Scriven voleva fuoriuscire, e rischia di soffocare l indagine di elementi non previsti, ancorando al dispositivo documentato. Questa riflessione, tuttavia, può comportare l instaurarsi di un circolo vizioso che può essere in parte risolto attraverso l approfondimento relativo all equilibrio tra soggettività, oggettività e asetticità del valutatore: è auspicata infatti la ricerca di un giusto medio tra il bisogno di intenzionalità valutativa rivolta all analisi degli impatti e una ricerca valutativa che porti a non far coincidere gli obiettivi della ricerca valutativa con i risultati. A partire da queste considerazioni, si propongono alcuni accorgimenti e questioni metodologiche sia per l oggetto valutativo e sia per alcune criticità proprie del modello: la flessibilità nella ricerca e nell impiego degli strumenti di analisi e del dispositivo, al fine di procedere in profondità per estrapolare i risultati e gli impatti concreti. In particolare, si individuano come strumenti per la ricerca e per la rilevazione dei dati le interviste semistrutturate e aperte, le osservazioni sul campo e le integrazioni dei dati con questionari; l utilizzo del dispositivo come una proposta e una linea guida che può essere ampliato, non comportando una chiusura nell osservazione di ulteriori elementi; l impiego di descrittori per l approfondimento della valutazione e per l analisi metodologica degli approcci progettuali e formativi incontrati. 6
Il goal- free è risultato essere un orientamento efficace in funzione dell evaluando considerato, data la complessità che lo connota e le differenti variabili che sollecita ad impiegare. Tuttavia, si sono individuati alcuni accorgimenti metodologici sia per l oggetto valutativo sia per alcune criticità proprie del modello. Ad integrazione del modello si sono, inoltre, sviluppate due ulteriori considerazioni, a loro volta connesse: 1. La possibilità di un connubio circolare tra teoria/prassi- valutazione- implementazione teorica/ pratica- riprogettazione. La valutazione, oltre ad essere oggettiva, può essere una strategia per l implementazione della progettazione e dell intervento esaminato (in connessione con gli orientamenti di Patton e Stufflebeam) e consiste in una funzione del processo progettuale generale ed un nodo che lo integra e implementa. Si propone un orientamento di connessione ciclica tra teoria, esperienza, definizione degli indicatori valutativi, valutazione, impatto nella teoria e esperienza sociale (raccomandazioni) e valutazione come funzione nel processo progettuale. 2. Dal punto appena delineato si connettono le considerazioni relative alle raccomandazioni e alle implementazioni. Si ritiene che la valutazione, come funzione della progettazione e in virtù delle proprie raccomandazioni, possa essere inserita nel circolo dinamico delineato e, qualora possibile, essere valorizzata per l apporto strategico che può comportare per l implementazione. Tale considerazione è stata declinata a livello concreto, appunto nell Ufficio per la Pastorale Giovanile e nell esperienza del Grest. Infatti questa ricerca valutativa può essere uno strumento per apportare accorgimenti, discuterne con le singole parrocchie, per l empowerment e l implementazione delle proposte oltre ad estenderle e utilizzarle come collegamento ad altre azioni, progettazioni, formazioni e interventi promossi. Dunque si può osservare come la valutazione sia uno strumento funzionale per il miglioramento concreto nel sistema sociale, nei servizi e nelle organizzazioni: riprendendo gli orientamenti di Rossi e Chen che individuano nei processi valutativi le risorse per incrementare le conoscenze progettuali e nei campi sociali e in altre discipline (in connessione con Scriven), emerge come la valutazione di progettualità possa implementare le conoscenze teoriche e l efficacia delle azioni sociali (e non solo) nelle attività professionali quotidiane. Il goal- free è perciò un orientamento efficace in funzione della valutazione dei Grest e dei centri ricreativi estivi, data la complessità che li connota e le differenti variabili che sollecitano ad impiegare. Per concludere, emerge come la metodologia goal- free sia innanzitutto un innovazione con valore euristico piuttosto che pratico, in quanto promuove continui approfondimenti e rimandi alla complessità. Il modello goal- free è un orientamento strategico ed una forma mentis per non cadere in eccessivi meccanicismi o approcci di asettica rigidità, sia nell elaborazione del disegno della ricerca valutativa sia negli studi metodologici relativi alla valutazione: stimola l assunzione di una prospettiva razionale flessibile, olistica e equilibrata. Tuttavia, si è consapevoli che nel corso dell elaborazione si è percepita la personale necessità di adottare riferimenti validi a metodologie ragionate e sistematiche al fine di potere pervenire a giudizi di valore non fondati sull improvvisazione ma il più possibile argomentati. 7