Università degli Studi di Bergamo Corso di Laurea Magistrale in «Scienze Pedagogiche» PROGETTAZIONE PER L INTEGRAZIONE SOCIALE.

Transcript

1 Università degli Studi di Bergamo Corso di Laurea Magistrale in «Scienze Pedagogiche» PROGETTAZIONE PER L INTEGRAZIONE SOCIALE Serenella Besio Bergamo, 21 novembre 2018

2 (CONCLUSIONE DEL TEMA «VALUTAZIONE»

3 I SOGGETTI INTERESSATI ALLA VALUTAZIONE Gli operatori che hanno progettato e attuato gli interventi (educatori e professionisti di altre aree) hanno interesse a conoscere se le azioni effettuate hanno risposto ai bisogni individuati, se il lavoro è stato efficace nel produrre i cambiamenti auspicati, se è stato apprezzato dai destinatari La crescita di competenza degli operatori è peraltro correlato con la riflessione derivante dall espletamento dei processi valutativi Il committente e/o l ente finanziatore hanno interesse a comprendere se l investimento ha prodotto i risulta ti auspicati, se ha senso continuare a sostenere l iniziativa, eventualmente perfezionandola. Potrà anche essere interessato a conoscere se le criticità che hanno prodotto l idea progettuale si sono risolte o sono diminuite I destinatari hanno la priorità di cogliere i benefici che l esperienza in cui sono stati coinvolti ha prodotto nei loro confronti (es., percorsi formativi, coerenza fra aspettative, percorsi e conoscenze sviluppate)

4 GLI OGGETTI DELLA VALUTAZIONE Un progetto educativo può essere valutato prendendo in considerazione alcuni principali elementi di analisi I bisogni: la situazione dei soggetti a cui il progetto è rivolto Il processo: l attuazione dell intervento I risultati: la situazione dei soggetti coinvolti al termine del progetto, le opinioni sul progetto da parte degli stakeholder coinvolti, gli effetti imprevisti eventualmente attivati I costi, in termini economici, ma anche di tempo e di risorse umane impiegate

5 VALUTAZIONE DEI BISOGNI Di importanza strategica, ha lo scopo di determinare la natura e la portata di un problema sociale, le priorità di intervento e di proporre soluzioni fattibili, utili e rilevanti per il problema rilevato Lavoro di ricognizione dei bisogni si colloca su 4 categorie Demografiche: definire il profilo demografico della comunità, del gruppo, ecc. Storiche: capire come i bisogni sono cambiati nel tempo, le condizioni contestuali, il funzionamento dei servizi, le soluzioni già testate Di domanda: verificare se i programmi esistenti incontrano i bisogni delle persone, se ci sono gruppi che chiedono ma non trovano risposta Di forza: per identificare i fattori di resilienza della comunità o dei gruppi considerati

6 VALUTAZIONE DI PROCESSO Descrive le operazioni di implementazione del programma, svolgendo un ruolo importante nel circuito progettazioneattuazione-valutazione perché individua i meccanismi per cui alcuni effetti si sono prodotti In particolare analizza:

7 VALUTAZIONE DI PROCESSO Descrive le operazioni di implementazione del programma, svolgendo un ruolo importante nel circuito progettazioneattuazione-valutazione perché individua i meccanismi per cui alcuni effetti si sono prodotti In particolare analizza: La struttura del progetto Organizzazione e struttura delle attività, gestione del flusso di comunicazione, livello di qualificazione minimo richiesto agli operatori

8 VALUTAZIONE DI PROCESSO Descrive le operazioni di implementazione del programma, svolgendo un ruolo importante nel circuito progettazioneattuazione-valutazione perché individua i meccanismi per cui alcuni effetti si sono prodotti In particolare analizza: La struttura del progetto I supporti al progetto Presenza di supervisione e supporto agli operatori, previsione di fondi di emergenza, progettazione e attuazione di azioni valutative

9 VALUTAZIONE DI PROCESSO Descrive le operazioni di implementazione del programma, svolgendo un ruolo importante nel circuito progettazioneattuazione-valutazione perché individua i meccanismi per cui alcuni effetti si sono prodotti In particolare analizza: La struttura del progetto I supporti al progetto L erogazione del servizio al cliente Tipologia di interventi proposti, qualità degli interventi, professionalità degli operatori

10 VALUTAZIONE DI PROCESSO Descrive le operazioni di implementazione del programma, svolgendo un ruolo importante nel circuito progettazioneattuazione-valutazione perché individua i meccanismi per cui alcuni effetti si sono prodotti In particolare analizza: La struttura del progetto I supporti al progetto L erogazione del servizio al cliente Il processo decisionale Strategie di assunzione delle decisioni pratiche; documentazione delle attività svolte e delle decisioni assunte

11 VALUTAZIONE DI PROCESSO Descrive le operazioni di implementazione del programma, svolgendo un ruolo importante nel circuito progettazioneattuazione-valutazione perché individua i meccanismi per cui alcuni effetti si sono prodotti In particolare analizza: La struttura del progetto: I supporti al programma L erogazione del servizio al cliente Il processo decisionale L integrità del progetto Implementazione dell intervento secondo quanto stabilito in sede di progettazione, tipologia e motivazioni delle eventuali modifiche rispetto al progetto originale

12 VALUTAZIONE DI PROCESSO Descrive le operazioni di implementazione del programma, svolgendo un ruolo importante nel circuito progettazioneattuazione-valutazione perché individua i meccanismi per cui alcuni effetti si sono prodotti In particolare analizza: La struttura del progetto: I supporti al programma L erogazione del servizio al cliente Il processo decisionale L integrità del progetto La conformità con gli standard Corrispondenza del progetto con gli standard definiti dai finanziatori, dagli organismi accreditati o dalle agenzie governative

13 VALUTAZIONE DI RISULTATO Ha lo scopo di dimostrare il grado e la natura del cambiamento intervenuto nei soggetti coinvolti in uscita dal programma o dopo un certo periodo di tempo (follow-up) Fornisce informazioni sul grado in cui gli obiettivi previsti sono stati raggiunti Non può prescindere dalle due tipologie precedenti: non si può parlare di risultati se non si conoscono i bisogni Non si può sapere quali aspetti del progetto hanno o non hanno funzionato se non si sa come è stato gestito e sviluppato

14 VALUTAZIONE DI RISULTATO Essa dà risposte sui seguenti aspetti: Accuratezza nella realizzazione del progetto Livello di conseguimento degli obiettivi, raggiungimento del target prefigurato e di standard minimi di rendimento

15 VALUTAZIONE DI RISULTATO Essa dà risposte sui seguenti aspetti: Accuratezza nella realizzazione del progetto Effetti del progetto Acquisizione di un cambiamento nei destinatari dell intervento, entità del cambiamento avvenuto in rapporto a quello prodotto nell ambito di interventi simili, stabilità di tale cambiamento

16 VALUTAZIONE DI RISULTATO - 2 Essa dà risposte sui seguenti aspetti: Accuratezza nella realizzazione del progetto Effetti del programma Effetti differenziali Presenza di sottogruppi di destinatari per i quali il cambiamento ottenuto è maggiore o minore

17 VALUTAZIONE DI RISULTATO Essa dà risposte sui seguenti aspetti: Accuratezza nella realizzazione del progetto Effetti del programma Effetti differenziali Causalità Presenza di evidenze che consentano di attribuire effettivamente al programma i cambiamenti rilevati nei destinatari

18 VALUTAZIONE DI RISULTATO Essa dà risposte sui seguenti aspetti: Accuratezza nella realizzazione del progetto Effetti del programma Effetti differenziali Causalità Soddisfazione degli stakeholder

19 VALUTAZIONE DEL RAPPORTO COSTI- EFFICACIA E DELL EFFICIENZA Un programma è efficiente quando ottiene i risultati desiderati al minor costo comparato con un altro programma con gli stessi obiettivi [o in un tempo più rapido, che corrisponde ad un abbattimento di costi] Tuttavia, i costi relativi alle attività di prevenzione sono difficilmente stimabili Fornisce informazioni sulle spese sostenute per la progettazione e la realizzazione di un intervento Per avere un quadro completo, occorre integrare le informazioni con quelle di processo (svolgimento) e di risultato (effetti)

20 VALUTAZIONE DEL RAPPORTO COSTI- EFFICACIA E DELL EFFICIENZA Questa valutazione offre risposte sui seguenti aspetti: Costo unitario Costo medio per destinatario, costo medio per unità di servizio, costo per la valutazione

21 VALUTAZIONE DEL RAPPORTO COSTI- EFFICACIA E DELL EFFICIENZA Questa valutazione offre risposte sui seguenti aspetti: Costo unitario Distribuzione dei costi Distribuzione in percentuale dei costi per l erogazione diretta, le attività amministrative, lo sviluppo del progetto; presenza di attività non erogate per mancanza di fondi

22 VALUTAZIONE DEL RAPPORTO COSTI- EFFICACIA E DELL EFFICIENZA Questa valutazione offre risposte sui seguenti aspetti: Costo unitario Distribuzione dei costi Strategie di riduzione e recupero dei costi, che però non devono influire sull efficacia

23 CRITICITÀ CONNESSE ALLA VALUTAZIONE DEI PROGETTI E DEGLI INTERVENTI

24 1^ CRITICITÀ. I TEMPI Devono essere previsti e descritti in modo sistematico, sia per quanto riguarda la tempistica sia per gli strumenti scelti. Una valutazione solo alla fine del percorso progettuale non è adeguata Occorre prevedere valutazioni iniziali per la valutazione dei bisogni e l individuazione della linea di azione da seguire; i dati della valutazione iniziale servono anche perché permettono la misurazione del cambiamento, se gli strumenti e le strategie favoriscono la comparazione Le valutazioni in itinere hanno una grande importanza, in relazione alla tipologia di progetto, per esempio nel caso si debbano riscontrare risultati intermedi prima di procedere con un intervento Il follow up (misurazione dei cambiamenti a distanza di qualche tempo) può essere complesso in un contesto socio-educativo per sua natura fluido, ma può fornire informazioni utili sull impatto

25 2^ CRITICITÀ. STRUMENTI E OGGETTI DI VALUTAZIONE Presenza di obiettivi troppo ampi e perciò difficilmente valutabili Scarsa coerenza fra gli oggetti che si sceglie di valutare e i traguardi previsti Scarsa coerenza degli strumenti rispetto all oggetto della valutazione

26 3^ CRITICITÀ. SCELTA DEGLI STRUMENTI DI RILEVAZIONE Si tende ad utilizzare strumenti a basso grado di strutturazione (osservazione libera, colloqui, interviste di gruppo, prove tradizionali, analisi di prodotti, ecc.) Anche questi strumenti devono rispondere a requisiti di validità e di attendibilità; in questo senso possono risultare più complessi di altri, strutturati Strumenti più strutturati (questionario, osservazione sistematica, ecc.) devono essere costruiti con rigorosità Bisogna poi saper padroneggiare tecniche di elaborazione dei dati ottenuti

27 VALUTARE LA COERENZA INTERNA DI UN PROGETTO

28 SCELTA DELLA LINEA DI AZIONE Vengono individuati gli elementi che caratterizzano il problema? Vengono individuati in maniera esplicita i bisogni del soggetto / del gruppo? I bisogni individuati sono pertinenti con il problema manifestato? Nell identificazione dei bisogni, si considera adeguatamente il contesto? Le priorità identificate sono motivate alla luce dei fattori positivi e negativi, contestuali e personali? La linea di azione è esplicitata? Le scelte fatte vengono motivate in base a evidenze empiriche e scientifiche?

29 IDENTIFICAZIONE DEI TRAGUARDI Vengono esplicitati i traguardi (obiettivi educativi, competenze, ecc.) da raggiungere? Nella definizione dei traguardi si tiene conto delle risorse del soggetto / del gruppo? Nella definizione dei traguardi si tiene conto dei limiti del soggetto / del gruppo? Nella definizione dei traguardi si tiene conto degli interessi, dell opinione del soggetto / del gruppo? Nella definizione dei traguardi si tiene conto delle risorse del contesto? I traguardi individuati sono coerenti con i bisogni? I traguardi individuati sono coerenti con la linea di azione? I traguardi sono formulati in maniera chiara, specifica, verificabile? Si distingue fra traguardi, scopi che li guidano e azioni che portano al loro raggiungimento? I traguardi sono tradotti in termini operativi? Gli indicatori individuati sono coerenti con i traguardi da cui derivano? Le scelte fatte vengono motivate in base a evidenze empiriche e scientifiche?

30 PIANO DI VALUTAZIONE Sono descritti gli oggetti della valutazione (ad es., conoscenze, processi cognitivi, aspetti affettivi, valori, comportamenti, competenze, cambiamento, gradimento, processo di attuazione, qualità del lavoro degli operatori, costi, ecc.)? Vi è coerenza fra gli oggetti della valutazione e i traguardi prefigurati? Sono descritti gli strumenti che si utilizzeranno per la valutazione? La valutazione è prevista in diversi momenti del percorso (iniziale, in itinere, finale, di follow up)? Sono esplicitati modalità e tempi di rilevazione? Le scelte fatte vengono motivate in base a evidenze empiriche e scientifiche?

31 METODI PER LA VALUTAZIONE Le strategie e gli strumenti di indagine utilizzati sono gli stessi adottati per la ricerca empirica sociale o educativa Questionari e interviste (individuali e di gruppo) si utilizzano: per la raccolta di dati per la rilevazione dei bisogni all inizio o della soddisfazione dei partecipanti alla fine Tecniche di osservazione dei comportamenti attuati Prove per la rilevazione di cambiamenti in termini di conoscenze e competenze Interviste di gruppo (brainstorming, focus group) a testimoni privilegiati, decisori, beneficiari Fonti di informazione diretta: analisi di documenti, utilizzo di indicatori e indici elaborati da dati preesistenti