Dalla valutazione al miglioramento: strumenti e modelli operativi sperimentati da INDIRE

Transcript

1 Dalla valutazione al miglioramento: strumenti e modelli operativi sperimentati da INDIRE Massimo Faggioli Dirigente di Ricerca Indire Milano 21 Novembre 2013

2 Il progetto VSQ Sperimentazione finalizzata ad attivare processi di valutazione e miglioramento dell organizzazione scolastica; Sinergia tra gli istituti Invalsi ed Indire secondo lo schema di regolamento sul Sistema Nazionale di Valutazione(legge 10/2011; direttiva ministeriale agosto 2012; decreto n.80 del 28 marzo 2013).

3 VSQ come sperimentazione del sistema nazionale di Valutazione e Miglioramento Separazione delle competenze Valutazione esterna (INVALSI) Miglioramento dell organizzazione scoalastica (Indire)

4 Gli obiettivi inerenti al miglioramento nel progetto VSQ: Progettare e sperimentare un modello di miglioramento coerente con il quadro di riferimento utilizzato per la valutazione e con i modelli nazionali ed internazionali di valutazione e miglioramento; Creare un modello di accompagnamento alle scuole per attivare azioni di autoanalisi e miglioramento alla luce delle valutazioni esterne ricevute. Identificare e formare figure che possano seguire e accompagnare le scuole nella pianificazione e realizzazione delle attività di miglioramento;

5 Obiettivo primario: Incrementare le competenze di elaborazione e gestione operativa di progetti per il miglioramento della performance all interno delle organizzazioni scolastiche.

6 La sperimentazione di un modello che: Utilizza i dati della valutazione esterna per attivare processi di riflessione; Sfrutta una modalità di accompagnamento esterno per facilitare l attivazione di processi di miglioramento;

7 Due modelli di riferimento per migliorare 1. CAF(Common Assessment Framework) 2. DASI (Dynamic Approach to School Improvement). Aspetti condivisi: tutti gli elementi considerati nel modello di miglioramento hanno un impatto reciproco l uno sull altro; il miglioramento della qualità dell offerta formativa e degli apprendimenti degli studenti sono l obiettivo primario da raggiungere per l organizzazione stessa.

8 CAF:strumenti manageriali che aiutano a gestire la qualità dell intera organizzazione Si è ripreso: il lessico; gli strumenti; l ispirazione ai principi del Total Quality Management (TQM) il miglioramento continuo dell organizzazione; il coinvolgimento del team di vertice nella programmazione e progettazione del miglioramento;visione e missione dell organizzazione.

9 Il ciclo PDCA (Plan-Do-Check-Act) (Deming,1986).: un metodo di lavoro 1. Chiara definizione degli obiettivi da raggiungere (Fase P, Plan- Pianificazione ); 2. Esecuzione delle attività pianificate (Fase D, Do- Esecuzione ); 3. Verifica del risultato della pianificazione ed esecuzione, sulla base dei riferimenti scelti (obiettivi, confronti con gli altri). (Fase C Check- Verifica ); 4. Eventuali correzioni, miglioramenti, stabilizzazione sui nuovi livelli di performance (Fase A, Act-Azioni ).

10 DASI 1. I progetti di miglioramento: la funzione primaria della scuola è l apprendimento degli studenti. 2. Obiettivi del miglioramento chiari e condivisi per poter influire sia sull insegnamento sia sull apprendimento. 3. I dati della valutazione: fonti utili per l individuazione delle priorità di miglioramento.

11 DASI 4. La progettazione delle azioni di miglioramento svolta sulla base di obiettivi condivisi all interno della scuola; 5. Monitoraggio durante le azioni di miglioramento, attraverso azioni di valutazione. 6. Valutazione finale che possa essere utilizzata per la creazione di nuovi piani di miglioramento.

12 Interventi finalizzati a migliorare prevalentemente: La qualità dell insegnamento a livello di scuola e di classe; gli aspetti legati agli ambienti di apprendimento all interno della scuola.

13 Si sposta l attenzione dal prodotto (risultati) al processo (su cosa intervenire per migliorare) Indispensabile il rapporto tra la valutazione ed il decision making (Allulli, 2012)

14 Un modello di intervento (Creemers & Kyriakides, 2012) Attori della scuola (Dirigente, DSGA, Ins., Ata, Stud, Genitori) Gruppo di supporto al miglioramento 1. Condividere a diversi livelli l importanza nel miglioramento della promozione degli apprendimenti degli studenti ; 2. Condividere a diversi livelli l importanza dei fattori a livello di scuola associati con gli apprendimenti; 3. Condurre processi di autoanalisi interni: raccogliere dati; analizzare dati identificare le priorità del miglioramento. 4. Progettare strategie di miglioramento e piani di azione (Piano di miglioramento). 5. Monitorare il miglioramento; 6. Misurare l impatto del miglioramento: valutazione

15 La struttura dell intervento indire Tutor Gruppi esperti di supporto Ambiente di collaborazione online Scuola

16 Le figure coinvolte

17 TEAM PER IL MIGLIORAMENTO (TPM) Ha la responsabilità della scelta delle piste di miglioramento e dell organizzazione dei progetti da avviare all interno della scuola. Facilita la pratica condivisa della collaborazione Aiuta la crescita e la diffusione all'interno della scuola la cultura del cambiamento e del miglioramento

18 TUTOR Figura che ha l obiettivo di seguire i processi messi in atto dalla scuola e di intervenire attraverso un supporto dinamico che si adatta via via ai cambiamenti ed alle necessità che si presentano (Creemers e Kyriakides 2012 ).

19 Un modello tra Mentor "natura direttiva fornisce indicazioni precise sulle modalità con le quali agire Coach svolge un'attività più riflessiva, stimolando e promuovendo, nel docente suo pari, un processo di auto-consapevolezza (Panayoutu, 2012).

20 IL DIRIGENTE SCOLASTICO UNA LEVA FONDAMENTALE PER L AUTOVALUTAZIONE ED IL MIGLIORAMENTO E la figura che guida il processo di miglioramento nella propria scuola: agisce sulle decisioni da prendere e sull orientamento; comprende le potenzialità ed i limiti della scuola; da motivazione ai docenti durante il percorso verso il cambiamento.

21 IL GRUPPO DI ESPERTI DELL INDIRE Esperti provenienti dal mondo della scuola e dell Università (Dirigenti scolastici, docenti, ricercatori) Divisi in piccoli gruppi rispettando le sezioni del report di valutazione Supporto alle scuole che lo richiedano Forniscono: competenze metodologiche ed esperienza tecnica modalità di accompagnamento per le strategie e i piani di azione che la scuola vorrà sviluppare (DASI the Dynamic Approach to School Improvment)

22 GLI ESPERTI ED IL TUTOR : Lettura ed interpretazione dei bisogni della scuola da parte del Tutor insieme al TdM, in un processo di coaching alla pari; Identificazione del gruppo di esperti più idoneo a fornire una risposta alla problematica emersa, sulla base delle aree affrontate nel miglioramento; Progettazione congiunta degli interventi; Supervisione da parte del Tutor della realizzazione degli interventi.

23 Ciclo continuo del miglioramento

24 Autoanalisi: Maggio-Giugno 2012 Prima del primo incontro in presenza : - la scuola riceve da INDIRE tutta la documentazione che la riguarda (rapporto e 5 allegati) - il tutor studia la documentazione relativa alle scuole di sua competenza (in genere 3) Il tutor e il DS concordano la data del primo incontro.

25 Autoanalisi: Maggio-Giugno 2012 Primo incontro in presenza: Condivisione dell idea di miglioramento Presentazione delle fasi del percorso di miglioramento (tempi e strumenti proposti) analisi del rapporto e delle piste proposte dal Rapporto di valutazione presentazione della griglia di autovalutazione

26 Autoanalisi: Maggio-Giugno 2012 On line: Le scuole sono invitate a partire da maggio iscrivere i componenti del TpM sulla piattaforma INDIRE per la collaborazione on line - Discussione e confronto nella classe virtuale - Apertura dei forum con gli esperti

27 Maggio- Giugno 2012 Piano di miglioramento Secondo incontro in presenza: Identificazione delle criticità e delle potenzialità Individuazione delle priorità secondo i criteri di scelta condivisi Presentazione della struttura del piano di Miglioramento (PDM) e sua implementazione

28 Azioni di miglioramento Settembre 2012 Ottobre 2012 Terzo incontro in presenza Conferma o modifica del Piano di Miglioramento alla luce della Lettura Critica dei PdM effettuata da Università Bicocca e dei cambiamenti nell organizzazione.

29 Azioni di miglioramento Ottobre-Dicembre 2012 Quarto incontro in presenza Avvio delle azioni di miglioramento e controllo della condivisione nella scuola; Coordinamento per la realizzazione degli interventi.

30 Azioni di miglioramento Settembre 2012 Aprile 2013 On line: Proseguimento delle attività di discussione e confronto Monitoraggio delle attività svolte dalle scuole

31 Azioni di miglioramento Gennaio-Aprile 2013 Quinto- Sesto incontro in presenza Monitoraggio dei PdM, analisi dei risultati. Azioni di valutazione interna/autovalutazione Compilazione della versione finale del PdM da inserire in Piattaforma. Invio versione finale del PdM ad Indire

32 Il modello VSQ e l azione di accompagnamento esterno Strumenti per stimolare e guidare il processo: La fase di rispecchiamento; Il Piano di Miglioramento; L avvio delle azioni di miglioramento

33 La centralità della fase di rispecchiamento Riflessione critica sui risultati della valutazione; Processo di autonalisi guidata a partire dai dati; Momento di condivisione degli obiettivi del miglioramento

34 Esempio di strumento Per ogni punto viene chiesto di esprimersi attraverso questi valori: D= Per niente C= Poco B= Abbastanza A= Molto 1-LE CARATTERISTICHE DELLA SCUOLA E LE RISORSE UMANE PUNTI DI FORZA IDENTIFICATI D C B A PUNTI DI DEBOLEZZA IDENTIFICATI

35 Fase 2: I nessi tra i punti di debolezza e quelli di forza identificati I punti di debolezza: alcune tra le criticità individuate sono connesse in qualche modo? Criticità Nessi Area 1 Area 2 Area 3 Area 4 Area 5 Area 6 Area 7

36 5- Le scelte delle piste di miglioramento Tra le piste indicate dal report di valutazione e quelle ritenute strategiche dalla scuola, quali potrebbero essere realizzabili durante il prossimo anno, con un criterio che consideri sia la fattibilità (considerando sia tempi che le risorse disponibili), sia l impatto che l intervento potrebbe avere. Dando un punteggio da 1 a 3 alla fattibilità e all impatto di ciascuna pista, si può ipotizzare un criterio di priorità. Nei punteggi si può considerare i punteggi come: 0= nullo 1= poco 2= abbastanza 3=alto Fattibilità * Impatto =Priorità Piste individuate Fattibilità Impatto Priorità

37 Le sezioni del Piano di Miglioramento Lo scenario di riferimento: elementi utili; Composizione del Team per il miglioramento; L idea guida, la strategia del PdM «La strategia è la riflessione di insieme che orienta la scelta degli obiettivi e che indica le modalità con le quali l amministrazione intende perseguirli» (delibera 112/2010 p.12).

38 Per ciascun progetto di quelli scelti Titolo; Responsabile del progetto; Azioni da svolgere; Modalità di monitoraggio; Modalità di valutazione e diffusione.

39 Complessivamente in fase finale Risultati attesi e rilevati; Budget del PdM e sviluppi futuri;

40 Spunti di riflessione per la revisione del piano e l avvio delle azioni di miglioramento La revisione e l avvio delle azioni del Piano di Miglioramento Sono state scelte le priorità sulla base dell efficacia e della fattibilità? Nessuna definizione delle priorità delle azioni di migliorame nto o dell adozio ne di criteri di determinaz ione delle priorità. Alcune evidenze di definizione delle priorità delle azioni di migliorament o, ma i criteri non sono chiari o coerenti. Buone evidenze di definizione delle priorità delle azioni di miglioramento, sulla base di criteri definiti e coerenti. Chiare evidenze di definizione delle priorità delle azioni di miglioramento, sulla base di criteri definiti e coerenti. I criteri di definizione delle priorità sono documentati e prendono in considerazione l impatto sulla strategia e sugli obiettivi dell organizzazion e, e la fattibilità delle azioni. Forti evidenze di definizione delle priorità delle azioni di miglioramento sulla base di criteri definiti e coerenti. L analisi delle azioni possibili, i criteri di determinazione delle priorità e le valutazioni sono documentate e prendono in considerazione una valutazione quantizzata dell impatto sulla strategia e sugli obiettivi dell organizzazione, e la fattibilità delle azioni.

41 Strumenti per il monitoraggio del progetto per gli attori coinvolti Diario dei tutor Report degli esperti;

42 Esempio pagina diario dei tutor Ambiti Azioni Quando Come è andata? Rapporto con la scuola Riunioni in presenza del TPM Contatti on-line Si veda scheda apposita Contatti telefonici Incontri con il DS Altro Rapporto con gli esperti Incontri in presenza Contatti on-line Si veda scheda apposita Azioni specifiche previste dal progetto di miglioramento 1

43 L indagine interna del progetto Aprile-Maggio 2012: osservazione degli interventi dei forum in piattaforma online e somministrazione di un questionario online ai Dirigenti scolastici; Giugno-Luglio 2012: analisi delle piste di miglioramento suggerite nei Rapporti di valutazione delle equipe esterne e comparazione con quelle scelte dalle scuole nei Piani di Miglioramento; focus group con un campione di Dirigenti. Agosto 2012: lettura critica dei Piani di Miglioramento da parte dell Università Bicocca di Milano e stesura di report di restituzione singoli per ciascuna scuola;

44 Dicembre- Gennaio 2012/2013: incontri provinciali con i Dirigenti scolastici e con i tutor; analisi dei report scritti dagli esperti del progetto che hanno effettuato incontri nelle scuole. Aprile 2013: Valutazione ex post del progetto attraverso la lettura finale dei Piani di Miglioramento e un questionario on-line somministrato ai Team di miglioramento. Sono stati inoltre analizzati i diari dei tutor compilati durante l anno di accompagnamento e sono state intervistate a campione delle scuole segnalate come buone pratiche dai tutor stessi.

45 Gli indicatori indagati nel monitoraggio Il miglioramento scolastico; L accompagnamento ricevuto; La progettazione del miglioramento: il Piano di Miglioramento.

46 Nella fase di progettazione del Piano di Miglioramento

47 Rapporti di Valutazione: Le Piste di miglioramento individuate (dato nazionale) 84 90% 80% 70% 63% 60% 49% 50% 40% 27,3% 28,5% 30% 20% 10% 1,3% 0%

48 Analisi delle piste nei Piani di Miglioramento Azioni di miglioramento individuate (dato nazionale) 80,00% 70,00% 73,1% 67,1% L'utilizzo degli spazi e le risorse materiali I processi in atto tra scuola e territorio 60,00% La progettazione 50,00% La capacità di sostenere il miglioramento I risultati 40,00% 30,00% 20,00% 11,9% 16,4% 22% 10,00% 0,00%

49 Che cosa pensano i dirigenti delle scuole VSQ (1) Il miglioramento scolastico ha bisogno di: coinvolgere di tutto il personale della scuola; dare garanzie di continuità nel tempo (poco tempo in VSQ); far partecipare i genitori alla individuazione degli obiettivi di miglioramento; avere un quadro di sfondo preciso; avere un maggiore livello di collegialità e collaborazione; individuare prima di tutto identità ed obiettivi dell istituto scolastico; Verificare costantemente i risultati.

50 Che cosa pensano i dirigenti delle scuole VSQ (2) Le caratteristiche dell azione di accompagnamento: disponibilità costante del tutor; rapporto alla pari; Importanza del ruolo terzo rispetto al contesto scolastico; tempo a volte non sufficiente per attivare correttamente i processi.

51 Che cosa pensano i dirigenti delle scuole VSQ (3) Il piano di miglioramento: il rispecchiamento è un processo utile che ha coinvolto i team di miglioramento; struttura del PdM: sistematico, rigoroso e analitico, ma poco focalizzato sulla scuola. tempo insufficiente per l elaborazione del PdM rispetto ai tempi della scuola;

52 Che cosa pensano i tutor delle scuole VSQ nei forum on-line (1) Il processo di accompagnamento: Miglioramento nuova realtà in molte scuole; Importanza della presenza del dirigente come guida del miglioramento; Importanza della collaborazione attiva del team di miglioramento all interno della scuola; Buona disponibilità delle scuole se non atteggiamenti di difesa.

53 La rilettura critica dei Piani di miglioramento: Università degli studi La Bicocca

54 77 Piani di Miglioramento analizzati: 14 Provincia di Arezzo (18,2%), 5 Provincia di Mantova (6,5%); 20 Provincia di Pavia (25,9%); 38 provincia di Siracusa (49,4%).

55 Dalla lettura dei PdM da parte del team Università Bicocca

56 Dalla lettura dei PdM da parte del team Università Bicocca

57 La valutazione dell avvio delle azioni dei PdM

58 Dagli incontri provinciali di novembre-gennaio I dirigenti: Progetto utile per incrementare la cultura della valutazione e del miglioramento; Utilità del processo di rispecchiamento Buon accompagnamento del tutor; Necessità di maggiore interazione con gli esperti; Necessità di allargare i tempi e snellire gli strumenti di monitoraggio. I tutor: Progetto utile per incrementare la cultura della valutazione e del miglioramento; Importanza del ruolo del DS nel progetto; Utilità degli strumenti forniti per la progettazione e la revisione del PdM; Necessità di maggiore interazione con gli esperti; Necessità di allargare i tempi e snellire gli strumenti di monitoraggio;

59 punto di forza punto di debolezza Valutazione progetto nelle scuole-tutor non risposta Dati rilevati su un campione di 39 scuole

60

61 La valutazione finale dei team di miglioramento

62 RISPOSTE AI QUESTIONARI SOTTOPOSTI AI TEAM DI MIGLIORAMENTO DELLE SCUOLE

63 Composizione team di miglioramento Numero membri del team: da un massimo di 30 ad un minimo di 3 componenti

64 Provincia di appartenenza TpM 44% 21% 35% Mantova-Pavia, 200 persone Arezzo, 118 persone Siracusa, 252 persone

65 Ruoli specifici membri dei team Altro 83 Referente dipartimento/area disciplinare 49 Funzione strumentale 199 DSGA 32 Docente vicario 52 Docente 116 Dirigente 39

66 Quanto spesso si riuniva il Team di Miglioramento 37% 15% 48% Meno di una volta al mese Circa una volta al mese Più di una volta al mese

67 Incontri effettuati dai Team tra aprile 2012 e aprile % 34% 5% 37% Tra 1 e 6 incontri Tra 6 e 12 incontri Tra 12 e 18 incontri Più di 18 incontri

68 Team che hanno incontrato almeno una volta il collegio docenti No Sì No Sì Team che si sono ritrovati in modo completo

69 Partecipazione DS agli incontri No 97 Sì 471 Partecipazione DSGA agli incontri No 360 Sì 207

70 Soddisfazione del rapporto con il Tutor Per niente Poco Abbastanza Del tutto

71 Quanto ha ritenuto necessario l'accompagnamento del tutor nel corso del progetto? 0% 4% 31% PER NIENTE POCO ABBASTANZA 65% DEL TUTTO

72 Per quali aspetti considera essere stato utile l'intervento del tutor? 3% Supporto metodologico 20% 30% Supporto scientifico 41% 2% 4% Facilitazione relazioni interne Facilitazione nella realizzazione del PdM Per l'impostazione del monitoraggio Altro

73 Quali sono gli eventuali aspetti di criticità nell'operato del tutor? Difficoltà di comunicazione 7 Mancanza di competenze Eccessiva VICINANZA territoriale Eccessiva DISTANZA territoriale 38 Mancanza di continuità/tempo 263 Nessuna criticità 183 Altro

74 Quanto ha ritenuto necessario l'intervento degli esperti? PER NIENTE POCO ABBASTANZA DEL TUTTO

75 Per quali aspetti considera essere stato utile l'intervento degli esperti? Supporto metodologico 272 Supporto scientifico 139 Facilitazione nella realizzazione del PdM 99 Per l'impostazione del monitoraggio 135 Esperto non richesto o non intervenuto 82 Altro

76 Quali sono gli eventuali aspetti di criticità nell'operato dell'esperto? Difficoltà di comunicazione Mancanza di competenze Eccessiva vicinanza territoriale Mancanza di continuità/tempo 321 Nessuna criticità 93 Altro

77 Altri aspetti di criticità riscontrati nel rapporto con l esperto. -Incontro in periodi troppo avanzati del progetto -Distanza territoriale - Scarsa relazione in presenza

78 E' soddisfatto delle relazioni che si sono create all'interno del team di miglioramento? PER NIENTE POCO ABBASTANZA DEL TUTTO

79 Ritiene che i progetti di miglioramento siano stati condivisi all'interno dell'organizzazione scolastica? DEL TUTTO 162 ABBASTANZA 367 POCO 34 PER NIENTE

80 Ritiene che i progetti di miglioramento siano stati realizzati in modo efficace? 97% SI NO 3%

81 Ritiene che il progetto VSQ abbia contribuito a creare una cultura della valutazione e del miglioramento all interno della scuola? 5% 95% SI NO

82 Quali figure le sembrano più utili per accompagnare il miglioramento dell'organizzazione scolastica dall'esterno? La figura del tutor Gli esperti indicati da INDIRE,INVALSI, MIUR Il tutor e gli esperti

83 Grazie per l attenzione m.faggioli@indire.it