per PRAGMA Leni Avataneo, Danilo De Candido, Gaetano Fasano, Oliver La Rocca, Ivan Madau, Dario Sterpa, Simonetta Privitera, Gianfranco Zucca

Transcript

1

2 La presente opera è stata realizzata nell ambito degli affidamenti del PON FSE Competenze per lo sviluppo [Asse I - Obiettivo B - Azione 10] con i progetti: PON Educazione linguistica e letteraria in un ottica plurilingue [codice B-10-FSE ] PON Educazione scientifica [codice B-10-FSE ] PON Lingua, letteratura e cultura in una dimensione europea [codice B-10-FSE ) PON Matematica (m@t.abel) [codice B-10-FSE ] Gruppo di lavoro per INDIRE Coordinatrici di Area Caterina Orlandi Maria Chiara Pettenati Capo progetto PON Educazione linguistica e letteraria in un ottica plurilingue Loredana Camizzi Capo progetto PON Educazione scientifica Serena Goracci Capo progetto PON Lingua, letteratura e cultura in una dimensione europea Valentina Toci Capo progetto PON Matematica (m@t.abel) Massimiliano Naldini Gruppo di progetto Maria Bettini Rachele Borgi Laura Coscia Francesca De Santis Laura Messini Francesco Perrone Ufficio Gestione della Programmazione Unitaria 2007/2013 Samuele Calzone (Capo progetto) Claudia Chellini Nicola Malloggi Sistemi informativi Luca Bassani Gianmarco Bei Enrico Cauteruccio Beatrice Miotti Coordinamento d immagine Gabriele Pieraccini per PRAGMA Leni Avataneo, Danilo De Candido, Gaetano Fasano, Oliver La Rocca, Ivan Madau, Dario Sterpa, Simonetta Privitera, Gianfranco Zucca Il servizio di monitoraggio (CIG: B46) è stato curato da Gianfranco Zucca (PRAGMA). INDIRE Istituto Nazionale di Documentazione, Innovazione e Ricerca Educativa via Michelangelo Buonarroti, Firenze (Italia) centralino: (+39) fax centrale: (+39) Settembre 2014 Copyright 2014 INDIRE I contenuti della presente opera sono protetti da copyright; ogni loro utilizzo, totale o parziale, deve essere preventivamente autorizzato. 1

3 Indice 1. Introduzione Scenario Le azioni previste dal Programma Operativo L oggetto del monitoraggio: l azione B Modello Definizione del perimetro di monitoraggio Domande e bisogni Revisione del modello Il contesto di programmazione dell azione B Identificazione dei criteri di monitoraggio Matching dei criteri con le dimensioni e gli ambiti di monitoraggio Metodologia Il disegno di monitoraggio Azioni QUAN: fonti, metodi e strumenti Record linkage archivi INDIRE Indagini CAWI su corsisti, tutor ed ex corsisti IL QUESTIONARIO PER I CORSISTI E I TUTOR DELL A.S. 2012/ IL QUESTIONARIO PER GLI EX CORSISTI Azioni QUAL: fonti, metodi e strumenti Focus group con docenti-corsisti e tutor CRITERI DI COMPOSIZIONE DEI GRUPPI E RECLUTAMENTO DEI PARTECIPANTI TECNICHE DI CONDUZIONE E FACILITAZIONE DELLA DISCUSSIONE LA GRIGLIA DI CONDUZIONE DEI GRUPPI Interviste focalizzate DS sedi presidio CRITERI DI SELEZIONE DEGLI INTERVISTATI TRACCIA D INTERVISTA Interviste focalizzate DS sedi di servizio CRITERI DI SELEZIONE DEGLI INTERVISTATI TRACCIA D INTERVISTA Monitoraggio QUAN Premessa Il record linkage degli archivi amministrativi INDIRE La dimensione strutturale: le scuole Le attività formative: le classi Le caratteristiche dei docenti corsisti IL PROFILO SOCIO-PROFESSIONALE L INTERRUZIONE DEL PERCORSO FORMATIVO L ATTIVITÀ ONLINE: I DATI DEL SISTEMA TOL I tutor LE CARATTERISTICHE SOCIO-PROFESSIONALI DEI TUTOR I TUTOR E LA GESTIONE DELL AMBIENTE FORMATIVO ONLINE L indagine CAWI sui corsisti 2012/

4 4.3.1 La partecipazione al monitoraggio: le caratteristiche di complier e non complier Il background professionale e le esperienze formative pregresse Le motivazioni in ingresso e la comunicazione istituzionale La soddisfazione formativa: il punto di vista dei corsisti attraverso un modello multidimensionale L ORGANIZZAZIONE DEI CORSI PON: LOGISTICA E SUPPORTO LA STRUTTURA DEL MODELLO FORMATIVO LA QUALITÀ DEI CONTENUTI LA QUALITÀ DEGLI ESPERTI IL TUTORAGGIO GLI STRUMENTI DIDATTICI Funzionalità e ricaduta della formazione UN BILANCIO DELL ESPERIENZA FORMATIVA LE OPIONIONI SULLA RICADUTA DIDATTICA PROSPETTIVE DI MIGLIORAMENTO E RADICAMENTO DELL ESPERIENZA PON La soddisfazione formativa: l applicazione del modello Vin.For BASIC PERFORMANCE INDICATORS SWOT ANALYSIS LA SEGMENTAZIONE DELL UTENZA DELLA FORMAZIONE L indagine di ritorno sugli ex corsisti Caratteristiche tecniche della rilevazione Il profilo demografico e professionale degli ex corsisti PON La soddisfazione formativa Il precipitato didattico dell esperienza PON Il punto di vista dei tutor Motivazioni e opinioni sul supporto ricevuto La valutazione del modello formativo La funzione di tutoring L uso degli strumenti digitali di comunicazione La percezione dell efficacia formativa Tabelle indagine CAWI tutor PON 2012/ Motivazioni, soddisfazione e percezione dei risultati: uno sguardo d assieme agli attori della formazione PON Monitoraggio QUAL Premessa I focus group con docenti e tutor Bari, 15 novembre 2013: gruppo di discussione Educazione scientifica Napoli, 21 novembre 2013: gruppo di discussione m@t.abel Cosenza, 22 novembre 2013: gruppo di discussione Educazione linguistica e letteraria in un ottica plurilingue Catania, 10 febbraio 2014: gruppo di discussione Lingua, letteratura e cultura in una dimensione europea (Italiano) Napoli, 24 febbraio 2014: gruppo di discussione Lingua, letteratura e cultura in una dimensione europea (Lingue straniere) Le interviste ai Dirigenti scolastici I Dirigenti scolastici delle scuole presidio L AGGIORNAMENTO PROFESSIONALE DEI DOCENTI E L INNOVAZIONE DIDATTICA I PROGETTI SPERIMENTALI FINANZIATI ATTRAVERSO I PON I RAPPORTI CON INDIRE E IL SUPPORTO RICEVUTO NELLA FASE DI AVVIO DEL PROGETTO LE STRATEGIE PER INCENTIVARE LA PARTECIPAZIONE AI CORSI L ORGANIZZAZIONE DELLE ATTIVITÀ FORMATIVE IL RUOLO DEL TUTOR E IL RAPPORTO CON I CORSISTI IL RADICAMENTO SUL TERRITORIO DELL APPROCCIO PON LA LETTURA PER CRITERI DI MONITORAGGIO DELLE INTERVISTE AI DS DELLE SCUOLE PRESIDIO I Dirigenti scolastici delle scuole sedi di servizio COMUNICAZIONE E PROMOZIONE DEI CORSI PON

5 RAPPORTI CON I SOGGETTI ISTITUZIONALI E CON LA SCUOLA PRESIDIO SUPPORTO E RELAZIONI CON I DOCENTI CORSISTI RICADUTE DIDATTICHE RICADUTE DI SISTEMA IL RADICAMENTO SUL TERRITORIO DELL APPROCCIO PON LA LETTURA PER CRITERI DI MONITORAGGIO DELLE INTERVISTE AI DS DELLE SEDI DI SERVIZIO Una sintesi dei risultati del monitoraggio QUAL Sintesi Guida alla lettura dei risultati di sintesi del monitoraggio Classificazione per criteri degli indicatori di monitoraggio Un analisi SWOT dell azione B Allegati Rilevazione QUAN Questionario indagine corsisti 2012/2013 Questionario indagine tutor 2012/2013 Questionario ex corsisti Rilevazione QUAL Griglia di conduzione focus group Traccia di intervista focalizzata DS scuole presidio Traccia di intervista focalizzata DS sedi di servizio 4

6 1. Introduzione 1.1 Scenario La scelta di dedicare una parte consistente delle risorse offerte dai Fondi strutturali al miglioramento delle competenze degli operatori dell education rispecchia una concezione sistemica dell apprendimento. I problemi che interessano il mondo dell istruzione non possono essere affrontati senza un intervento che coinvolga in modo trasversale tutti gli attori significativi all interno dei processi educativi. Ad esempio, è ampiamente riconosciuto come la dispersione scolastica sia un fenomeno complesso e multidimensionale, con conseguenze che possono essere contrastate intervenendo non solo sul fronte della didattica, ma anche del contesto sociale, culturale ed economico. Il miglioramento delle performance del sistema educativo italiano passa, quindi, per interventi in grado di sollecitare, con la medesima intensità, tutti gli attori dei processi educativi. Un ruolo fondamentale nel processo di sviluppo del sistema educativo è svolto dal personale docente. Su questo fronte la situazione italiana evidenzia una serie di ritardi. Il progressivo e costante invecchiamento del personale docente pone, con forza, il problema della formazione continua. Questa considerazione generale è ancor più valida se si tiene conto dei mutamenti prodotti nella società, soprattutto dalle tecnologie. L adeguamento delle competenze professionali del corpo docente è una priorità, come e quanto la lotta alla dispersione scolastica. A ben vedere, le intersezioni tra i due temi sono molte. Tenere a scuola i giovani, supportare il successo formativo, progettare percorsi di istruzione in linea con le esigenze del mercato del lavoro sono obiettivi che chiamano in causa la capacità degli insegnanti di interessare, coinvolgere, orientare gli studenti. Si tratta di una sfida di non poco conto, resa ancor più difficile da un altro elemento problematico. Secondo i dati OCSE, in Italia, si riscontrano delle carenze nella formazione iniziale e continua degli insegnanti. Ciò è dovuto al fatto che la formazione terziaria specialistica volta a preparare i futuri docenti all insegnamento è stata avviata solo di recente: il 1999 rappresenta una sorta di spartiacque. Con l avvio dei primi corsi SISS e l inaugurazione dei percorsi universitario in Scienze dell educazione. In pratica, la formazione universitaria e post universitaria dei docenti è stata avviata dieci anni dopo l introduzione della Legge 341/90 sulla riforma degli ordinamenti didattici universitari. Questa dinamica istituzionale ha fatto sì che fra i docenti abilitati in servizio circa la metà sia in possesso del diploma di scuola secondaria. Numericamente poco rilevante è la quota di docenti che ha conseguito un titolo di specializzazione post laurea, cioè sia stato formato oltre che sulle discipline di insegnamento, anche sulla didattica disciplinare e la pedagogia 1. Questa situazione aggrava, nei confronti degli altri Paesi, il problema della formazione in servizio dei docenti. 1.2 Le azioni previste dal Programma Operativo La situazione evidenziata dagli indicatori OECD per il 2012 ha dunque radici profonde. Difatti, già in sede di programmazione della destinazione delle risorse dei Fondi strutturali, le Autorità di programmazione avevano individuato nei docenti una direttrice di spesa significativa. È in questo contesto che nascono i progetti di formazione PON per docenti, inseriti nelle attività previste dal Programma Operativo Nazionale Competenze per lo sviluppo (a cofinanziamento FSE) e mirati alla formazione degli insegnanti delle scuole secondarie del primo e del secondo ciclo. Le azioni hanno riguardato l aggiornamento e il rafforzamento delle competenze rispetto alla didattica dell italiano, della matematica, delle lingue, delle scienze. I fondi, erogati alle scuole dal Ministero dell'istruzione dell'università e della Ricerca, intendevano sostenere l innovazione e la qualità del sistema scolastico nelle quattro regioni dell Obiettivo 1 Cfr. OECD, Education at a Glance: OECD Indicators 2012, ITALY, Country note, Paris, 2012, %20Country%20note%20-%20Italy.pdf. 5

7 Convergenza, ossia in quelle aree del Paese dove le performance del sistema educativo sono inferiori. Il PON Competenze per lo sviluppo è un programma che ha posto obiettivi specifici di grande rilievo, per lo più incentrati sul nesso tra competenze delle personale scolastico e successo formativo. Per meglio comprendere la ratio del programma è sufficiente scorrerne gli obiettivi specifici: sviluppare la capacità diagnostica e i dispositivi per la qualità del sistema scolastico; migliorare le competenze del personale della scuola e dei docenti; accrescere la diffusione, l accesso e l uso della società dell informazione nella scuola; migliorare i sistemi di apprendimento durante tutto l arco della vita; sviluppare reti tra gli attori del sistema recependo le istanze del territorio; migliorare i livelli di conoscenza e competenza dei giovani; promuovere il successo scolastico, le pari opportunità e l inclusione sociale. L aggiornamento in servizio dei docenti non risponde solo a esigenze professionali individuali, ma viene visto come una leva per migliorare il funzionamento del sistema nel suo complesso. La logica è del tipo micro-macro: la formazione continua dei docenti, declinata in termini di sviluppo delle competenze didattiche e di capacità di interazione con le tecnologie della comunicazione, a livello aggregato, produce un miglioramento della qualità del sistema. In modo più semplice, quasi banale, se migliorano gli insegnanti, migliora anche la scuola. Chiudendo il ragionamento, se migliora la scuola cresce il successo scolastico e si incrementano le competenze degli studenti. Le proposte di formazione in servizio sviluppate da INDIRE si inseriscono in questa logica, cercando di incidere sul modo di fare scuola dei docenti. Gli insegnanti, attraverso l esperienza PON, hanno l occasione di sperimentano nuovi contenuti, metodologie e approcci didattici. I corsi, che si sviluppano durante l anno scolastico, prevedono un programma di progettazione, supporto e riflessione dell attività d aula. I corsisti, guidati da docenti esperti (tutor), sono aiutati nel programmare e sviluppare l intero curriculum, o parti di esso, sulla base di unità didattiche innovative, corredate di strumenti per il supporto, l individualizzazione dell apprendimento e la verifica delle competenze acquisite. Un momento fondamentale nel modello proposto è la sperimentazione con gli studenti. Le reazioni, le difficoltà dei ragazzi, così come le strategie per superarle, sono oggetto di riflessione fra pari nei gruppi di docenti della classe presso il presidio e online. 1.3 L oggetto del monitoraggio: l azione B10 L obiettivo B del PON Competenze per lo sviluppo prevede il miglioramento delle competenze del personale e della scuola. Tra le diverse azioni previste, la B10 Progetti nazionali con Formazione a Distanza (FAD), è basata sull adesione degli istituti scolastici a un piano nazionale di formazione dei docenti sulle competenze di base. Quest'azione mira a favorire lo sviluppo professionale dei docenti per innovare la didattica e migliorare la qualità dell'offerta di apprendimento per gli allievi. Nella documentazione tecnica del MIUR si descrive l approccio e l articolazione dei progetti: Le proposte di formazione adottano la metodologia della ricerca-azione col fine di accompagnare concretamente il docente nell adozione in classe dei nuovi contenuti e nella sperimentazione di nuovi strumenti e metodologie educative. [ ] I corsi di formazione nazionale B10 durano in media per tutto l anno scolastico distribuendo un numero limitato di incontri in presenza su un arco di tempo di almeno 6 mesi. L impegno didattico è suddiviso fra un monte ore di attività in presenza (da 20 a 30 ore a seconda del corso comportanti da un minimo di 6 a un massimo di 10 incontri) e ore complementari di attività online e studio individuale. La rilevazione delle presenze e un sistema di tracciamento delle attività online e della produzione delle ore di studio individuale consentono il pieno riconoscimento dell impegno dei corsisti che sono peraltro tenuti alla partecipazione attiva, alla 6

8 sperimentazione nelle loro classi, alla documentazione delle attività e alla riflessione sull impatto della sperimentazione sullo sviluppo di competenze da parte dei loro studenti. I corsisti che abbiano partecipato ad almeno il 75% delle attività (sia in presenza che online) e assolto a tutte le consegne di lavoro ricevono un attestato che certifica la loro formazione 2. Nelle prossime pagine si presentano i risultati del monitoraggio relativo all A.S. 2012/2013 rispetto a quattro progetti di formazione disciplinare promossi e gestiti da INDIRE nell ambito del PON Competenze per lo sviluppo. Nello specifico i progetti sono: PON Educazione linguistica e letteraria in un ottica plurilingue [B-10-FSE ]. Il progetto mira all'accrescimento delle competenze sia disciplinari sia metodologiche nell'ambito dell'educazione linguistico-letteraria. L'offerta prevede azioni indirette relative all'innovazione dei processi di insegnamento/apprendimento e centrate sullo sviluppo di una competenza linguistica generale e plurilingue sulla base del Quadro Comune Europeo di Riferimento per le lingue (QCER). L offerta formativa è costituita da 13 aree tematiche che affrontano i nodi-chiave dell educazione linguistico-letteraria con un approccio trasversale e plurilingue. Ogni area offre al docente la possibilità di scegliere tra diversi itinerari costituiti da materiali di studio, percorsi di formazione, risorse online e progetti da sperimentare in classe. La connessione fra teoria e pratica è continua e concepita per favorire i docenti nell elaborazione in autonomia di soluzioni pedagogico-didattiche adeguate ai bisogni dei propri allievi 3. PON Lingua, letteratura e cultura in una dimensione europea [B-10-FSE ]. Attivo a partire dall'a.s. 2009/2010, il progetto mira al rinnovamento e il miglioramento dell'insegnamento-apprendimento dell'educazione linguistica sia per la lingua italiana che per le lingue straniere. L oggetto della formazione è da una parte la metodologia dell'insegnamento ed apprendimento della lingua italiana e delle lingue straniere, dall'altra il recupero delle conoscenze disciplinari. L'ambiente di formazione è stato articolato in due aree: area Lingue straniere (dedicata ai corsisti insegnanti di inglese, francese, spagnolo e tedesco della scuola secondaria di 1 grado), ed area Italiano (dedicata ai corsisti insegnanti di italiano della scuola secondaria di 1 grado) 4. PON Matematica (m@t.abel) [B-10-FSE ]. Il progetto offre ai docenti di matematica una formazione professionale sul campo utilizzando diversi strumenti: dalle situazioni didattiche concretamente sperimentate nelle classi ad attività con software dedicati alla didattica della matematica. Le attività proposte, dopo una breve presentazione in incontri in presenza, sono dapprima rese familiari in un ambiente virtuale disponibile e successivamente sperimentate in classe. La metodologia adottata permette agli insegnanti di confrontare le loro esperienze concrete in tempo reale sotto la guida di un tutor e quindi di sperimentare la potenzialità formativa delle attività didattiche proposte nonché l effettiva acquisizione di competenze da parte degli studenti 5. PON Educazione scientifica [B-10-FSE ]. Il modello formativo della proposta elaborata dal PON Educazione scientifica persegue due obiettivi: da un lato, un approfondimento metodologico volto all'acquisizione o al potenziamento di competenze di progettazione didattica da parte dei docenti, dall'altro l approfondimento e l aggiornamento delle conoscenze disciplinari. Per l organizzazione dei contenuti disciplinari, sono stati selezionati dei campi di esperienza sui quali lavorare in modo diretto e progressivamente approfondito 6. 2 Cfr. MIUR, Programma Operativo Nazionale Competenze per lo sviluppo, Obiettivo Convergenza [2007 IT 05 1 PO 007 FSE], Schede di presentazione degli Obiettivi/Azioni attivate, Circolare Prot. AOODGAI/4462 del 31/03/2011, Dipartimento per la Programmazione Direzione Generale per gli Affari Internazionali - Uff. IV - Programmazione e Gestione dei Fondi Strutturali Europei e Nazionali per lo Sviluppo e la Coesione Sociale, Allegato III, p Cfr. AA.VV., Piano editoriale. Educazione linguistica e letteraria in un ottica plurilingue, INDIRE, Firenze, Cfr. AA.VV., Piano editoriale. Lingua, letteratura e cultura in una dimensione europea (aree Italiano e Lingue straniere), INDIRE, Firenze, Cfr. AA.VV., m@t.abel. Matematica per gli studenti alla soglia del terzo millennio, INDIRE, Firenze, Cfr. AA.VV., PON Educazione scientifica. Il piano dell offerta formativa: impianto scientifico e contenuti, INDIRE, Firenze,

9 2. Modello 2.1 Definizione del perimetro di monitoraggio L oggetto dell azione di monitoraggio sono quattro progetti di formazione disciplinare rivolti ai docenti della scuola secondaria. I progetti sono realizzati nelle regioni dell Obiettivo Convergenza INDIRE è il soggetto istituzionale incaricato di coordinare e supportare l attuazione dei progetti. I soggetti incaricati dell attuazione dei progetti sono, invece, le scuole secondarie. Per migliorare la strutturazione territoriale, i progetti prevedono che ci sia un ente (denominato scuola presidio ) a cui fa capo l attuazione, che raggruppa corsisti provenienti da scuole limitrofe. I beneficiari delle azioni di formazione sono i docenti delle scuole. Stakeholder fondamentali sono i Dirigenti scolastici (sia delle scuole presidio sia delle scuole di provenienza dei corsisti) e i tutor di progetto. Questi ultimi hanno il compito di coordinare sul territorio la realizzazione delle attività formative e si interfacciano a scadenze regolari con INDIRE, si tratta spesso di docenti che hanno, nel corso degli anni, acquisito un buona esperienza all interno di questo genere di progetti. Il tratto essenziale della formazione erogata è la metodologia: il blended learning prevede l alternanza di lezioni/attività in presenza e lezioni/attività in modalità computer mediata (online). Tale approccio, oltre a presentare degli ovvi vantaggi organizzativi, offre anche la possibilità di sviluppare attività formative multimediali, collaborative sollecitando e suggerendo ai docenti possibili innovazioni didattiche. Lo scenario appena delineato rimanda a una situazione di formazione formatori con l aggiunta di alcuni elementi di complessità: Cornice istituzionale: la presenza di attori ordinati in modo gerarchico all interno del sistema scolastico (docenti, tutor, Dirigenti scolastici, Dirigenti scuole presidio, rappresentanti INDIRE, funzionari Autorità di Gestione fondi PON) può influire sull autonomia e le scelte degli attori. Cornice burocratica: i progetti sono realizzati grazie ai finanziamenti previsti dal PON Competenze per lo sviluppo , occorre quindi che il monitoraggio sia realizzato in coerenza con le indicazioni per la valutazione delle azioni finanziate con i Fondi strutturali. Occorre poi aggiungere che essendo al termine del periodo di programmazione è necessario tenere conto anche del dibattito sulla valutazione per il periodo Cornice tecnico-operativa: l erogazione della formazione avviene attraverso piattaforme e utilities tecnologiche complesse che possono essere lontane dall esperienza dei beneficiari. In sintesi, lo scenario presenta delle particolarità che necessitano una progettazione esecutiva delle azioni di monitoraggio molto attenta agli elementi di contesto. 2.2 Domande e bisogni L obiettivo dei progetti formativi promossi da INDIRE è migliorare il modo di fare scuola dei docenti, in termini di contenuti, metodologie e approcci didattici. Sulla scorta delle precedenti edizioni del monitoraggio INDIRE ha identificato 5 dimensioni valutative, rispetto alle quali sollecitare gli stakeholder dei progetti (tab. 2.1). 8

10 Tabella Dimensioni e ambiti di valutazione dei progetti di formazione docenti PON DIMENSIONE Aspetti organizzativi e gestionali Struttura ed efficacia del percorso formativo Funzionalità e ricaduta della formazione Ambiente per la collaborazione digitale Radicamento AMBITO Rapporti con INDIRE: formazione iniziale tutor, supporto in itinere, comunicazioni con i DS presidio Informazioni sul percorso PON Organizzazione e gestione da parte della scuola presidio Supporto dei DS delle scuole di provenienza dei corsisti Efficacia del modello blended e delle singole fasi Utilità dei materiali e degli strumenti per la riflessione Qualità dell azione del tutor Composizione delle classi virtuali e relazioni fra i corsisti Valutazioni relative agli aspetti specifici di ogni singolo PON Innovatività, significatività, trasferibilità e dimensione riflessiva della proposta formativa Miglioramento degli apprendimenti e della motivazione degli studenti Partecipazione alle attività online Frequenza d uso, utilità, fruibilità degli strumenti Eventuali difficoltà Reti di docenti sul territorio Ruolo della scuola presidio Documentazione e diffusione Sulla base di queste indicazioni è possibile formulare le domande di fondo dell edizione 2012/2013 del monitoraggio: 1. Quale impatto hanno sulla formazione dei docenti le modalità organizzative dei corsi? 2. In termini di qualità percepita dai corsisti, le caratteristiche tecniche del modello formativo adottato da INDIRE sono funzionali a un esperienza formativa efficace? 3. I progetti formativi realizzati nell ambito del PON offrono ai docenti gli strumenti per sperimentare innovazioni didattiche che abbiano un impatto concreto sull apprendimento dei propri studenti? 4. L ambiente digitale è funzionale allo sviluppo di un esperienza formativa utile e significativa? 5. I progetti PON hanno delle ricadute sulla collaborazione tra i docenti e le scuole coinvolte nell iniziativa? Queste cinque domande rappresentano un punto di partenza obbligato: pur essendo maturate all interno di un modello di valutazione applicato da INDIRE negli ultimi anni, necessitano di essere riformulate e maggiormente articolate, soprattutto perché appaiono troppo centrate sull interno del progetto: non permettono, in pratica, di approfondire in modo adeguato l impatto esterno della formazione docenti. 2.3 Revisione del modello Il monitoraggio dell annualità 2012/2013 dei corsi PON ha adottato un approccio che, pur essendo in continuità con le precedenti edizioni, presenta una differenza sostanziale. La revisione proposta va nella direzione delle indicazioni prospettate all interno del dibattito sulla valutazione dei Fondi strutturali Dal momento che la programmazione è ormai al termine, si è ritenuto necessario operare guardando già al prossimo ciclo, per cui il set di indicatori di monitoraggio è stato pensato considerandolo scenario che caratterizzerà l impiego dei Fondi strutturali nei prossimi anni. Questa scelta ha avuto delle ricadute sul modello di monitoraggio 7 Il riferimento sono i documenti del Ministero per la Coesione Territoriale, cfr. Ministero per la Coesione Territoriale, Metodi e obiettivi per un uso efficace dei fondi comunitari , Documento di apertura del confronto pubblico, Roma, 27 dicembre 2012, in particolare 4.10 Istruzione e formazione (Investire nelle competenze, nell'istruzione e nell apprendimento permanente), 9

11 poiché, in via preliminare, è stato necessario verificare la coerenza del modello in uso con le indicazioni espresse in sede istituzionale ed europea. La prima fase di lavoro, quindi, ha riguardato la revisione del modello di monitoraggio. L attività ha seguito la seguente scansione: a. INDIVIDUAZIONE SET DI INDICATORI IN USO: sulla base di un approfondita analisi della documentazione tecnica, in particolare i precedenti rapporti di monitoraggio, per ciascuno dei 4 progetti di formazione docenti è stato definito il set di indicatori in uso. b. VERIFICA DELLA COERENZA TRA INDICATORI E DOMANDE DI MONITORAGGIO: successivamente è stata verificata la coerenza e l esaustività del set di indicatori in uso rispetto alle domande e ai bisogni di monitoraggio, evidenziando le mancate corrispondenze tra dimensioni e traduzione operativa delle stesse. c. ANALISI SISTEMI INFORMATIVI INDIRE: la terza azione è consistita nello studio della struttura dei sistemi informativi creati a supporto dell erogazione delle attività di formazione docenti. Oltre ai contenuti informativi, si è avuto cura di considerare anche le caratteristiche tecniche dei sistemi informativi: ad esempio, le modalità di aggiornamento, le possibilità di trasformazione delle informazioni, la copertura. d. CONFRONTO CON INDICAZIONI PROGRAMMAZIONE : in una fase successiva, si è verificata la corrispondenza tra il set di indicatori in uso nel monitoraggio INDIRE e le indicazioni espresse sinora rispetto al prossimo ciclo di programmazione. Anche in questo caso, sono state evidenziate le aree di criticità esistenti e, tenuto conto delle disponibilità interne al sistema, le possibili integrazioni. e. REVISIONE STRUMENTI DI RILEVAZIONE: sulla scorta dei bisogni emersi si è poi proceduto a rivedere la struttura informativa e le caratteristiche tecniche degli strumenti di rilevazione usati nelle precedenti edizioni del monitoraggio. Laddove possibile si è cercato di garantire la comparabilità con i risultati degli anni precedenti. f. DEFINIZIONE NUOVO SET DI INDICATORI: al termine di questa fase è stato definito il nuovo set di indicatori per il monitoraggio dei progetti di formazione disciplinare docenti promossi da INDIRE nell ambito del PON g. VERIFICA EX ANTE DELLA CORRISPONDENZA DEL MODELLO CON I CRITERI DI QUALITÀ DELLA VALUTAZIONE (QUADERNI MEANS): da ultimo è stata verificata la corrispondenza tra la proposta elaborata e i primi 4 criteri di qualità della valutazione, indicati nei cosiddetti Quaderni MEANS 8. Nello specifico i quattro criteri che possono essere verificati ex ante sono: 1) Soddisfazione delle richieste; 2) Pertinenza; 3) Adeguatezza del disegno valutativo; 4) Attendibilità dei dati 9. Di seguito si entra nel merito delle azioni funzionali alla ridefinizione del nuovo modello di monitoraggio. Le azioni a carattere tecnico-operativo, come l analisi dei sistemi informativi (punto c) e la revisione degli strumenti di rilevazione (punto e) saranno affrontate nel capitolo 3, nel quale si presentano le scelte metodologiche del monitoraggio Il contesto di programmazione dell azione B10 L Asse I Capitale Umano del PON Competenze per lo sviluppo, obiettivo specifico b) Migliorare le competenze del personale della scuola e dei docenti prevede due obiettivi operativi: i. articolare la formazione in servizio su tre target di utenza Dirigenti scolastici e amministrativi, docenti e personale tecnico e amministrativo; 8 Cfr. MEANS Collection (Means for Evaluating Actions of a Structural Nature), Evaluating socio-economic programmes, volume 6, Glossary of 300 concepts and technical terms, European Commission, Luxembourg: Office for Official Publications of the European Communities, 1999, pp , 9 La soddisfazione dei primi quattro criteri di qualità si presta a essere verificata ex ante; al contrario degli altri quattro criteri [5) Validità dell analisi; 6) Credibilità dei risultati; 7) Imparzialità delle conclusioni e utilità delle raccomandazioni; 8) Chiarezza] che saranno verificati ex post, ossia al termine della valutazione. 10

12 ii. promuovere interventi di formazione in servizio che, oltre ad essere diversificati in base all area di competenza di ciascun target, per il personale docente dovranno prevedere ulteriori opportunità formative attraverso metodologie diversificate e comunque innovative. L innovazione metodologica è dunque la parola dell azione B10. L enfasi sull innovazione didattica è stata evidente anche quando dai documenti di programmazione si è passati ad analizzare i documenti di progetto. Dal materiale messo a disposizione da INDIRE (Rapporti di monitoraggio dei singoli progetti per le edizioni 2009/2010 e 2010/2011, schede e piani editoriali dei corsi, modelli di strumenti di rilevazione) si è evidenziata una forte centratura sulla dimensione didattica delle azioni formative (funzionalità tecniche, soddisfazione rispetto ai contenuti, condivisione dell impianto metodologico). Minore attenzione era invece dedicata agli aspetti operativi (incentivi alla partecipazione, carico amministrativo e burocratico, coinvolgimento e supporto degli stakeholder del sistema scuola). Il passo successivo è stato quello di andare a verificare quali fossero le indicazioni presenti nella documentazione preparatoria del periodo di Programmazione Il punto di riferimento è stato il documento di apertura del confronto pubblico Metodi e obiettivi per un uso efficace dei fondi comunitari , all interno del quale si fa un chiaro riferimento alla validità dell approccio sviluppato con i PON: Nel ciclo di programmazione , nel settore istruzione la politica regionale ha già adottato e messo in pratica una strategia convincente basata su un patrimonio informativo solido, che intende in larga misura confermare, rafforzare, e perfezionare. Le componenti principali e di maggiore successo della politica fin qui condotta sono state il meccanismo degli Obiettivi di Servizio, ed i PON Competenze per lo sviluppo (FSE) e Ambienti per l apprendimento (FESR). Con il Piano d Azione per la Coesione queste esperienze hanno trovato una sintesi e fatto un ulteriore salto di qualità legando più strettamente gli interventi ad una verifica della domanda 10. Sulla scorta di questa indicazione generale si sono presi in considerazione i risultati attesi per l area tematica 10. I risultati dell area Istruzione e Formazione che risultano essere più coerenti con il progetto B10 sono: Diffusione della società della conoscenza nel mondo della scuola e approcci didattici innovativi: il progresso nella direzione auspicata sarà misurato attraverso variabili che esprimano sia l entità delle tecnologie concretamente presenti nelle scuole e disponibili per gli studenti (rapporto studenti computer o altri dispositivi collegati a Internet), sia i livelli di loro concreto utilizzo su cui al momento non esistono indicatori validi. Un ulteriore indicatore possibile utilizza i test sulle competenze digitali degli insegnanti: quota insegnanti che posseggono una certificazione standard, o hanno superato un certo livello di competenza nelle prove finali di un percorso di formazione. Miglioramento delle capacità di autodiagnosi e autovalutazione delle scuole e di innovare la propria didattica adattandola ai contesti: possibile indicatore: quota di scuole che non partecipano a bandi (come quello sulla dispersione); quota scuole che non raccolgono risorse da privati e no-profit (pesata in rapporto al contesto, variazione rispetto a un anno base) 11. Nei prossimi sette anni, tecnologie e innovazione didattica saranno il perno attorno al quale far ruotare gli interventi di supporto al sistema dell education. Il tema della digital literacy degli operatori scolastici è legato a doppio filo con l innovazione didattica poiché, come nei progetti dell azione B10, le tecnologie non sono solo un mezzo di comunicazione, ma rappresentano un vero e proprio ambiente di apprendimento, che come tale modifica contenuti, strumenti e metodologie didattiche. Altro elemento significativo è senz altro l accenno alla certificazione delle 10 Cfr. Ministero per la Coesione Territoriale, Metodi e obiettivi per un uso efficace dei fondi comunitari , Documento di apertura del confronto pubblico, Roma, 27 dicembre, 2012, pp Cfr. Ministero per la Coesione Territoriale, Metodi e obiettivi per un uso efficace dei fondi comunitari , Documento di apertura del confronto pubblico, Roma, 27 dicembre, 2012, p

13 competenze digitali degli insegnanti: si tratta di un indicazione non semplice da sviluppare, poiché richiede la definizione di soglie minime, criteri e procedure, passaggi operativi che nel mondo della scuola italiana sono tutt altro che scontati. Tuttavia, si tratta di un passaggio obbligato e non si vede il motivo per il quale le tecnologie non debbano entrare a far parte dei criteri di valutazione del corpo docente. Il documento del Ministero per la Coesione Territoriale oltre a ribadire la validità dell approccio adottato, fornisce indicazioni importanti anche rispetto alla questione del monitoraggio e della valutazione degli interventi. Il riferimento alla mancanza di indicatori attendibili conferma, ancora una volta, come la transizione verso politiche pubbliche evidence based e data driven non sia più rinviabile. Sotto questo profilo, la scelta di far dialogare il monitoraggio dei progetti dell azione B10 con questioni attinenti alla valutazione, non va intesa come un invasione di campo, ma come un tentativo di offrire maggiori evidenze sul funzionamento e la ricaduta di un investimento importante come il PON Competenze per lo sviluppo. Sotto questo profilo, se si vanno a confrontare gli indicatori proposti all interno del PON si nota come l interesse sia verso le realizzazioni. Il numero di progetti/attività approvati, avviati, conclusi per tipologia d intervento o il numero di destinatari all approvazione/iscrizione, all avvio, alla fine per tipologia d intervento e per caratteristiche principali sono indicatori indispensabili per verificare l andamento di un programma complesso come un PON, tuttavia dicono poco su come ha funzionato il programma stesso. Anche sul versante degli indicatori di risultato, una misura come il tasso di copertura delle attività formative per tipologie di destinatari necessita di essere articolata e combinata con altre informazioni Identificazione dei criteri di monitoraggio Combinando le informazioni desunte dalla documentazione tecnica e programmatoria sono stati definiti una serie di criteri rispetto ai quali articolare il disegno di monitoraggio: A CCESSIBILITÀ Il criterio si concentra su due tipi di accessibilità. Il primo, è l accessibilità fisica degli utenti ai corsi, intesa come facilità e possibilità di partecipazione. Indicatori utili a rappresentare questo criterio sono: La distanza della propria abitazione dal luogo della formazione Possesso di un mezzo di locomozione Mobilità lavorativa Il secondo aspetto dell accessibilità riguarda preminentemente l ambiente digitale per la formazione, inteso come usabilità e intuitività dell interfaccia informatica usata all interno dei corsi. Gli indicatori afferenti a questa seconda accezione di accessibilità sono: Funzionalità del sistema informatico Velocità di gestione della piattaforma informatica nell eventuale laboratorio didattico dell istituto scolastico Possesso di strumento informatico e da quanto tempo Difficoltà nell interazione con la formazione online proposta TEMPESTIVITÀ Il criterio si riferisce alla componente temporale del processo di attuazione, in termini di tempi, scadenze e scansione in fasi dell attività formativa. Gli indicatori che si collegano al criterio sono: Arco temporale tra la richiesta (candidatura del docente) e l avvio del percorso formativo Giudizio sulla scansione in fasi dell attività formativa 12

14 ADEGUATEZZA Con questo criterio si collega la rispondenza della formazione erogata con il bisogno dell utenza. Il criterio misura l impatto indiretto del percorso formativo proposto agli allievi. Indicatori che possono essere fatti rientrare in questo criterio sono: Aspettative dei corsisti rispetto alla formazione Corrispondenza tra fabbisogni in ingresso e offerta formativa APPROPRIATEZZA Il criterio si riferisce alla congruenza tra i percorsi previsti e gli obiettivi prefissati dal PON (livello macro). A livello micro, invece, il criterio intende verificare quali tra le azioni attuate siano maggiormente collegate all obiettivo di miglioramento delle competenze dei docenti delle istituzioni scolastiche. Possibili indicatori afferenti a questo criterio sono: Docenti con basse competenze digitali in entrata che hanno raggiunto un livello sufficiente di digital literacy Opinioni dei Dirigenti scolastici sulla competenze dei docenti E FFICACIA Il criterio riprende la definizione di Masoni, secondo la quale l efficacia è: La capacità di un progetto di raggiungere l obiettivo assegnatogli, entro limiti di probabilità assunti come accettabili 12. Vista la sua generalità si è scelto di suddividere l efficacia in due sottocriteri: Efficacia interna, intesa come la capacità di raggiungere gli obiettivi ed i risultati attesi fissati nel PON. Possibili indicatori: - Numero di classi attivate - Numero di corsisti iscritti - Completamento delle attività formative Efficacia esterna, intesa come la capacità della formazione erogata di migliorare le competenze dei docenti e, indirettamente, la conoscenza degli studenti. - Numero di sperimentazioni d aula - Giudizio sulle risposte degli studenti alle proposte di didattica sperimentale E FFICIENZA Tale criterio misura il rapporto tra i mezzi impiegati e risultati raggiunti. Nello specifico non si andrà a monitorare l efficienza economica dei progetti, argomento non prioritario nel presente monitoraggio, ma si evidenzierà l efficienza di risultato in base ai target prefissati da PON con i mezzi a disposizione. Inoltre, visti gli strumenti di erogazione della formazione, si andrà a rilevare l efficienza della formazione in aula e quella della formazione online, due sottocriteri che vengono definiti in termini di efficienza operativa in aula e efficienza operativa online. I possibili indicatori afferenti a questo criterio sono: Giudizio dei corsisti sull ambiente digitale di formazione Corrispondenza delle attività di tutoraggio erogate con le attività previste Giudizio sulla competenza degli esperti disciplinari RILEVANZA Il criterio va ad analizzare la capacità di modifica del problema, così come definito nel PON, in termini corrispondenza tra i risultati degli interventi e i cambiamenti avvenuti nel contesto territoriale di riferimento 13. Gli indicatori afferenti a questo criterio potrebbero essere: Docenti che hanno frequentato più annualità dei corsi Presenza di reti di scuole promotrici di innovazione didattica 12 Cfr. V. Masoni, M&V, Monitoraggio & Valutazione dei progetti nelle organizzazioni pubbliche e private, Franco Angeli, Milano, Tale criterio risulta rilevante anche in ottica di valutazione ex ante per il prossimo ciclo di programmazione poiché propone isola le strategie scelte e ne propone una loro giustificazione. 13

15 SODDISFAZIONE Tale criterio si riferisce alla soddisfazione degli attori impegnati nella formazione (DS, tutor, docenticorsisti) sia rispetto alle diverse componenti dell offerta formativa, sia nel complesso. A causa della forte soggettività dei livelli di soddisfazione, il criterio va sempre applicato in combinazione con altri criteri al fine di contenere le potenziali distorsioni. Indicatori che possono essere ricondotti a questo criterio sono: Soddisfazione degli attori della formazione per singola dimensione del modello formativo Soddisfazione complessiva degli attori della formazione Matching dei criteri con le dimensioni e gli ambiti di monitoraggio Il passaggio successivo ha previsto la verifica della corrispondenza tra la proposta e le esigenze della committenza. È stato organizzato un workshop di una giornata ( ), nel corso del quale il gruppo di lavoro Pragma si è confrontato con i referenti INDIRE: all incontro sono stati presenti i capi progetto, i collaboratori impegnati su singole sezioni dell offerta formativa e i referenti del sistema di gestione dati. L incontro è stato funzionale a discutere delle scelte metodologiche preliminari al monitoraggio. In particolare, sono stati discussi due temi: i. Il matching tra le dimensioni/ambiti di analisi previsti dal modello di monitoraggio dell INDIRE e i criteri individuati dal gruppo di lavoro Pragma ii. La congruenza metodologica tra obiettivi conoscitivi del monitoraggio e strumenti di rilevazione Con il workshop si è voluto aprire un confronto puntuale con INDIRE, scegliendo di validare il nuovo modello di monitoraggio non in una riunione ristretta, ma in un ambiente di discussione che, per quanto strutturato, ha offerto a tutti i partecipanti la possibilità di esprimere il proprio punto di vista. Dal momento che questa fase rappresenta un aspetto qualificante, nella tabella 2.2 si propone la road map della giornata di validazione. Tabella Road map per il workshop di validazione del disegno di monitoraggio ( ) Task Durata Metodo Introduzione Obiettivo dell incontro Programma giornata Presentazione percorso (azioni previste nel progetto) [Icebreaking] Presentazione personale (Eurekards: in cosa questa carta rappresenta il rapporto tra me e il mio lavoro?) Premessa metodologica Condivisione del modello di monitoraggio in essere Domanda 1 (Validazione dimensioni/ambiti di analisi) Confermate gli ambiti così definiti? In base alla vostra esperienza ve ne sono altri che non sono elencati e che sarebbe bene aggiungere? Presentazione dei criteri: (i) Accessibilità; (ii) Adeguatezza; (iii) Appropriatezza; (iv) Efficacia; (v) Efficienza; (vi) Rilevanza; (vii) Soddisfazione; (viii) Tempestività Costruzione di gruppi di lavoro Domanda 2 (Matching Criteri/Ambiti): Nella vostra esperienza quali di questi criteri è possibile associare agli ambiti così definiti? Domanda 3 (Congruenza criteri/strumenti) Nella vostra esperienza quale è lo strumento più indicato, esistente o da costruire, per applicare singoli criteri e perché? Pausa Presentazione frontale Giro di tavolo Presentazione frontale Discussione Individuale (scrivere su cartoncino); Lettura e condivisione con check for understanding 10 Presentazione frontale Gruppi eterogenei rispetto gruppo di lavoro abituale Individuazione di un rapporteur Ogni gruppo fa una proposta di matching Criteri/Ambiti Reporting in plenaria con feedback Ogni gruppo fa una proposta di combinazione criteri/strumenti Reporting in plenaria con feedback 14

16 Costruzione nuovi gruppi di lavoro Domanda 4 (congruenza criteri/strumenti/target) Nella vostra esperienza quali sono gli strumenti più idonei, esistenti o da costruire, per raggiungere in maniera adeguata DS, tutor e docenti-corsisti Conclusioni Condivisione delle priorità e strategie 5 30 Gruppi eterogenei rispetto gruppo di lavoro abituale Ogni gruppo fa una proposta di combinazione criteri/strumenti/target Reporting in plenaria con feedback 10 Discussione in plenaria Valutazioni della giornata 15 Giro di tavolo Chiusura lavori Tramite dei lavori per piccoli gruppi sono stati affrontati quattro domande fondamentali per la progettazione del dispositivo di monitoraggio. i. Validazione dimensioni/ambiti di analisi ii. Matching Criteri/Ambiti iii. iv. Congruenza Criteri/Strumenti Congruenza Criteri/Strumenti/Target Di seguito si presentano i risultati relativi alle prime due domande, le indicazioni emerse dai gruppi di lavoro rispetto alla terza domanda (Congruenza Criteri/strumenti) e alla quarta domanda (Congruenza Criteri/strumenti/target) saranno, invece, presentate nel capitolo successivo dedicato alla metodologia di monitoraggio. Il lavoro sul primo quesito ha prodotto una revisione dell articolazione per dimensioni/ambiti riportata nella tabella. Tabella Revisione della tavola Dimensioni/Ambiti di analisi dopo facilitazione DIMENSIONE ASPETTI ORGANIZZATIVI E GESTIONALI STRUTTURA ED EFFICACIA DEL PERCORSO FORMATIVO FUNZIONALITÀ E RICADUTA DELLA FORMAZIONE AMBIENTE PER LA COLLABORAZIONE DIGITALE RADICAMENTO E SOSTENIBILITÀ DEL PROGETTO SUL TERRITORIO AMBITO Rapporti con INDIRE: formazione iniziale tutor, supporto in itinere, comunicazioni con i DS presidio Informazioni sul percorso PON Organizzazione e gestione da parte della scuola presidio Supporto dei DS delle scuole di provenienza dei corsisti Efficacia del modello blended Efficacia delle singole fasi e utilità degli strumenti in funzione della capacità riflessiva del docente corsista Utilità dei materiali formativi (rivolti al docente) e didattici (rivolti agli studenti) Qualità dell azione del tutor anche in base all esperienza Composizione delle classi virtuali e relazioni fra i corsisti Valutazioni relative agli aspetti specifici per tipologia di progetto disciplinare da INDIRE verso il territorio Utilità in base al contesto e alle esperienze pregresse dei docenti Innovatività, significatività Cambiamento del docente nella didattica della disciplina, metodologia, relazione con gli studenti, con i colleghi) Trasferibilità della formazione fruita nella classe e vincoli di contesto Miglioramento degli apprendimenti e della motivazione degli studenti Partecipazione alle attività online Frequenza d uso, utilità, fruibilità degli strumenti Eventuali difficoltà Ruolo del tutor Reti di docenti sul territorio, corsisti o meno Ruolo della scuola presidio Documentazione e diffusione Il lavoro sul secondo quesito ha prodotto una tavola sinottica nella quale per ogni dimensione/ambito sono indicati i criteri di riferimento (tab. 2.4). 15

17 Tabella Matching Dimensioni-Ambiti con Criteri DIMENSIONE AMBITO CRITERIO ASPETTI ORGANIZZATIVI E GESTIONALI STRUTTURA ED EFFICACIA DEL PERCORSO FORMATIVO FUNZIONALITÀ E RICADUTA DELLA FORMAZIONE AMBIENTE PER LA COLLABORAZIONE DIGITALE RADICAMENTO Rapporti con INDIRE: formazione iniziale tutor, supporto in itinere, comunicazioni con i DS presidio Informazioni sul percorso PON Organizzazione e gestione da parte della scuola presidio Supporto dei DS delle scuole di provenienza dei corsisti Efficacia del modello blended Efficacia delle singole fasi e utilità degli strumenti in funzione della capacità riflessiva del docente corsista Utilità dei materiali formativi (rivolti al docente) e didattici (rivolti agli studenti) Qualità dell azione del tutor anche in base all esperienza Composizione delle classi virtuali e relazioni fra i corsisti Valutazioni relative agli aspetti specifici per tipologia di progetto disciplinare da INDIRE verso il territorio Utilità in base al contesto e alle esperienze pregresse dei docenti Innovatività, significatività Cambiamento del docente nella didattica della disciplina, metodologia, relazione con gli studenti, con i colleghi) Trasferibilità della formazione fruita nella classe e vincoli di contesto Miglioramento degli apprendimenti e della motivazione degli studenti Partecipazione alle attività online Frequenza d uso, utilità, fruibilità degli strumenti Eventuali difficoltà Ruolo del tutor Reti di docenti sul territorio, corsisti o meno Ruolo della scuola presidio Documentazione e diffusione Efficienza Soddisfazione Tempestività Accessibilità Efficienza Tempestività Accessibilità Efficacia Efficienza Accessibilità Adeguatezza Efficacia Efficienza Adeguatezza Efficacia Efficienza Appropriatezza Efficienza Soddisfazione Efficacia Soddisfazione Appropriatezza Efficienza Tempestività Adeguatezza Appropriatezza Efficacia Rilevanza Rilevanza Appropriatezza Rilevanza Appropriatezza Rilevanza Appropriatezza Efficacia Rilevanza Accessibilità Adeguatezza Efficienza Soddisfazione Accessibilità Adeguatezza Efficienza Soddisfazione Accessibilità Adeguatezza Efficienza Soddisfazione Efficacia Rilevanza Rilevanza Soddisfazione Accessibilità Appropriatezza Accessibilità Appropriatezza Tempestività Una volta definite le modalità con le quali raccordare i progetti dell asse B10 con gli obiettivi di programma, si è ritenuto necessario tenere conto anche di alcune domande conoscitive emergenti al termine di un percorso formativo pluriennale. Tali domande, sebbene possano essere ricondotte ai criteri summenzionati, è utile che siano formulate in modo autonomo poiché rappresentano un occasione di riflessione importate per INDIRE: Quale impatto hanno sulla formazione dei docenti le modalità organizzative dei corsi? In termini di qualità percepita dai corsisti, le caratteristiche tecniche del modello adottato da INDIRE sono funzionali a un esperienza formativa efficace? I progetti formativi realizzati nell ambito del PON offrono ai docenti gli strumenti per sperimentare innovazioni didattiche che abbiano un impatto concreto sull apprendimento dei propri studenti? L ambiente digitale è funzionale allo sviluppo di un esperienza formativa utile e significativa? I progetti PON hanno delle ricadute sulla collaborazione tra i docenti e le scuole coinvolte nell iniziativa? 16

18 3. Metodologia 3.1 Il disegno di monitoraggio In questa sezione si presenta l articolazione del disegno di monitoraggio, così come definita a seguito del workshop facilitato tra INDIRE e Pragma. Dopo avere presentato l idea metodologica, si prendono in esame le fonti informative rese disponibili e si precisano metodi e strumenti più adatti al loro trattamento. Il monitoraggio è stato realizzato adottando un disegno metodologico misto, in particolare è stato applicato uno schema concorrente [QUAN + QUAL] 14, all interno del quale i dati qualitativi e quantitativi sono stati raccolti e analizzati per rispondere a un solo tipo di domande di ricerca. I risultati finali sono così basati sull analisi di tutte e due le tipologie di dati. Al contrario di altri disegni misti, in questo schema di ricerca i dati quantitativi e qualitativi possono essere raccolti e analizzati in modo indipendente, è sufficiente che nella progettazione siano operativizzate dimensioni di analisi complementari. La fase cruciale per la buona riuscita di questo genere di disegni della ricerca è la comparazione tra i dati ottenuti: nel corso della formulazione e sistematizzazione dei risultati è necessario comparare i risultati ottenuti con strumenti diversi al fine di confermare, rafforzare o confutare quanto ottenuto con l uno o con l altro approccio. Infine, l adozione di uno schema QUAN + QUAL è motivata dall intenzione di contestualizzare i dati sulla soddisfazione e sull esperienza formativa (di tipo per lo più qualitativo) con le variabili strutturali e dure nel tentativo di offrire una valutazione di tipo sistemico dei progetti formativi. 3.2 Azioni QUAN: fonti, metodi e strumenti Nel prospetto sottostante (tabella 3.1) sono indicate le azioni di ricerca per le quali si ritiene necessario adottare un approccio di tipo quantitativo. Tabella Prospetto delle azioni QUAN FONTE TIPO DI INFORMAZIONE 1 DB GPU Amministrativa 2 DB Tracciamento online 3 Questionario monitoraggio Process produced UNITÀ DI RILEVAZIONE corsisti; tutor; classi; scuole corsisti; tutor MODALITÀ DI RILEVAZIONE Estrazione da DB Estrazione da DB Primaria corsisti; tutor; ex corsisti Indagine CAWI PRODOTTO Matrici record linked [corsisti e tutor] Le fonti scelte per la realizzazione del monitoraggio quantitativo sono tre: il DB GPU contenente dati di origine amministrativa relativi ai corsisti e ai tutor dei progetti di formazione docenti, oltre alle informazioni sulle classi, le scuole presidio e di servizio; Il DB originato dalle attività di corsisti e tutor all interno dell ambiente di formazione online. A differenza del precedente DB, si tratta di dati process produced ovvero risultanti da un processo; 14 Tale approccio, denominato Concurrent Mixed Method Design, è funzionale a migliorare l integrazione tra dati quantitativi e qualitativi, cfr. John D. Cresswell, Research Design: Qualitative, Quantitative, and Mixed Methods Approaches, Sage, Thousand Oaks [CA.], 2008, 3rd ed. 17

19 L ultima fonte è invece di tipo primario, ossia prevede un indagine diretta con questionario (realizzata con modalità CAWI - Computer Assisted Web Interview). Le unità di rilevazione delle informazioni sono il corsista, il tutor e gli ex corsisti (annualità 2009/2010 e 2010/2011). I dati individuali, cioè quelli relativi a corsisti e tutor, contenuti nei tre archivi sono stati, successivamente, sottoposti ad un operazione di record linkage: il raccordo dei tre data set ha prodotto due basi dati, del tipo Casi x Variabili, dove in riga sono riportati i corsisti/tutor e in colonna le variabili ad essi relative. L operazione di record linkage è avvenuta grazie all individuazione di una chiave di raccordo (codice fiscale criptato con sequenza alfanumerica univoca). Le matrici record linked, così come le altre basi dati disponibili sono poi state sottoposte ad analisi statistica, secondo uno schema classico: analisi statistica di base: studio delle distribuzioni monovariate ed esplorazione delle relazioni bivariate; sintesi delle informazioni: aggregazione variabili, costruzione indici, creazione di tipologie. I risultati dell analisi dati sono riportati nel capitolo 4. Di seguito si forniscono i dettagli tecnici delle operazioni summenzionate Record linkage archivi INDIRE Nella gestione tecnico-amministrativa dei progetti PON ha un ruolo centrale il sistema di Gestione della Programmazione Unitaria (GPU) 15. La piattaforma informatica ha la funzione di supportare l attuazione dei programmi, offrendo strumenti di gestione online delle attività didattiche ed organizzative. Al suo interno sono archiviate un gran numero di informazioni, alcune delle quali possono essere proficuamente analizzate per delineare lo scenario attuativo dei progetti formativi oggetto del monitoraggio. Lo stesso discorso può essere fatto per il sistema di tracciamento delle attività online (ToL), una risorsa che permette di entrare nel merito dell attività formativa offrendo indicazioni numeriche sul percorso di ogni corsista all interno dell ambiente digitale di formazione. Chiaramente, l interesse maggiore è per i risultati della combinazione tra queste due fonti: in particolare, sarà interessante valutare l andamento delle variabili desunte dal tracciamento alla luce delle caratteristiche socioanagrafiche dei corsisti. Il fine di questa operazione è evidente: individuare profili di corsisti che reggono meglio il modello didattico previsto da INDIRE. In questa sede è opportuno offrire qualche indicazione di massima sulla struttura dei due archivi. Per quel che riguarda GPU, lo studio della documentazione di sistema ha permesso di individuare tre diverse unità di analisi, ciascuna delle quali a sua volta articolata in due tipi. 1. ATTIVITÀ: questa prima unità attiene alla struttura amministrativa e finanziaria del PON Competenze per lo sviluppo ed è composta da: Progetti: la formazione disciplinare gestita da INDIRE si articola in quattro progetti, due dei quali, a loro volta, suddivisi in due sotto progetti. Ogni progetto è composto da un numero variabile di richieste (o interventi), sulla base del numero di partecipanti. Ogni progetto è caratterizzato da un codice di progetto nazionale e da un ID_progetto; la gestione finanziaria è articolata per progetti. Interventi: è l articolazione minima con la quale vengono progettate e documentate le attività dei progetti; nel caso della formazione nazionale ogni richiesta (o intervento) corrisponde ad un gruppo di corsisti, che segue il percorso in presenza in un determinato presidio. In termini formativi, ogni intervento corrisponde a una classe di corsisti. Ogni intervento è caratterizzato da un ID_richiesta. 15 GPU è il sistema per la gestione dei Programmi Operativi Nazionali Competenze per lo sviluppo e Ambienti per l'apprendimento, a titolarità del Ministero dell'istruzione, dell'università e della Ricerca (MIUR) in favore delle aree territoriali del nuovo Obiettivo Convergenza (ex Obiettivo 1), cfr. 18

20 2. INDIVIDUI: questa unità di analisi riguarda le persone fisiche impegnate nei progetti e negli interventi. Rispetto a queste unità occorre distinguere tra: Docenti corsisti: sono i fruitori delle attività di formazione in presenza. Ogni corsista è caratterizzato da un anagrafica e da informazioni sulle attività formative in presenza seguite nel corso del progetto 16. Tutor: sono i responsabili dell accompagnamento delle attività formative. Ogni tutor è caratterizzato da un anagrafica e da informazioni sulle attività di tutoraggio realizzate STRUTTURE: la terza unità di analisi sono le strutture, ossia le scuole coinvolte nella realizzazione dei progetti di formazione disciplinare INDIRE. Le strutture sono distinte in: Scuole presidio: scuole dove sono realizzate le attività formative. Per le scuole presidio sono disponibili le informazioni indicate nell Appendice 1.1 ( Elenco campi rilevanti per le scuole ) della documentazione tecnica GPU. Sedi di provenienza dei docenti corsisti: si tratta delle scuole di provenienza dei corsisti e dei tutor, per queste strutture risultano disponibili le medesime informazioni delle scuole presidio. Per ciascuna delle tre unità di analisi (attività, individui, strutture), INDIRE ha fornito una matrice dati casi per variabili, con in riga le unità di rilevazione (progetti e interventi; corsisti e tutor; sedi presidio e sedi di provenienza) e in colonna gli attributi dei casi. Grazie all individuazione di una variabile con valori univoci per ogni caso è stato poi realizzato concatenamento dei record al fine di ottenere delle matrici combinate. Il concatenamento principale è stato realizzato tra le matrici relative agli individui presenti in GPU (tutor e corsisti) e i dati del sistema ToL. Grazie a questa operazione nelle prossime pagine sarà possibile analizzare l attività online di corsisti e tutor tenendo conto del profilo socio-demografico degli individui Indagini CAWI su corsisti, tutor ed ex corsisti Le indagini CAWI hanno coinvolto tre diverse popolazioni di attori del progetto: i docenti corsisti, iscritti nell A.S. 2012/2013, i tutor attivi nell A.S. 2012/2013 e i corsisti che hanno seguito la formazione PON negli A.S. 2009/2010 e 2010/2011. Il questionario relativo ai soggetti che avevano preso parte ai corsi nell A.S. 2012/2013 è stato somministrato a tutti (corsisti e tutor) escludendo solo tutor e corsisti di classi revocate. Per gli A.S. 2010/2011 e 2009/2010 sono state escluse le classi revocate e quelle chiuse anticipatamente. Per coloro che non hanno completato la formazione sono state previste solo alcune domande. La rilevazione è avvenuta nel periodo compreso tra il 10 e il 24 febbraio. Per sollecitare la partecipazione alle rilevazioni, INDIRE ha previsto una comunicazione personalizzata via e un avviso sul web-site dell Istituto. Nel corso delle due settimane di rilevazione sono state effettuati tre solleciti via IL QUESTIONARIO PER I CORSISTI E I TUTOR DELL A.S. 2012/2013 I questionari rivolti a corsisti e tutor presentano diverse aree di sovrapposizione e possono essere presentati in modo congiunto. La tabella 3.2 riporta le aree con il numero di domande per area. 16 Come risulta dalla documentazione tecnica GPU, il sistema informativo, qualora il docente corsista partecipi a più di un corso, assegna un anagrafica diversa. Quindi l archivio registra i partecipanti alle attività formative e non le teste. Per calcolare il numero reale dei corsisti sarà necessario disporre del codice fiscale di ciascun corsista, così da poter conteggiare il numero di occorrenze dell individuo nella base dati e ricavare anche una variabile ausiliaria denominata numero di attività formative seguite. 17 Per i tutor vale quanto precisato rispetto ai corsisti per cui anche in questo caso le anagrafiche non corrispondono agli individui. 19