Seminario Gli obiettivi della nuova programmazione dei Fondi Strutturali Europei I risultati INVALSI, strumenti per la scuola

Transcript

1 Seminario Gli obiettivi della nuova programmazione dei Fondi Strutturali Europei I risultati INVALSI, strumenti per la scuola Il Questionario insegnante e il Questionario scuola: quadro di riferimento e strumenti di ricerca Michela Freddano e Valeria Tortora INVALSI Bari, marzo 2015

2 Sommario Alcune premesse Il ruolo del questionario nelle indagini valutative Tipo di domande presenti in un questionario Il questionario insegnante e il questionario scuola Come? Perché? Quando? Chi? Il quadro di riferimento teorico: dimensioni e indicatori

3 Alcune premesse (1) Il contesto scolastico è un contesto educativo fortemente strutturato e organizzato, caratterizzato da numerose risorse (materiali, umane e simboliche), nel quale la principale forma di apprendimento è quella formale e i rapporti e le norme sono impersonali e oggettivi La scuola è il primo ambito formale con il quale un individuo entra in contatto e dove l'insegnante è la prima persona che ha un ruolo specifico e caratteristiche oggettive, legate alle competenze, con la quale l individuo si relaziona

4 Alcune premesse (2) L'insegnante e le sue funzioni sono ritenute fondamentali per la crescita formativa dello studente La qualità dell'insegnamento, nei suoi aspetti relazionali, organizzativi e didattici, è oggetto di costante attenzione e di continuo miglioramento L'insegnamento di qualità è largamente riconosciuto come uno dei fattori essenziali per conseguire buoni risultati dell apprendimento, sviluppando conoscenze, capacità, attitudini e valori di cui i discenti hanno bisogno per realizzare pienamente il loro potenziale sia come individui che come membri attivi della società e della forza lavoro

5 Il ruolo dei questionari nelle indagini valutative Alcuni aspetti sul funzionamento della scuola si possono studiare soltanto se si dispone di determinate informazioni Nelle valutazioni nazionali, si utilizzano spesso dei questionari per raccogliere informazioni ritenute importanti ai fini dell indagine che non sono direttamente disponibili A seconda del disegno della ricerca, è possibile o meno coinvolgere gli stakeholder Le indagini proposte con più frequenza (come le prove INVALSI) pongono l attenzione su fattori che agiscono nel breve termine (come le caratteristiche dei programmi e la didattica), mentre indagini cicliche su fattori più di lungo periodo

6 Il duplice ruolo dei Questionari nelle valutazioni sugli apprendimenti Ruolo descrittivo: descrivere le caratteristiche degli aspetti approfonditi con lo strumento di ricerca Ruolo analitico: capire le relazioni fra i punteggi degli alunni e particolari caratteristiche degli alunni stessi, dell ambiente scolastico, delle pratiche pedagogiche, dello stile dirigenziale

7 A cosa serve la definizione di un quadro di riferimento Identifica le informazioni che sarebbe bene raccogliere, in funzione degli obiettivi dell indagine. Le ordina in un modello analitico, che sarà alla base delle diverse analisi statistiche da svolgere. Specifica il contenuto di ciascuna parte del modello, appoggiandosi sulla letteratura scientifica disponibile. Tiene conto dei limiti concettuali e operazionali dell indagine (disegno, tempi di somministrazione) per definire gli aspetti che possono/non possono essere coperti dai questionari. Suggerisce l ordinamento pratico degli strumenti (quali questionari, a chi devono essere somministrati, ecc.).

8 Le Rilevazioni Nazionali e gli intervistati Le Rilevazioni Nazionali interessano su base censuaria - gli studenti delle classi di seconda e quinta primaria, di terza secondaria di primo grado e di seconda secondaria di secondo grado, di conseguenza possono coinvolgere: studenti insegnanti dirigenti scolastici

9 I Questionari nelle Rilevazioni Nazionali: chi, come e perché Partecipanti Modalità Finalità Studenti Cartaceo per conoscere le loro opinioni e atteggiamenti, principalmente la motivazione e l interesse nei confronti dello studio Insegnanti Online per approfondire le pratiche didattiche in Italiano e Matematica e gli atteggiamenti nei confronti della valutazione sugli apprendimenti Dirigenti scolastici Online per conoscere le caratteristiche a livello di scuola, come lo stile dirigenziale, il clima scolastico, le risorse infrastrutturali, la partecipazione dei genitori e di altri stakeholder della scuola alla vita scolastica

10 Il Questionario Insegnante

11 Il Questionario Insegnante È uno strumento di ricerca rivolto agli insegnanti di Italiano e di Matematica delle classi campione che partecipano alle Rilevazioni Nazionali INVALSI (livv. 2, 5, 8 e 10) accanto alle prove cognitive autosomministrato in modalità online con la finalità di: o conoscere l atteggiamento degli insegnanti nei confronti delle Rilevazioni Nazionali o individuare aspetti di forza e di criticità relativi al contesto scolastico che incidono sulle performance degli studenti e studiarne l effetto; o proposto agli insegnanti nell a.s. 2012/2013 (studio pilota su piattaforma google) e nell a.s. 2013/2014 (su Limesurvey); o accompagnato da una Nota Metodologica che prevede l articolazione del quadro di riferimento e la validazione dei quesiti.

12 I risultati del processo di validazione 1. Modifica QdR e domande del questionario con relativi item 2. Riduzione del numero di domande 3. Strutturazione del questionario in moduli in modo da o o avere una parte generale uguale per tutti far compilare una volta sola ai docenti con più di una classe campione 4. Miglioramento della spiegazione delle finalità dell indagine nella lettera di presentazione 5. Allestimento dell indagine dell a.s. 2013/14 online su LimeSurvey anziché su Google: 6. Diminuzione della durata di compilazione del questionario (dai 45 ai )

13 Il QdR del Questionario Insegnante: i livelli e gli aspetti SCUOLA Esperienza professionale Valutazione di sistema sugli apprendimenti CLASSE Pratiche d insegnamento Benessere organizzativo Condizioni socio-culturali INDIVIDUALE Esperienza con Fondi PON Equità dei sistemi educativi

14 Il QdR: dimensioni e indicatori (1) Esperienza professionale o formazione iniziale o formazione continua o continuità lavorativa o obiettivi che guidano l insegnamento o efficacia percepita Valutazione di sistema sugli apprendimenti o atteggiamento su Rilevazioni Nazionali o teaching to the test o uso dei risultati Pratiche d insegnamento o attività didattiche o uso TIC o valutazione

15 Il QdR: dimensioni e indicatori (2) Benessere organizzativo o propositività del Dirigente scolastico o relazione con i colleghi o relazione con gli stakeholder o incarichi a scuola Esperienza con attività relative ai PON o percezione dell efficacia delle attività inerenti ai Fondi PON Equità del sistema educativo percepita o percezione dei divari di competenza Condizioni socio-culturali o informazioni anagrafiche o carico familiare o capitale culturale

16 Le classi coinvolte e gli insegnanti rispondenti Livello Classi % rispondenti Italiano Liv ,3% Liv ,3% Liv ,3% Liv ,1% Totale Italiano ,6% Matematica Liv ,9% Liv ,1% Liv ,7% Liv ,8% Totale Matematica ,8% Totale ,2%

17 La partecipazione degli insegnanti: trend a.s. 2012/13 a.s. 2013/14 100,0% 95,0% 90,0% 85,0% 80,0% 75,0% 2,8% 5,6% 4,6% 4,4% 4,0% 3,2% 6,6% 3,1% 11,8% 6,2% 70,0% 65,0% 60,0% 55,0% 50,0% Liv. 2 81,3% Liv. 5 80,3% Liv. 6 n.p. Liv. 8 88,3% Liv ,1% Tot. 76,6% Liv % Liv. 5 80,1% Liv. 6 n.p. Liv. 8 88,7% Liv ,8% Tot. 81,8% Italiano Matematica

18 La gestione delle classi multiple Classi multiple, con parte generale da compilare sul totale dei rispondenti Parte generale "agganciata" sulle classi multiple Parte generale "persa" sul totale dei rispondenti Italiano Liv. 2 13,4% 36,9% 8,5% Liv. 5 14,7% 38,3% 9,1% Liv. 8 0,6% 12,5% 0,5% Liv. 10 5,5% 35,2% 3,5% Totale Italiano 8,2% 36,7% 5,2% Matematica Liv. 2 15,6% 35,3% 10,1% Liv. 5 17,6% 44,4% 9,8% Liv. 8 0,6% 12,5% 0,5% Liv. 10 9,5% 37,2% 5,9% Totale Matematica 10,5% 38,9% 6,4% Totale 9,3% 37,9% 5,8%

19 Caratteristiche dei rispondenti Donne (%) Età media T. Indeterminato (%) Italiano Liv. 2 97,7 51,0 97,7 Liv. 5 97,8 51,8 94,6 Liv. 8 90,6 49,9 91,1 Liv ,8 49,8 87,8 Matematica Liv. 2 95,3 50,2 94,3 Liv. 5 96,5 51,0 93,6 Liv. 8 82,7 52,0 87,9 Liv ,2 51,4 87,9 Femminilizzazione del corpo docente, specialmente nella scuola primaria e per quanto riguarda Italiano Maggiore incidenza di insegnanti uomini per Matematica Mediamente gli insegnanti hanno anni La distribuzione per quartili mostra che in media al Sud e Sud Isole gli insegnanti delle classi campione sono più anziani ad ogni livello e materia

20 Il Questionario Scuola

21 Il Questionario Scuola È rivolto ai Dirigenti scolastici delle scuole campione, ha lo scopo di conoscere la loro opinione nei confronti delle Rilevazioni Nazionali e di raccogliere informazioni utili per meglio comprendere l'andamento a livello micro dei processi educativi a livello scolastico. È strutturato in due parti: parte generale, relativa all esperienza del Dirigente parte specifica, relativa alla scuola: per quanto riguarda i Dirigenti degli Istituti Comprensivi, è divisa in due sezioni: una per le scuole primarie e una per le secondarie, per permettere una differenziazione delle domande sul coinvolgimento dei genitori Domanda aperta al termine della compilazione su osservazioni generali

22 Il processo di lavoro 2011/ / Formulazione prime domande di ricerca Studio pilota Elaborazione e analisi dei dati Definizione dimensioni e indicatori Costruzione del questionario Partecipazione degli stakeholder Costruzione del questionario Ridefinizione delle procedure di somministrazione Stesura della nota metodologica Somministrazione via Messa a punto del quadro di riferimento

23 Il QdR del Questionario Scuola: i livelli e gli aspetti SCUOLA Valutazione di sistema sugli apprendimenti Utilizzo fondi europei Attività di direzione della scuola Coinvolgimento dei genitori INDIVIDUALE Clima disciplinare Risorse scolastiche Condizioni socio-culturali

24 Il quadro di riferimento: dimensioni e indicatori 1 Valutazione di sistema sugli apprendimenti opinioni sulle Rilevazioni Nazionali uso dei risultati Partecipazione a progetti PON ricadute dei risultati sulla didattica e sugli apprendimenti utilità nel promuovere iniziative scolastiche Coinvolgimento degli stakeholder e dei genitori partecipazione dei genitori alle attività scolastiche apertura scuola al territorio

25 Il quadro di riferimento: dimensioni e indicatori 2 Leadership supporto di figure esterne per assumere decisioni coinvolgimento di alcuni soggetti nelle scelte strategiche livello di autonomia nella gestione delle risorse finanziare e degli indirizzi educativi rilevanza di soggetti esterni sulle principali decisioni da prendere Risorse scolastiche presenza di laboratori, biblioteca e materiale di supporto alla didattica

26 Il quadro di riferimento: dimensioni e indicatori 3 Clima disciplinare relazione con i colleghi relazione con gli stakeholder Equità del sistema educativo percepita percezione dei divari di competenza Condizioni socioculturali informazioni anagrafiche capitale culturale formazione iniziale continuità lavorativa esperienza lavorativa con l'invalsi

27 Le scuole coinvolte e i Dirigenti scolastici rispondenti Scuole Totale Compilati % Non Ist. Comprensivi ,8% Ist. Comprensivi ,0% Totale ,7%

28 La somministrazione online

29 Le modalità di somministrazione Il Questionario Insegnante è stato somministrato online associando un Id a ogni classe per materia Il Questionario Scuola è stato somministrato online associando un Id a ogni scuola La finestra di somministrazione è stata attiva per la compilazione di entrambi i questionari da luglio a settembre 2014

30 Il coinvolgimento degli insegnanti Nel Questionario Insegnante è stato assegnato un ID a ogni rispondente ma, poiché non si era in possesso di una banca dati completa con le dei singoli docenti delle classi campione, l ID è stato collegato agli indirizzi istituzionali forniti dalle scuole in fase di registrazione alle Rilevazioni Nazionali. A ogni indirizzo mail sono state mandate tante quanti erano i docenti di italiano e matematica delle classi campione. Al Dirigente, o alle segreterie amministrative, è stato chiesto di inoltrare le ai singoli docenti. Le inviate agli indirizzi istituzionali erano composte di una parte rivolta al dirigente, con le finalità dell indagine e la richiesta di inoltrare la mail all insegnante indicato e una parte rivolta all insegnante contenente le istruzioni per la compilazione.

31 Esempio di di invito (Questionario Insegnante)

32 Esempio di di promemoria (Questionario Insegnante)

33 La privacy Garanzia di anonimato: una nota generale su anonimato e riservatezza delle indagini online il termine Anonimo presuppone che nessuno possa identificare chi ha fornito le informazioni; l anonimato è difficile da garantire nelle indagini, siano esse somministrate in presenza o online; si può invece parlare di garanzia di anonimato e riservatezza dei dati in quanto chi si occupa della ricerca, pur se potenzialmente in grado di identificare la persona, garantisce che le informazioni non saranno associate alla persona: i dati non possono essere diffusi se non in forma aggregata e secondo modalità che non rendano identificabili gli interessati da alcun soggetto esterno.

34 La privacy Il caso specifico del Questionario insegnante : i rispondenti erano identificati esclusivamente tramite disciplina di insegnamento e codice numerico della classe; il Dirigente non poteva conoscere le risposte dei suoi insegnanti perché il link era utilizzabile una sola volta; l avvenuta compilazione del questionario non era notificata all indirizzo istituzionale. L unica informazione fornita alla mail della scuola è quella relativa ai promemoria; all insegnante non è mai stato chiesto l indirizzo personale.

35 La somministrazione online: vantaggi software open source possibilità di raggiungere molte persone in poco tempo varietà nella costruzione delle domande gestione dei valori mancanti complessa organizzazione di domande filtro interfaccia user friendly per gli intervistati possibilità da parte dell insegnante di scaricarsi copia del questionario compilato a fine compilazione migliore gestione della comunicazione buon monitoraggio degli accessi immediata elaborazione dei dati

36 La somministrazione online: svantaggi 1) incertezza dell identità di chi compila il questionario; 2) mancata interazione tra intervistato e intervistatore nel momento della compilazione del questionario 3) assenza di feedback immediati sulla qualità del questionario e dei quesiti che lo compongono 4) Necessità di organizzare un sistema di assistenza alla compilazione al Questionario

37 La gestione delle richieste Allestimento di indirizzi specifici : questins@invalsi.it per quanto riguarda il Questionario Insegnante; questscuola@invalsi.it per quanto riguarda il Questionario Scuola Durante la fase di somministrazione: più di mail pervenute; evasione delle richieste in tempi brevi (24/48 ore); risposte personalizzate.

38 Tipo di domande presenti nei questionari Diversi tipi di domande a risposta chiusa o domande filtro o dicotomiche (sì/no, maschio/femmina) o elenchi a una sola risposta o elenchi con più possibili risposte o batterie di domande o scale Likert (Domanda a risposta aperta) Possibilità di aggiungere ulteriori osservazioni al termine della compilazione

39 Esempi Elenco a una sola risposta Elenco a una o più risposte

40 Batterie di domande Esempi

41 Esempi Scale Likert: grado di accordo Scale Likert: frequenza

42 Esempi Domande filtro Se il computer è presente, allora: Opzioni di risposta: uso regolare, uso saltuario, non uso

43 Grazie per l attenzione