La valutazione degli apprendimenti nelle indagini nazionali ed internazionali Workshop AIV

Transcript

1 La valutazione degli apprendimenti nelle indagini nazionali ed internazionali Workshop AIV Emanuela Bonini Dottorato in Valutazione dei sistemi e dei processi educativi Università di Genova Milano, 3 dicembre 2010

2 Indagini nazionali ed internazionali standardizzate di valutazione degli apprendimenti Studenti in obbligo formativo: Servizio Nazionale di valutazione (SNV) INVALSI italiano e matematica (rivolto a II, V primaria, I sspg, III sspg, I sssg, valutazione in sede di esami di stato) IEA TIMSS (Mathematics and Science), PIRLS (reading) e ICC (Civicness) OCSE-PISA

3 Indagini nazionali ed internazionali standardizzate di valutazione delle competenze (2) Competenze degli adulti: ALL (Adult Literacy and Lifeskills Survey) IALS (International Adult Literacy Survey) PIAAC OCSE (Programme for the International Assessment of Adult Competencies)

4 L indagine OCSE-PISA Programme for International Student Assessment Indagine comparativa di valutazione dei risultati degli studenti nei Paesi dell OCSE e nei Paesi partner Importanza dell educazione per lo sviluppo

5 Edizioni dell indagine PISA 2000 ambito prevalente lettura, affiancati alla prova cognitiva il questionario studenti e il questionario scuola; 2003 ambito prevalente matematica, affiancati alla prova cognitiva domande sul problem solving, questionario studenti e questionario scuola; 2006 ambito prevalente scienze, tra i questionari affiancati alla prova viene introdotto il questionario genitori, ma scompaiono le domande sul problem solving; 2009 ambito prevalente lettura, come nella precedente edizione sono somministrati il questionario studenti, scuola e genitori.

6 Obiettivi dell indagine PISA valutare conoscenze, abilità, atteggiamenti, comportamenti e abitudini verso gli ambiti individuati (lettura, matematica e scienze); definire gli indicatori delle prestazioni degli studenti e dei risultati dei sistemi d istruzione comparabili a livello internazionale; individuare i fattori che spiegano tali risultati e gli elementi che caratterizzano i diversi Paesi; monitorare i sistemi d istruzione attraverso la periodicità.

7 Definizione delle competenze (literacy) in lettura in PISA La competenza in lettura consiste nella comprensione, e nell utilizzazione di testi scritti e nella riflessione sui loro contenuti al fine di raggiungere i propri obiettivi, di sviluppare le proprie conoscenze e potenzialità e di svolgere un ruolo attivo nella società. (Quadro di riferimento PISA 2003, pag. 110)

8 Operazioni di comprensione della lettura Fig. 2.2 Quadro di riferimento PISA 2006

9 Definizione delle competenze (literacy) matematiche in PISA «la capacità di un individuo di individuare e comprendere il ruolo che la matematica gioca nel mondo reale, di operare valutazioni fondate e di utilizzare la matematica e confrontarsi con essa in modi che rispondono alle esigenze della vita di quell individuo in quanto cittadino impegnato, che riflette e che esercita un ruolo costruttivo» (Quadro di riferimento PISA 2006, pag. 86)

10 Gli ambiti delle competenze in matematica considerati nell indagine PISA 1. Situazioni e contesti in cui sono calati i problemi; 2. Il contenuto matematico che deve essere utilizzato per risolvere i problemi (organizzato in termini di idee chiave nella terminologia dell indagine); 3. Le competenze che devono essere attivate per mettere in relazione il mondo reale con la matematica.

11 1. Situazioni e contesti Il contesto è l ambientazione specifica in cui è inserito il quesito all interno di una situazione. Le situazioni-tipo individuate da PISA: Personale Scolastica/occupazionale Pubblica (es: libretto di risparmio) Scientifica (es: sistema monetario)

12 2. I contenuti Le quattro idee chiave in cui sono organizzati i contenuti matematici corrispondono alle aree in cui è suddiviso l insegnamento della matematica nei curriculi: Spazio, forma e geometria Cambiamento e relazioni, algebra Quantità, ragionamento quantitativo Incertezza statistica e probabilità

13 3. Le competenze matematiche Con competenze si intendono i processi cognitivi che lo studente deve mettere in atto per risolvere i problemi matematici, distinti in tre raggruppamenti: riproduzione (riproduzione di competenze già apprese); connessioni (creare connessioni con aspetti familiari); riflessioni (ragionare, astrarre).

14 Definizione delle competenze (literacy) scientifiche in PISA la literacy scientifica è la capacità di utilizzare conoscenze scientifiche, di individuare domande e di trarre conclusioni basate su fatti, per comprendere il mondo della natura e i cambiamenti ad esso apportati dall attività umana e aiutare a prendere decisioni al riguardo (Quadro di riferimento PISA 2006, pag. 33)

15 Per misurare la literacy scientifica vengono analizzati quattro aspetti correlati tra loro: Le competenze (individuare questioni scientifiche, dare spiegazioni, usare dati scientifici); Le conoscenze (della scienza, sulla scienza); I contesti Ed inoltre: Gli atteggiamenti (interesse, sostegno alla ricerca, responsabilità per l ambiente)

16 I quattro fattori della Literacy scientifica sono correlati Contesto Situazioni di vita che hanno a che fare con la scienza e la tecnologia Richiede alle persone Competenze Individuare questioni di carattere scientifico Dare ai fenomeni una spiegazione scientifica Usare prove basate su dati scientifici Nucleo centrale Il modo in cui lo fanno è influenzato da Conoscenze Conoscenze sul mondo naturale (conoscenza della scienza) Conoscenze sulla scienza in quanto tale (conoscenza sulla scienza) Atteggiamenti Risposta alle questioni di carattere scientifico interesse sostegno alla ricerca scientifica responsabilità

17 Oltre la definizione di literacy un obiettivo politico Valutare se gli allievi di 15 anni hanno acquisito un livello di competenza nella comprensione della lettura di testi scritti, di cultura matematica e cultura scientifica che permette di cavarsela nella vita quotidiana come è configurata nelle società contemporanee Bottani N. (Seminario Genova 23/01/09)

18 Il disegno di campionamento

19 Campionamento individuazione della popolazione target dell indagine: studenti di 15 anni inseriti in ogni grado e tipo di scuola; per il 2009 si tratta dei nati nel 1993; il numero minimo previsto per ogni paese è di 150 scuole e studenti.

20 Campione a due stadi stratificato 1 stadio - le scuole 2 stadio-gli studenti Le scuole vengono divise in sottogruppi (detti strati) costituiti dal tipo di scuola e dall area geografica e successivamente estratte casualmente. (deve essere garantita la rappresentatività di ogni sottogruppo) gli studenti vengono estratti in modo casuale da ognuno dei sottogruppi definito fino ad un massimo di 35 per ogni scuola.

21 I questionari di PISA

22 Tipi di questionario Prova cognitiva Questionario studenti Questionario genitori Questionario scuola

23 Questionario studenti Variabili di sfondo, domande relative a: contesto socio-economico di provenienza; percorso scolastico; motivazione e atteggiamenti nei confronti della scuola; attività (di lettura) per la scuola; strategie adottate nella (lettura) e nella comprensione del testo; padronanza delle tecnologie della comunicazione.

24 Questionario scuola Rivolto ai dirigenti scolastici: tipo di scuola e sua composizione (es: numero studenti ed insegnanti); caratteristiche dell utenza, criteri di ammissione/esclusione; coinvolgimento dei genitori; didattica, curricolo, valutazione; clima della scuola; pratiche e politiche della scuola.

25 Questionario genitori È facoltativo per i paesi che partecipano e per gli stessi genitori: caratteristiche socio-economiche dei genitori (incrociate con il questionario studente); criteri di scelta della scuola; percezione della scuola da parte dei genitori; disponibilità di risorse a casa per (la lettura); attività (di lettura) dello studente; attività (di lettura) dei genitori.

26 La prova cognitiva La prova cognitiva è costituita da oltre 200 domande, più della metà rivolte all ambito principale di indagine di quella edizione e le altre suddivise nei due ambiti secondari. L insieme delle domande viene suddiviso in 13 fascicoli di equivalente difficoltà. Ogni studente risponderà ad uno dei fascicoli.

27 Caratteristiche dei test affidabilità stabilità dello strumento (ovvero produce lo stesso risultato su misurazioni ripetute); validità dal punto di vista del contenuto (corrispondenza con ciò che si intendeva misurare); oggettività utilizzo della prova a prescindere dal contesto formativo.

28 Tipi di quesito nei test Tipo di quesito A scelta multipla A scelta multipla complessa Aperto a risposta univoca Aperto a risposta breve Aperto a risposta articolata Natura del quesito Scegli una risposta tra una serie di affermazioni date Serie di affermazioni per ciascuna delle quali è richiesto di dare una risposta del tipo vero/falso o si/no Breve risposta verbale o numerica (prevede una sola risposta corretta) Breve risposta verbale o numerica (ammette diverse risposte correte) Lunga risposta scritta o spiegazione dei passaggi che si compiono per risolvere un problema

29 Esempio: quesito in lettura (domanda aperta a risposta univoca)

30 Esempio: quesito in scienze (a scelta multipla complessa)

31 Esempio: quesito in scienze (a risposta aperta)

32 Codifica della risposta

33 Esempio: quesito in matematica (a risposta aperta articolata)

34 I livelli di competenza

35 Definizione delle scale di competenza La scala rappresenta una progressione in termini di conoscenze e di abilità: le conoscenze e le competenze di ciascun livello si fondono su quelle del livello immediatamente inferiore e le comprendono; uno studente che si posiziona ad un certo punto della scala è in grado di eseguire con successo (con una probabilità che aumenta al decrescere dei livelli) i compiti dei livelli inferiori, mentre ha probabilità via via minore di rispondere ai quesiti dei livelli più alti.

36

37 Percentuale di studenti a ciascun livello della scala di literacy scientifica

38 I risultati Rilevanza del campione stratificato per la lettura dei risultati

39 Risultati in scienze per tipo di scuola

40 Risultati in scienze per aree geografiche

41 I risultati Rilevanza della ciclicità dell indagine a fini comparativi

42 Confronto fra i risultati dell Italia e la media dei paesi OCSE tra le due indagini

43 I risultati Rilevanza delle informazioni ricavate dai questionari associati alla prova per la lettura dei risultati

44 Relazione tra risultati ed interesse per la scienza

45 Relazione tra risultati in scienze e consapevolezza dei problemi ambientali

46 Risorse educative e culturali degli studenti per area geografica e tipo di scuola

47 Bibliografia Abburrà L., Mosca S., (a cura di), PISA 2006: le competenze dei quindicenni in Piemonte a confronto con le Regioni italiane ed europee, Quaderni di ricerca, IRES, 2008 Borrione P., Donato L., PISA 2006: i risultati delle Regioni italiane a confronto con l Europa, IRES, 2007 Gasperoni G., I risultati della ricerca OCSE-PISA 2006 in Emilia Romagna, polic., 2008 INVALSI, Le competenze in scienze, lettura e matematica degli studenti quindicenni. Rapporto nazionale PISA Armando Editore, Roma, 2007

48 Bibliografia OECD, Learning for tomorrow s world. First results from PISA 2003, OECD, PISA 2003 Data Analysis Manual, Pedrizzi T. (a cura di), OCSE PISA Risultati degli studenti lombardi: contesti di apprendimento e scenari di intervento, Franco Angeli, 2005 Siniscalco M. T., Bolletta R., Mayer M., Pozio S., Le valutazioni internazionali e la scuola italiana, Zanichelli, Bologna, 2008