APPROFONDIMENTO TEMATICO 14.1 PROGETTAZIONE DI PROVE DI VALUTAZIONE di Roberto Trinchero Abstract

Transcript

1 APPROFONDIMENTO TEMATICO 14.1 PROGETTAZIONE DI PROVE DI VALUTAZIONE di Roberto Trinchero Abstract In questo approfondimento tematico vegono illustrati i differenti tipi di valutazione, gli attori che la mettono in atto, gli oggetti di valutazione e gli strumenti per la valutazione, con particolare riguardo agli strumenti implementabili su sistemi formativi assistiti dalle Tic. Vengono altresì date indicazioni operative per la concreta progettazione di prove di valutazione. Unità La valutazione: concetti fondamentali Valutare: confronto e interpretazione Valutare significa confrontare una situazione osservata e una situazione attesa. Il confronto non prevede una semplice rilevazione di concordanze o discrepanze tra le due situazioni, ma un interpretazione delle stesse alla luce delle informazioni raccolte e del quadro valoriale ed esperienziale del valutatore Valutare: esiti e processi L interpretazione costituente la valutazione è finalizzata alla determinazione degli esiti del confronto (ossia la situazione osservata differisce/non differisce dalla situazione attesa e se differisce, in cosa) e alla ricostruzione dei processi che hanno determinato tali esiti (ossia perché la situazione osservata differisce/non differisce dalla situazione attesa) Valutare come attribuzione di valore L interpretazione costituente la valutazione è sempre unita ad un attribuzione di valore a specifici attributi dei soggetti o oggetti valutati <<< Oggetti dell azione valutativa>>> in relazione agli scopi del valutatore e al suo sistema di discriminazione tra elementi desiderati, o ammessi, ed elementi non desiderati Criteri di valutazione L operazione di valutazione presuppone quindi un sistema di riferimento, preso a modello e definito a priori, il quale contiene la situazione attesa e i criteri di giudizio, i quali guideranno l interpretazione delle informazioni raccolte Valutare come processo decisionale Gli esiti del confronto, e i processi che li hanno generati, costituiscono la base di conoscenza per l assunzione di specifiche decisioni operative, volte ad incidere sulla situazione in oggetto allo

2 scopo di ridurre la discrepanza tra situazione osservata e attesa. Sulla base delle decisioni da intraprendere si hanno specifici obiettivi dell azione valutativa <<< Obiettivi dell azione valutativa>>>. Se essa viene compiuta prima, durante o dopo il momento formativo si hanno specifici momenti dell azione valutativa <<< Momenti dell azione valutativa>>> Oggetti dell azione valutativa La valutazione può essere condotta su oggetti (ad esempio un corso on line) o soggetti <<< Valutare i soggetti nella formazione assistita dalle Tic>>>(ad esempio un allievo, un gruppo di lavoro), sulla base di determinate loro proprietà (ad esempio la qualità didattica del corso, le competenze <<< Cosa si valuta: processi e prodotti di apprendimento>>> acquisite da coloro che lo hanno frequentato, il suo impatto sulle loro concrete pratiche di lavoro) Cosa si valuta, chi valuta, come si valuta Analizzeremo il problema della valutazione dell apprendimento assistito da Tic, considerando tre dimensioni: cosa si valuta <<< Cosa si valuta: processi e prodotti di apprendimento>>>, chi valuta<<< Chi valuta: attori dell azione valutativa>>>, come si valuta<<< Come si valuta: strumenti per la valutazione on line >>>. L origine degli assi rappresenta la valutazione tradizionale, basata sulle interrogazioni orali del docente che vertono su conoscenze. Espandendosi sui tre assi si va nella direzione di una valutazione autentica, che considera più aspetti dell allievo.

3 Cosa si valuta Eterovalut azione Autovalutazione Valutazione tra pari Valutazione di gruppo Chi valuta Processi Verifica Elaborazione Acquisizione Prodotti Meta qualità Abilità Conoscenze Interrogazioni orali Test di conoscenza e abilità a risposta chiusa Saggi brevi Costruzione di mappe concettuali Produzione di elaborati Portfolio Osservazione delle interazioni Produzione cooperativa di elaborati Come si valuta Valutare i soggetti nella formazione assistita dalle Tic Nella formazione assistita dalla telematica oggetti dell azione valutativa possono essere i singoli allievi o i gruppi di lavoro. La valutazione del gruppo di lavoro come soggetto collettivo è importante, dato che un gruppo, una squadra, può essere composta da ottimi elementi presi singolarmente, ma che sviluppano dinamiche negative quando si trovano a lavorare in quel gruppo Cosa si valuta: processi e prodotti di apprendimento La valutazione opera su processi e prodotti dell apprendimento. Il prodotto dell apprendimento è una competenza, ossia un sapere contestualizzato costituito da conoscenze <<< Conoscenze >>>, abilità <<< Abilità >>>, meta-qualità <<< Meta-qualità >>>. Il processo che porta all acquisizione di competenza comprende i momenti di acquisizione <<< Acquisizione >>>, elaborazione <<< Elaborazione >>>, verifica <<< Verifica >>> Conoscenze Le conoscenze sono costituite da specifiche unità di informazione. Esse costituiscono un sapere posseduto dal soggetto. Ad esempio, sie il soggetto sa quali sono le regole per scrivere un testo in italiano corretto, possiede una conoscenza. La progettazione di una prova di valutazione <<< Progettazione di prove di valutazione >>> parte appunto dallo stabilire le conoscenze e le abilità di cui la prova intende rilevare la presenza o meno.

4 Abilità Le abilità costituiscono il lato pratico-operativo del sapere, esse sono quindi un saper fare. Chi conosce le regole per scrivere un testo in italiano corretto possiede una conoscenza, chi sa effettivamente scrivere un testo in italiano corretto su un determinato tema ha un abilità. La progettazione di una prova di valutazione <<< Progettazione di prove di valutazione >>> parte appunto dallo stabilire le conoscenze e le abilità di cui la prova intende rilevare la presenza o meno Meta-qualità Le meta-qualità sono abilità di livello superiore del soggetto che gli consentono di riflettere sul proprio modo di agire e di modificarlo quando questo non risulti adeguato al perseguimento dei propri scopi. Chi sa scrivere un testo in italiano corretto su un determinato tema ha un abilità, chi sa modificare il suo stile di scrittura in relazione allo specifico interlocutore ha una meta-qualità Acquisizione Nella fase di acquisizione il soggetto esperisce informazione interagendo con l ambiente esterno, attraverso l insegnamento, l interazione con i materiali didattici, l esplorazione dei contenuti della rete, l interazione con i membri del gruppo di apprendimento Elaborazione Nella fase di elaborazione il soggetto decostruisce quanto acquisito e lo ricostruisce in modo personale, assimilando i nuovi concetti nelle proprie strutture cognitive, in vista di un apprendimento significativo <<< Apprendimento significativo>>> degli stessi. Il soggetto costruisce un area di significato intorno agli elementi acquisiti, inserendoli in una rete, una struttura di saperi Verifica Nella fase di verifica il soggetto mette al lavoro le sue competenze <<< Cosa si valuta: processi e prodotti di apprendimento>>> per produrre una performance (ad esempio la risoluzione di un problema, tratto dal mondo reale o ideato ad hoc) e ne controlla la rispondenza con gli obiettivi di apprendimento definiti all inizio del processo. Attraverso la verifica il soggetto acquisisce consapevolezza dell effettiva acquisizione di competenza Apprendimento significativo E un apprendimento che implica che i nuovi concetti appresi vengano incorporati in maniera stabile e permanente nelle strutture cognitive del soggetto, attraverso collegamenti numerosi e capillari con le conoscenze già possedute, in modo che il soggetto abbia un effettiva padronanza di

5 una competenza <<< Cosa si valuta: processi e prodotti di apprendimento>>> relativa al tema in oggetto e non un semplice e sterile ricordo mnemonico Chi valuta: attori dell azione valutativa A seconda degli attori coinvolti nell azione valutativa e del loro ruolo, abbiamo l eterovalutazione <<< Eterovalutazione>>>, l autovalutazione <<< Autovalutazione >>>, la valutazione tra pari <<< Valutazione tra pari>>>, la valutazione di gruppo <<< Valutazione di gruppo>>> Eterovalutazione Nell eterovalutazione, l allievo viene valutato, in presenza o mediante gli strumenti di Cmc, attraverso l interazione con il tutor. Il vantaggio è la possibilità per il discente di avere sempre il tutor come punto di riferimento, lo svantaggio è il grosso carico di lavoro per i tutor, che rende difficile l applicazione di questo modello sui grandi numeri Autovalutazione Nell autovalutazione l allievo confronta <<< Valutazione per confronto >>> i propri prodotti con un insieme di prodotti tipo e ne identifica le differenze, oppure viene chiamato a controllare la conformità del proprio prodotto ad un insieme di criteri. Il vantaggio sta nel favorire l autoriflessione sui propri processi e prodotti. Lo svantaggio è quello di lasciare l allievo solo con se stesso nel processo di apprendimento Valutazione tra pari Nella valutazione tra pari, l allievo fa valutare i propri processi e prodotti ad altri allievi, e simmetricamente valuta i loro. Questo favorisce l autoriflessione di gruppo (quindi da più punti di vista) e coinvolge attivamente gli studenti nel processo di valutazione. Lo svantaggio è il pericolo di conformismo, ossia appiattimento sulle posizioni di eventuali leader presenti nel gruppo Valutazione di gruppo Nella valutazione di gruppo, il gruppo di formazione valuta prodotti e processi per il singolo discente o per l intero gruppo. Tra i vantaggi vi è la possibilità di beneficiare di più punti di vista diversi e delle dinamiche positive dell interazione di gruppo. Tra gli svantaggi, il pericolo di fenomeni di leadership, sudditanza, critiche non costruttive Valutazione per confronto L autovalutazione <<< Autovalutazione >>> da parte dell allievo può avvenire attraverso il confronto del proprio elaborato, creato a partire da uno stimolo dato, con gli elaborati prodotti dagli altri allievi a partire dal medesimo stimolo. Allo stesso modo l allievo può operare una valutazione

6 tra pari <<< Valutazione tra pari >>>, esprimendo una valutazione sugli elaborati altrui anche attraverso il confronto con il proprio Obiettivi dell azione valutativa A seconda degli obiettivi che si pone l azione valutativa, si può avere una valutazione certificativa <<< Valutazione certificativa e sommativa >>>, diagnostica <<< Valutazione diagnostica e formativa >>>, prognostica <<< Valutazione iniziale e prognostica >>>, proattiva<<< Valutazione proattiva e retroattiva>>>, retroattiva<<< Valutazione proattiva e retroattiva>>>, sincronica <<< Valutazione sincronica e diacronica >>>, diacronica <<< Valutazione sincronica e diacronica >>> Momenti dell azione valutativa A seconda degli che l azione valutativa venga messa in atto prima, durante, immediatamente dopo o molto dopo l azione formativa, si può avere una iniziale <<< Valutazione iniziale e prognostica>>>, formativa <<< Valutazione diagnostica e formativa>>>, valutazione sommativa <<< Valutazione certificativa e sommativa >>>, di impatto <<< Valutazione di impatto >>> Valutazione certificativa e sommativa Se l obiettivo è certificare il possesso di determinate competenze <<< Cosa si valuta: processi e prodotti di apprendimento>>> da parte del soggetto, allora si parla di valutazione certificativa. Se questa avviene al termine di un intervento formativo, tale valutazione di dice anche sommativa Valutazione diagnostica e formativa Se l obiettivo è individuare possibili lacune nelle competenze <<< Cosa si valuta: processi e prodotti di apprendimento>>> di un soggetto, si parla di valutazione diagnostica. Se questa avviene durante un percorso formativo, ad esempio al termine di una unità didattica, allo scopo di aiutare il soggetto a prendere coscienza delle proprie lacune e consigliare interventi di recupero, si parla di valutazione formativa Valutazione iniziale e prognostica Se l obiettivo è prevedere quali difficoltà potrà incontrare un discente in un percorso di apprendimento, anche al fine di consigliare un percorso personalizzato, tale valutazione si dice prognostica. Se tale valutazione viene messa in atto prima di iniziare un percorso formativo, essa si dice iniziale Valutazione di impatto

7 Se la valutazione avviene a distanza di tempo, dopo un intervento formativo, allo scopo di studiare l impatto che questo ha avuto sull allievo e sul contesto in cui vive e opera, si parla di valutazione successiva o di impatto Valutazione proattiva e retroattiva Se lo scopo è stimolare il soggetto ad acquisire nuove competenze<<< Cosa si valuta: processi e prodotti di apprendimento>>>, la valutazione si dice proattiva. Se lo scopo è indurre a riflettere sulla precedente acquisizione di competenze, la valutazione si dice retroattiva Valutazione sincronica e diacronica Se la valutazione punta a fotografare una situazione qui ed ora, si dice di determinazione della situazione o sincronica, se punta a comparare situazioni degli stessi soggetti lungo un arco temporale, si dice valutazione di progresso o diacronica. Unità Gli strumenti della valutazione on line Come si valuta: strumenti per la valutazione on line A seconda che lo scopo sia quello di valutare conoscenze <<< Conoscenze >>>, abilità <<< Abilità >>> o meta-qualità <<< Meta-qualità>>> dei soggetti è possibile utilizzare strumenti diversi, quali interrograzioni orali <<< Interrogazioni orali attraverso strumenti di Cmc>>>, test di conoscenza e abilità a risposta chiusa <<< Test di conoscenza e di abilità a risposta chiusa >>>, saggi brevi <<< Saggi brevi>>>, mappe concettuali <<< Mappe concettuali >>>, produzione di elaborati da parte del singolo <<< Produzione di elaborati >>>, portfolio <<< Portfolio >>>, osservazione delle interazioni <<< Osservazione delle interazioni >>>, produzione cooperativa di elaborati <<< Produzione cooperativa di elaborati >>> Interrogazioni orali attraverso strumenti di Cmc Se lo scopo è valutare conoscenze e abilità del singolo soggetto è possibile servirsi degli strumenti di Cmc per sottoporre gli allievi ad interrogazioni orali attraverso strumenti di comunicazione sincroni, quali ad esempio la videoconferenza. Gli svantaggi sono la necessità di apparecchiature dedicate e linee veloci e gli alti costi Saggi brevi La valutazione con saggi brevi prevede domande <<< Item con saggio breve >>> (dette anche item) a risposta aperta (che possono anche includere problemi ed esercizi <<< Item con problemi e esercizi a risposta aperta>>>), alle quali l allievo deve rispondere in uno spazio limitato. La correzione non può essere automatizzata, ma è possibile proporre all allievo i criteri da

8 utilizzare nella correzione del proprio elaborato e di assegnarsi un punteggio per ogni criterio soddisfatto, autovalutando la propria prestazione Item con saggio breve Queste domande chiedono all allievo di comporre un saggio di lunghezza breve e specificata. Esse monitorano le conoscenze dell allievo ma anche la sua abilità di utilizzarle per argomentare una propria tesi, e quindi anche la capacità espressiva dell allievo Item con problemi e esercizi a risposta aperta Sono analoghi agli item con problemi ed esercizi a risposta chiusa <<< Test di conoscenza e di abilità a risposta chiusa>>>, ma prevedono che l allievo specifichi tutti i passaggi della risoluzione di un problema, oppure che ragioni su una situazione reale o ipotetica, producendo un saggio breve in risposta allo stimolo dato Mappe concettuali E possibile chiedere al soggetto di disegnare una mappa concettuale a partire da uno stimolo dato, monitorando così i concetti assimilati, la capacità dell allievo di inserirli in un sistema coerente di relazioni, la capacità di sviluppare relazioni originali tra concetti, ossia relazioni non espresse in modo esplicito all interno dei materiali di studio. La valutazione avviene sulla base di criteri <<< Criteri di valutazione delle mappe concettuali>>> definiti Criteri di valutazione delle mappe concettuali Possibili criteri di valutazione della mappa sono: a) il numero di concetti espressi; b) la congruenza dei concetti con il dominio conoscitivo in questione; c) il numero di relazioni esplicitate; d) la pertinenza di tali relazioni; e) il numero di relazioni originali trovate; f) la capacità di argomentare e difendere le scelte che hanno portato alla costruzione della mappa Produzione di elaborati E possibile chiedere al soggetto di produrre un elaborato, quale ad esempio una relazione, una raccolta ragionata di link a risorse on line, una nota critica ad un sito o ad un testo, ecc. La valutazione deve essere fatta sulla base di un elenco di criteri, resi espliciti dal tutor prima dell inizio del lavoro e condivisi dall intera classe virtuale.

9 Portfolio Lo studente può collezionare i suoi migliori elaborati su un dato tema, prodotti in un dato periodo, selezionandoli e classificandoli secondo determinati criteri, componendo un portfolio. La valutazione avviene sulla base degli elaborati stessi, della loro evoluzione nel tempo (valutazione diacronica <<< Valutazione sincronica e diacronica>>>) e della conformità della selezione degli elaborati con i criteri definiti Osservazione delle interazioni E possibile valutare l operato del singolo allievo all interno di un gruppo mediante l osservazione sistematica dei processi comunicativi che avvengono nel gruppo, quando questo metta in atto un processo di cooperazione volto al raggiungimento di un obiettivo, ad esempio, la redazione di un elaborato collettivo. Le interazioni sugli strumenti di Cmc possono così essere rilevate e classificate in categorie <<< Categorie di interazioni e valutazione dei processi di gruppo>>> Categorie di interazioni e valutazione dei processi di gruppo Ciascun soggetto nel gruppo può dare o ricevere informazioni e valutazioni, prendere o subire decisioni, eseguire azioni <<< Azioni del singolo soggetto nel gruppo >>> o subirle. Se il gruppo funziona, queste interazioni seguiranno una sequenza logica, ad esempio ricevere l informazione -> valutarla -> prendere una decisione -> eseguirla. Sulla base del processo è possibile valutare il gruppo, sulla base del chi fa cosa è possibile valutare il singolo Azioni del singolo soggetto nel gruppo Esempi di azioni del singolo soggetto nel gruppo possono riguardare, ad esempio: bloccare o sbloccare la situazione, coordinare il lavoro, incoraggiare il gruppo, fornire una sintesi del lavoro, ricomporre i conflitti, mantenere ordine nel gruppo, porre degli obiettivi di riferimento, seguire l opinione della maggioranza o proporre alternative, cercare il riconoscimento personale, imporsi come leader, non partecipare attivamente Produzione cooperativa di elaborati Assegnando al gruppo di formazione il compito di produrre un elaborato cooperativo, ad esempio una relazione, un sito a tema, un elenco ragionato di link, è possibile valutare il funzionamento del gruppo nel suo complesso e le prestazioni che i singoli possono offrire in quel gruppo, valutando le interazioni del gruppo <<< Categorie di interazioni e valutazione dei processi di gruppo>>> e gli apporti dei singoli Test di conoscenza e di abilità a risposta chiusa

10 I test di profitto (o prove oggettive di profitto) a risposta chiusa sono costituiti da elenchi di domande (dette item) e sono particolarmente efficaci nelle procedure di autovalutazione formativa, nella sua veste diagnostica <<< Valutazione diagnostica e formativa >>> e prognostica <<< Valutazione iniziale e prognostica >>>. La risposta chiusa consente la correzione automatizzata. Bibliografia ragionata Coggi C., Notti A. M., Docimologia, Lecce, Pensa Multimedia, Il testo raccoglie le recenti istanze sulla valutazione scolastica, in tutte le sue forme, dalla valutazione degli allievi alla valutazione di sistema. Contiene interessanti contributi sulla valutazione dell apprendimento assistito dalle Tic. Calonghi L., Valutazione, La Scuola, Brescia Il testo è un classico sulle tematiche della valutazione oggettiva. Si sofferma in particolare sui problemi legati all ottenimento di una valutazione valida e attendibile. M. L. Giovannini, La valutazione, Ethel, Milano Santelli Beccegato L., Varisco B. M., Docimologia. Per una cultura della valutazione, Milano, Guerini, Varisco B. M., Metodi e pratiche di valutazione, Milano, Guerini, I testi forniscono una interessante panoramica delle pratiche che vanno sotto il nome di valutazione autentica, ossia una valutazione volta a rilevare le effettive competenze dell allievo e non la sua semplice capacità di apprendimento meccanico. Mason L., Valutare a scuola. Prodotti, processi e contesti dell apprendimento, Padova, Cleup, Il testo introduce il lettore alle nuove prospettive di valutazione, volte a superare i classici test di profitto in favore di una valutazione che tenga conto di una molteplicità di aspetti del soggetto. Intrieri L., Le prove oggettive nella valutazione scolastica, La Scuola, Brescia E una guida, moderna e completa, alla costruzione di prove oggettive. B. M. Di Bilio, New Test. Uno strumento informatico per la verifica dell apprendimento, Cisu, Roma Un testo chiaro sintetico sulla costruzione di prove oggettive e sull analisi e calibrazione degli item. Contiene anche un programma software per la correzione automatica e il calcolo degli indici. Novak J. D., Gowin D. B. (1989), Imparando a imparare, Torino, Sei. Novak J. D., L apprendimento significativo. Le mappe concettuali per creare e usare la conoscenza, Trento, Erickson, 2001.

11 Questi due testi introducono il lettore all utilizzo delle mappe concettuali nella didattica e nella valutazione, collegando il discorso con le problematiche legate all apprendimento significativo. Quaglino G. P. (1979), La valutazione dei risultati della formazione, Milano, Angeli. Il testo contiene interessanti spunti sulla valutazione di processo nel lavoro di gruppo, applicata nell ambito della formazione aziendale. Domenici G., Manuale della valutazione scolastica, Laterza, Bari E un manuale, corredato da numerosi esempi che affronta in modo ampio ed esaustivo i problemi della valutazione scolastica. B. Vertecchi, Manuale della valutazione, Editori Riuniti, Roma Il testo contiene interessanti spunti sulla valutazione oggettiva e sull elaborazione dei dati valutativi. R. Trinchero, Manuale di ricerca educativa, Franco Angeli, Milano Il testo tratta il tema della ricerca educativa soffermandosi sui problemi della valutazione dell apprendimento e della valutazione di sistema. Sitografia formare.erickson.it La newsletter Form@re della Erickson. Aggiorna sulle ultime novità nel campo della formazione assistita dalle Tic, in Italia e nel mondo, con numeri tematici dal taglio sintetico ed efficace. Un portale di risorse per la didattica e per la valutazione gestito dal Dipartimento di Scienze dell educazione dell Università degli studi di Torino. Risorse on line per la Docimologia, a cura del portale Far Il sito dell Invalsi Istituto Nazionale per la Valutazione del Sistema di Istruzione. Il portale italiano della valutazione. Contiene un ricco glossario di termini utilizzati nella ricerca valutativa. Le recenti istanze inerenti la valutazione dell apprendimento, in questo corso on line elaborato a partire da spunti e riflessioni di Bianca Maria Varisco. Un corso on line sulla valutazione dell apprendimento attraverso prove oggettive, elaborato a partire da spunti e riflessioni di Cristina Coggi.

12 Un saggio di Michele Pellerey sul portfolio e sulle sue possibili applicazioni nella scuola. %20Laboratorio%20Prof_P_Bove.pdf Spunti e riflessioni sulla valutazione dell apprendimento nella scuola. Materiali utili per continuare a riflettere sul problema della valutazione. Spunti di riflessione e proposte di attività da sperimentare nella pratica educativa 1. Provate a pensare a come avete utilizzato la valutazione formativa <<< Valutazione diagnostica e formativa >>> nella vostra pratica di docenti. Eventuali interventi di valutazione formativa sono stati efficaci? Gli studenti hanno capito meglio cosa il docente si aspettava da loro dopo la sessione di valutazione formativa? Gli studenti hanno capito meglio quali erano gli obiettivi didattici dopo la sessione di valutazione formativa? Se non l avete mai utilizzata provate a pensare a come potreste utilizzarla e quali potrebbero essere i vantaggi per voi e per i vostri allievi. 2. Provate a far svolgere un saggio breve ai vostri allievi su un tema definito. Dopodiché rendete espliciti i criteri di correzione del saggio e chiedete a ciascun allievo di far correggere il suo elaborato dal compagno di banco sulla base dei criteri definiti. Errori e correzioni potranno poi essere discussi, prima a due e poi in gruppo. Quali effetti ha la valutazione tra pari <<< Valutazione tra pari>>> sulla classe? Gli allievi vi sembrano più motivati? Vi sembrano particolarmente severi con i compagni? 3. Dividete la classe a gruppi, assegnate un compito a ciascun gruppo e osservate attentamente lo svolgimento dei lavori. Nei gruppi emergono dinamiche particolari? Emergono leader e figure subalterne? Come si struttura il processo decisionale del gruppo? Quali gruppi sembrano funzionare meglio? Queli sembrano funzionare peggio? Chiedete poi al gruppo di valutare il proprio operato e quello dei singoli membri sulla base di criteri definiti. Quali dinamiche emergono? Quali effetti ha la valutazione di gruppo <<< Valutazione di gruppo>>> sui singoli gruppi e sulla classe? Smontate i gruppi e ricomponetene di nuovi, anche sulla base delle informazioni raccolte nella sesione di osservazione della prima attività. Assegnate un compito a questi nuovi gruppi. I gruppi così formati sviluppano dinamiche diverse? Vi sembrano più efficienti? La partecipazione di tutti i singoli alle attività del gruppo è stata incrementata?

13 APPROFONDIMENTO TEMATICO 14.2 VALUTAZIONE DELL APPRENDIMENTO BASATA SU SISTEMI AUTOMATICI di Roberto Trinchero (si ringraziano Irene Benedetto e Andrea De Magistris per l analisi dei software di valutazione automatizzata) Abstract In questo approfondimento tematico vengono illustrati resquisiti che dovrebbe rispettare un sistema automatico per la valutazione dell apprendimento e le principali caratteristiche di alcuni software per la valutazione automatizzata attraverso Tic, scelti tra quelli più diffusi. Dei software proposti è possibile trovare delle versioni demo gratuite scaricabili on line. Unità Requisiti dei software per la valutazione dell apprendimento Caratteristiche dei sistemi automatici per la valutazione dell apprendimento Un sistema automatico per la valutazione dell apprendimento, basato su Tic, deve operare in modo da consentire una valutazione diagnostica e formativa <<< Valutazione diagnostica e formativa >>>, di processo e di prodotto <<< Cosa si valuta: processi e prodotti di apprendimento>>>, proattiva e retroattiva <<< Valutazione proattiva e retroattiva>>>, sincronica e diacronica <<< Valutazione sincronica e diacronica >>> Requisiti minimi di un software di valutazione attraverso test di profitto Il software deve consentire la correzione automatizzata del test e offrire all allievo un riscontro immediato del raggiungimento o meno degli obiettivi di apprendimento, aiutandolo ad identificare le sue difficoltà e a progettare eventuali percorsi di recupero <<< Progettazione percorsi di recupero>>>. In aggiunta deve tenere traccia, in un database condiviso <<< Database condiviso di risposte al test di profitto o saggi brevi>>>, di tutte le risposte alle prove date dall intera classe virtuale Requisiti minimi di un software di valutazione attraverso saggi brevi Il software deve proporre all allievo, dopo che egli ha composto il suo elaborato, i criteri attraverso i quali autovalutarsi, aiutandolo ad identificare le sue difficoltà e a progettare eventuali percorsi di recupero. In aggiunta deve tenere traccia, in un database condiviso <<< Database condiviso di risposte al test di profitto o saggi brevi>>>, di tutti i saggi composti dall intera classe virtuale, per consentire all allievo di autovalutarsi per confronto <<< Valutazione per confronto >>> Requisiti minimi di un software di valutazione attraverso mappe concettuali Il software deve consentire all allievo di comporre una mappa concettuale <<< Mappe concettuali>>> e di caricarla su un database condiviso <<< Database condiviso di mappe

14 concettuali ed elaborati>>> (oppure di importare mappe create con software appositi <<< Software di valutazione attraverso mappe concettuali>>>), dove il tutor potrà vederla e valutarla e l allievo stesso potrà accedere, dopo aver caricato la sua, alle altre mappe create dalla classe virtuale e autovalutarsi per confronto <<< Valutazione per confronto >>> Requisiti minimi di un software di valutazione attraverso produzione di elaborati e portfolio Il software deve consentire di caricare gli elaborati <<< Produzione di elaborati>>> degli allievi su un database condiviso <<< Database condiviso di mappe concettuali ed elaborati>>>. Questi devono essere corredati di abstract, commenti dell autore e spazio per i commenti di terzi (tutor o altri allievi) Requisiti minimi di un software di valutazione attraverso osservazione delle interazioni e produzione cooperativa di elaborati Il software deve consentire la comunicazione tra i membri del gruppo di lavoro e il caricamento di materiali e semilavorati, con abstract e commenti relativi, in un database condiviso <<< Database condiviso di mappe concettuali ed elaborati>>>. Deve tenere traccia di tutte le interazioni <<< Osservazione delle interazioni >>> e ricostruirne percorsi e sequenze Database condiviso di risposte al test di profitto o saggi brevi Un software per la valutazione on line attraverso test di profitto <<< Test di conoscenza e di abilità a risposta chiusa>>> o saggi brevi <<< Saggi brevi >>> deve prevedere un database condiviso in cui confluiscano le risposte degli allievi. Questo deve poter essere interrogato dal tutor, per avere un monitoraggio, sincronico <<< Valutazione sincronica e diacronica >>> e diacronico <<< Valutazione sincronica e diacronica >>>, dei singoli allievi e della classe nel suo complesso, e dagli allievi stessi per le operazioni di valutazione per confronto <<< Valutazione per confronto >>> Database condiviso di mappe concettuali ed elaborati Un software per la valutazione attraverso mappe concettuali <<< Mappe concettuali>>>, produzione di elaborati <<< Produzione di elaborati>>> o portfolio <<< Portfolio>>> deve prevedere un database <<< Software di valutazione attraverso produzione di elaborati e portfolio>>> condiviso in cui ogni allievo possa caricare i propri prodotti, rendendoli visibili all intera classe virtuale Ambiente di lavoro per la produzione cooperativa di elaborati Per la valutazione attraverso l osservazione delle interazioni <<< Osservazione delle interazioni >>> e la produzione cooperativa di elaborati <<< Produzione cooperativa di elaborati >>> è necessario un ambiente di lavoro <<< Software di valutazione attraverso osservazione delle interazioni e produzione cooperativa di elaborati>>> che consenta la

15 comunicazione tra i membri del gruppo di lavoro e il deposito di informazioni e semilavorati sull ambiente stesso e che tenga traccia di tutte le interazioni, consentendo, a richiesta, la ricostruzione delle sequenze Progettazione percorsi di recupero Nella valutazione formativa <<< Valutazione diagnostica e formativa>>> il software deve indicare con precisione all allievo quali obiettivi formativi non ha raggiunto e suggerire percorsi di recupero, ad esempio specificando i paragrafi del corso da rivedere per colmare le sue lacune, oppure suggerire materiali di approfondimento. Unità Software per la valutazione assistita da Tic Software di valutazione attraverso test di profitto Tra i software di valutazione attraverso test di profitto <<< Test di conoscenza e di abilità a risposta chiusa >>> è possibile segnalare JsVal <<< JsVal>>>, Perception <<< Perception>>>, QuizFaber <<< QuizFaber>>>, WebQuiz 2002 <<< WebQuiz 2002>>>, Teaching Templates <<< Teaching Templates>>>, WinAsks 2000 <<< WinAsks 2000>>> JsVal JsVal è un software gratuito sviluppato presso il Dipartimento di Scienze dell Educazione e della Formazione dell Università di Torino, che consente di costruire test di profitto <<< Test di conoscenza e di abilità a risposta chiusa >>> e saggi brevi <<< Saggi brevi>>> per la valutazione su Internet. Il programma è costituito da uno script Javascript e da un modulo Asp per la memorizzazione delle risposte su un server Windows, ed è scaricabile all indirizzo Perception Perception 3 è un software, prodotto dalla Question Mark Computing, che permette di costruire test di profitto <<< Test di conoscenza e di abilità a risposta chiusa >>> e di renderli disponibili su Web come sessioni aperte o come sessioni sicure, accessibili con username e password. I test vengono creati attraverso un interfaccia Windows classica. Si possono utilizzare dei template per personalizzare l aspetto grafico dell interfaccia verso l allievo. E possibile scaricare la versione demo dal sito della Question Mark << o da Campustore.it << ult.asp&barra_sx=/barre/br_sx_qm.asp>> QuizFaber

16 QuizFaber è un software freeware per Windows che permette di realizzare test di profitto <<< Test di conoscenza e di abilità a risposta chiusa >>> in formato Html attraverso un interfaccia Windows classica. I risultati possono essere salvati su un server Web oppure inviati per posta elettronica. E possibile personalizzare immagini di sfondo, colori, font, suoni. QuizFaber è gratuito ed è scaricabile dal sito << WebQuiz 2002 WebQuiz 2002 è un programma realizzato dalla SmartLite Software per la creazione di test di profitto <<< Test di conoscenza e di abilità a risposta chiusa >>> in formato Html, mediante un intefaccia Windows classica. E possibile controllare l aspetto grafico del test attraverso modelli predisposti. Il sito di WebQuiz mette a disposizione uno spazio gratuito per ospitare i test di profitto creati dall utente. La versione demo di Web quiz può essere scaricata dal sito della SmartLite << Gli utenti possono pubblicare i propri test sul sito WebQuiz.it << Teaching Templates Teaching Templates è un software molto economico che consente di creare test di profitto <<< Test di conoscenza e di abilità a risposta chiusa >>> su Web. E possibile utilizzare i modelli predefiniti e cambiare l aspetto grafico mediante opzioni personalizzabili. E possibile scaricare una versione demo di Teaching Templates dal sito della casa produttrice la Tac Software << WinAsks 2000 WinAsks 2000 è un programma per la creazione, la gestione e l'analisi di test di profitto <<< Test di conoscenza e di abilità a risposta chiusa>>>. Le domande possono essere corredate da immagini, suoni ed equazioni. WinAsks 2000 consente lo svolgimento dei test a video (sia su un Pc singolo, sia in un laboratorio informatico utilizzando WinAsks Player), su carta (con impaginazione automatica delle domande), su Web (invio tramite delle risposte, o salvataggio su server Windows, Unix, Linux). E possibile scaricare una versione demo dal sito della SmartLite << Software di valutazione attraverso mappe concettuali Non sono diffusi al momento software che automatizzino la valutazione attraverso mappe concettuali. E però possibile utilizzare software concepito per disegnare mappe concettuali per crearle e scambiarsele on line o metterle a disposizione su databases condivisi <<< Database condiviso di mappe concettuali ed elaborati>>>. Tra i software gratuiti segnaliamo CMap (cmap.coginst.uwf.edu <<<cmap.coginst.uwf.edu>>>) e WMap ( <<< Quest ultimo software è fruibile direttamente on line attraverso il browser Explorer 6.

17 Software di valutazione attraverso produzione di elaborati e portfolio Non sono diffusi al momento software appositi. Sono disponibili comunque numerosi software e linguaggi di programmazione per creare database su Web server <<< Database condiviso di mappe concettuali ed elaborati>>> aggiornabili on line, configurabili a piacere dal docente. Tra i linguaggi di programmazione segnaliamo Asp e Asp.Net ( <<< per Windows, e Php ( <<< per Unix/Linux Software di valutazione attraverso osservazione delle interazioni e produzione cooperativa di elaborati Sono disponibili numerose piattaforme per la formazione on line che mettono a disposizione forum e database on line <<< Database condiviso di mappe concettuali ed elaborati>>> attraverso i quali i corsisti possono interagire. Interrogando in modo mirato questi database è possibile ricostruire le interazioni tra corsisti e valutare i processi di gruppo <<< Categorie di interazioni e valutazione dei processi di gruppo>>>. Tra le piattaforme che consentono uso gratuito segnaliamo Blackboard ( <<< Bibliografia Coggi C., Notti A. M., Docimologia, Lecce, Pensa Multimedia, Il testo raccoglie le recenti istanze sulla valutazione scolastica, in tutte le sue forme, dalla valutazione degli allievi alla valutazione di sistema. Contiene interessanti contributi sulla valutazione dell apprendimento assistito dalle Tic. Trinchero R., Todaro P., Nuovi media per apprendere. Principi di formazione a distanza in rete, Torino, Tirrenia, Il testo introduce il lettore agli aspetti legati alla progettazione di ambienti di apprendimento basati sulle Tic, ponendo un accento particolare sull importanza dell integrazione tra ambiente di apprendimento e sistema di valutazione degli allievi. Sitografia Caratteristiche e requisiti del software per la valutazione dell apprendimento. formare.erickson.it La newsletter Form@re della Erickson. Aggiorna sulle ultime novità nel campo della formazione assistita dalle Tic, in Italia e nel mondo, con numeri tematici dal taglio sintetico ed efficace.

18 Spunti di riflessione e proposte di attività da sperimentare nella pratica educativa 1. Scaricate la versione demo di uno dei software per la valutazione dell apprendimento illustrati precedentememente e provate a comporre una prova oggettiva finalizzata all autovalutazione <<< Autovalutazione >>> formativa <<< Valutazione diagnostica e formativa >>> dei vostri allievi. Fate utilizzare la prova ai vostri allievi nel laboratorio informatico della scuola. Quali sono le reazioni degli allievi? La motivazione all apprendimento è diversa? Gli allievi tendono a comunicare tra di loro per risolvere la prova? Ripetete le sessioni di autovalutazione formativa, anche con prove diverse, e vedete come queste incidono sul profitto complessivo degli allievi. 2. Provate ad osservare <<< Osservazione delle interazioni >>> in modo sistematico le interazioni comunicative <<< Categorie di interazioni e valutazione dei processi di gruppo>>> che avvengono su un forum a cui partecipate ed analizzatele criticamente. Valutate i contributi dei singoli partecipanti e gli apporti alla discussione. Chi prende più spesso l iniziativa? Chi propone argomenti nuovi? Chi pone problemi? Chi offre soluzioni? Tracciate un profilo dei partecipanti al forum sulla base di tali informazioni. 3. Dividete la classe a gruppi, assegnate a ciascun gruppo il compito di costruire un elaborato (ad esempio una piccola ricerca, un collage di immagini, una mappa concettuale, ecc.) su un dato tema. Il tema deve essere lo stesso per tutti i gruppi. Raccogliete tutti gli elaborati e invitate tutti i gruppi a consultare ed analizzare criticamente gli elaborati degli altri gruppi. Dopodiché assegnate, agli stessi gruppi di prima, il compito di costruire un nuovo elaborato su un tema analogo ma diverso dal precedente e confrontate il primo e il secondo lavoro di ogni gruppo. I due lavori differiscono in modo significativo? Prendendo visione dei lavori altrui i gruppi hanno avuto spunti per migliorare la propria produzione? La condivisione <<< Database condiviso di mappe concettuali ed elaborati>>> e l analisi degli elaborati altrui favorisce la creatività dei gruppi e dei singoli? Notate quali spunti tratti dal primo lavoro di gruppo si sono maggiormente diffusi negli altri gruppi nel secondo lavoro e se la condivisione ha favorito l uniformità dei prodotti o la loro diversità.

19 APPROFONDIMENTO 14.3 VALUTAZIONE DELLA QUALITÀ DEI SISTEMI FORMATIVI BASATI SULLE TIC di Roberto Trinchero Abstract In questo approfondimento verrà trattato il tema della valutazione della qualità dei sistemi formativi basati sulle Tic, definendo criteri e linee guida generali applicabili a più prodotti, dai corsi erogati on line al software con finalità didattiche. L insieme di criteri proposti può essere utilizzato come sistema di indicatori dal quale selezionare sottoinsiemi per la valutazione e la comparazione di specifici prodotti e ambienti di apprendimento. Unità Valutare sistemi formativi: concetti fondamentali Valutazione della qualità dei sistemi formativi basati sulle Tic Abbiamo visto come le Tic offrano numerose possibilità sul piano didattico e valutativo. Quanto più i sistemi formativi concreti implementeranno queste possibilità, tanto più alta sarà l efficacia di un sistema formativo Efficacia di un sistema formativo Un sistema formativo è tanto più efficace quanto più riesce a raggiungere gli obiettivi didattici che esso si propone. Il raggiungimento degli obiettivi didattici è legato all effettivo conseguimento di competenze <<< Cosa si valuta: processi e prodotti di apprendimento>>> da parte degli allievi. L efficacia del sistema si accompagna all efficienza <<< Efficienza di un sistema formativo >>> del sistema Efficienza di un sistema formativo Un sistema formativo è tanto più efficiente quanto più riesce a raggiungere i propri obiettivi formativi con il minimo dispendio di risorse, umane e materiali Valutazione sulla base di indicatori La valutazione della qualità di un sistema formativo viene fatta sulla base di sistemi di indicatori <<< Indicatori di qualità del sistema formativo basato su Tic>>>, i quali definiscono i criteri su cui basare la valutazione. Più criteri vengono soddisfatti, più sarà alta la qualità del sistema Indicatori di qualità del sistema formativo basato su Tic Gli indicatori di qualità nascono dalla definizione operativa che è stata assegnata ai criteri di qualità. Tale definizione operativa specifica con precisione gli elementi del sistema, empiricamente

20 osservabili (appunto gli indicatori), dei quali è possibile rilevare <<< Rilevazione empirica degli indicatori>>> l assenza, la presenza, l intensità o la frequenza Rilevazione empirica degli indicatori Se, ad esempio, un indicatore di qualità è il supporto offerto dai tutor in un corso telematico, si potrebbe rilevare, osservando lo svolgimento del corso, se il supporto dei tutor è presente o assente e se è presente con quale frequenza è possibile chiedere questo supporto Un sistema di indicatori per valutare la qualità dei sistemi formativi basati su Tic Proponiamo un sistema di indicatori basato su quattro dimensioni <<< Dimensioni di un sistema di indicatori>>>: la qualità dell apprendimento <<< Valutazione della qualità dell apprendimento>>>; la qualità dell insegnamento <<< Valutazione della qualità dell insegnamento>>>; la qualità dell ambiente di apprendimento <<< Valutazione della qualità dell ambiente di apprendimento>>>; la qualità delle interazioni <<< Valutazione della qualità dell interazione>>>. Il sistema è stato elaborato da chi scrive in collaborazione con Irene Benedetto <<< Dimensioni di un sistema di indicatori Sotto il termine dimensioni si definiscono gruppi di indicatori tra di loro in qualche modo correlati e indipendenti dagli indicatori contenuti in altre dimensioni. Unità Valutare la qualità dell apprendimento Valutazione della qualità dell apprendimento Rientrano in questa dimensione tutti quegli elementi legati all apprendimento <<< Apprendimento dei soggetti nei sistemi formativi basati sulle Tic>>> dei soggetti: monitoraggio delle competenze di base e delle motivazioni dello studente <<< Qualità del monitoraggio delle competenze di base e delle motivazioni dello studente >>>, contenuti delle lezioni <<< Qualità dei contenuti delle lezioni>>>, strutturazione del percorso formativo <<< Qualità della strutturazione del percorso formativo>>>, qualità della partecipazione <<< Qualità della partecipazione>>>, qualità dei risultati <<< Qualità dei risultati degli studenti>>> Apprendimento dei soggetti nei sistemi formativi basati sulle Tic E un processo volto all acquisizione di competenze <<< Cosa si valuta: processi e prodotti di apprendimento>>> che può spaziare tra due polarità: autoapprendimento che deriva dall interazione con i materiali e gli strumenti messi a disposizione dal corso o apprendimento collaborativo che deriva dall interazione e dagli scambi con gli altri attori del processo formativo (tutor, gruppo dei pari) all interno di una comunità di apprendimento.

21 Qualità del monitoraggio delle competenze di base e delle motivazioni dello studente La conoscenza approfondita delle competenze, di base e trasversali, e delle motivazioni con cui lo studente si accosta al corso, consente la formazione di gruppi di lavoro con competenze bilanciate e la messa in atto di percorsi individualizzati. La qualità del corso è sic uramente più elevata se esso prevede il monitoraggio di questi elementi ed eventuali percorsi di recupero per colmare le carenze più importanti Qualità dei contenuti delle lezioni Viene spesso erroneamente considerata la qualità del corso in senso assoluto. In questa dimensione rientrano la qualità dei materiali didattici <<< Qualità dei materiali didattici>>>, l appropriatezza dei contenuti delle lezioni <<< Appropriatezza dei contenuti delle lezioni>>>, la possibilità di adeguamento del programma del corso in base alle esigenze dei partecipanti <<< Possibilità di adeguamento del programma del corso in base alle esigenze dei partecipanti>>> Qualità dei materiali didattici Si ha quando il corso utilizza materiali aggiornati, di autori prestigiosi, pertinenti con gli obiettivi prefissati e con il livello di dettaglio e di approfondimento definito dagli obiettivi stessi, quando i materiali sono completi e facilmente comprensibili, hanno una buona organizzazione interna, sono ricchi di esempi, preferibilmente tratti dal mo ndo reale e non inventati ad hoc, e presentano i problemi da più punti di vista Appropriatezza dei contenuti delle lezioni Si ha quando i contenuti corrispondono a quelli elencati nel programma, rispecchiano le aspettative degli studenti, sono proporzionati alle loro capacità e coerenti con i prerequisiti definiti per l accesso al corso Possibilità di adeguamento del programma del corso in base alle esigenze dei partecipanti Si ha quando i programmi hanno articolazioni non rigide in modo da poter variare in base alle esigenze dei partecipanti e sono sufficientemente flessibili da accettare e incorporare eventuali proposte di approfondimento su temi specifici Qualità della strutturazione del percorso formativo Si ha quando viene curata la definizione dei termini specifici della materia (non devono essere utilizzati nel discorso se prima non sono stati definiti), vengono rispettati i vincoli di propedeuticità sugli argomenti (i moduli didattici devono rispettare un ordine sequenziale e uno logico), vengono fornite spiegazioni in anticipo sui materiali didattici impiegati, sulle tecnologie che li veicolano, e sul modo in cui fruirne.