La valutazione nei processi di formazione a distanza

Transcript

1 La valutazione nei processi di formazione a distanza A cura di Guglielmo Trentin CNR Istituto Tecnologie Didattiche, Genova Affrontare il problema della valutazione nella FaD significa analizzare in tutte le sue componenti un sistema complesso che, pur ruotando intorno al suo fine ultimo, e cioè l apprendimento di una data conoscenza, abilità o competenza, si regge su una pluralità di altri fattori come il processo di progettazione dell intervento formativo, lo sviluppo dei materiali didattici correlati, la sua gestione a distanza, la sua ricaduta in termini operativi, economici, ecc. Ciascuno di questi fattori deve quindi diventare oggetto di valutazione nell ottica di fornire elementi utili alla misurazione non solo dei risultati del processo formativo messo in atto ma anche dell intero percorso che lo ha caratterizzato: dal rilevamento di una data esigenza formativa fino alla sua soddisfazione. 1. LA VALUTAZIONE DEL PROCESSO DI PROGETTAZIONE La realizzazione di un prodotto FaD di qualità passa necessariamente attraverso una buona progettazione. Il punto è quindi quello di definire su quali basi sia possibile valutarla. La risposta più immediata sembrerebbe essere: il raggiungimento degli scopi che l azione formativa si prefigge (ad esempio, l apprendimento di un dato contenuto). Indubbiamente, sebbene questa rappresenti una condizione necessaria, non può però considerarsi sufficiente per poter formulare giudizi di merito riguardo la qualità della progettazione del corso. Ad esempio, in un azione formativa in rete, eventuali errori di progettazione potrebbero essere tamponati in itinere dall abilità dei tutor. In questo senso, il monitoraggio diretto delle attività corsuali diventa uno degli elementi chiave per valutare la bontà o meno delle scelte progettuali, oltre che l efficacia dell azione dei tutor e degli esperti. In tab. 1 è riportata una check-list pensata per guidare l analisi qualitativa della progettazione didattica di un corso a distanza (Trentin, 2001). 1

2 progettazione didattica sono stati tenuti in giusta considerazione i vincoli di progetto? sono stati correttamente definiti i prerequisiti di partecipazione all azione formativa? sono stati raggiunti gli obiettivi dichiarati? E se no, perché? la strutturazione dei contenuti ha favorito il raggiungimento di tali obiettivi? la flessibilizzazione dell azione formativa ha favorito il modellamento del corso alle reali esigenze formative dei partecipanti? le strategie e le metodologie didattiche hanno favorito il raggiungimento degli obiettivi educativi? le attività proposte ai partecipanti hanno facilitato l applicazione delle strategie didattiche? il dimensionamento dei gruppi virtuali (nel caso di formazione in rete) è risultato funzionale alle attività proposte? i materiali didattici e le tecnologie utilizzate sono risultati efficaci e di facile utilizzo? la tempistica del corso è risultata adeguata alle attività proposte ai corsisti? lo staff di tutoring ha facilitato la partecipazione al corso? gli esperti sono stati efficaci nei loro interventi? ci sono stati problemi di interazione fra lo staff di tutoring e gli esperti d area (nel caso della formazione in rete)? le modalità di valutazione dei corsisti si sono dimostrate efficaci nella misurazione degli apprendimenti e della partecipazione al corso? progettazione dell architettura di comunicazione (nel caso di formazione in rete) sono stati correttamente individuati i flussi di comunicazione fra i partecipanti funzionali allo svolgimento delle attività corsuali? sono stati scelti i servizi di rete più idonei? la struttura logica di comunicazione è risultata adeguata alle esigenze di iterazione e di scambio dei materiali fra i partecipanti? Tab. 1 Check list per l analisi qualitativa della progettazione di un corso a distanza 2. LA VALUTAZIONE DEI MATERIALI I materiali utilizzati nella FaD possono essere raccolti sotto tre principali tipologie, indirizzate rispettivamente all orientamento dei corsisti, alle tecnologie utilizzate e, ovviamente, ai contenuti oggetto del corso. Materiali relativi all organizzazione e allo svolgimento del corso Ai partecipanti di un corso a distanza deve essere fornita una guida molto dettagliata, una sorta di mappa di navigazione con informazioni su obiettivi e contenuti del corso; metodologia didattica usata per la sua conduzione; criteri di valutazione della partecipazione ed eventualmente degli apprendimenti; 2

3 strutturazione dell intervento e sua tempistica; materiali di supporto e loro abbinamento a ognuno dei moduli del corso; tipo di supporto offerto dallo staff di tutoring e più in generale dall erogatore del corso. Materiali relativi alla tecnologia adottata per il corso Sono materiali particolarmente utili quando il processo FaD viene erogato secondo l approccio online, dove, per definizione, si fa uso di tecnologie telematiche. Spesso si tratta di ambienti di groupware non sempre noti a chi si avvicina per la prima volta a questo tipo di corsi a distanza. È quindi buona regola predisporre materiali di supporto che introducano in modo molto semplice all ambiente di comunicazione scelto per la conduzione dell intervento. In alcuni casi sono sufficienti poche pagine con le funzioni base del sistema utilizzato, accompagnate da qualche esercizio che consenta ai tutor, nella fase di partenza del corso, di verificare il livello di autonomia di ogni singolo partecipante. A questo proposito, è bene sottolineare quanto sia importante avere tutti i corsisti tecnologicamente allineati (almeno riguardo le tecnologie adottate nel corso) prima di iniziare a proporre le attività previste dal piano formativo. Materiali relativi ai contenuti Qui va fatta una distinzione fra interventi FaD di seconda generazione, basati prevalentemente sull uso di materiali didattici strutturati, e interventi di terza generazione (online education) (Nipper, 1998). Nel primo caso ci si riferisce a un processo basato prevalentemente sulla mediazione dei materiali, che devono essere progettati e realizzati nell ottica di una fruizione individualizzata, quindi con il compito non solo di veicolare i contenuti, ma anche di chiarire, volta per volta, obiettivi e struttura dell intervento didattico, nonché proporre strumenti di autovalutazione. Nulla infatti può essere dato per implicito allo studente a distanza, che ha l esigenza di capire, in qualunque momento, a che punto si trova del percorso formativo, qual è l obiettivo delle attività che via via gli vengono proposte, il livello di progressione delle proprie conoscenze sui contenuti del corso, ecc. Lo sviluppo dei materiali disciplinari quindi deve seguire metodologie precise, basate su una dettagliata progettazione didattica nonché sulla più opportuna scelta dei media (o loro combinazione) da utilizzare per veicolare i contenuti. Nel secondo caso (formazione online) si tende invece a non utilizzare materiale costruito ad hoc (a eccezione della guida al corso) quanto piuttosto riusare cose già esistenti come ad esempio articoli, capitoli di libro, appunti, ecc. Quando però non si riescono a trovare, nasce evidentemente l esigenza di realizzarli. E lo stesso problema si pone quando l intervento a distanza non viene sviluppato in modalità totalmente online, quando cioè ci si basa su materiali strutturali e autoconsistenti (secondo i dettami della FaD convenzionale), attorno i quali, qualche volta (ma non sistematicamente) vengono organizzati eventi basati sull attivazione di forum tematici; ad esempio un workshop su un argomento del corso, magari con la possibilità di interagire in rete per un certo periodo con un esperto disciplinare o con l autore stesso di alcuni dei materiali didattici, ecc. 3

4 2.1. Una riflessione sulla qualità dei materiali per la FaD Parlare di progettazione e sviluppo di prodotti multimediali di qualità per la FaD richiede una riflessione sul significato stesso di qualità. Si tratta di una riflessione piuttosto complessa non solo perché la qualità, in particolare nel caso del software didattico, è una proprietà a molte componenti (tecnica, comunicativa, contenutistica, didattica, ), ma anche perché la qualità è per molti aspetti un concetto relativo. Si deve infatti pensare alla qualità non come proprietà di un entità, ma come proprietà del rapporto fra una entità e chi ne fruisce. Prendiamo ad esempio un prodotto didattico interattivo. È possibile che un docente lo consideri di cattiva qualità se i contenuti non sono corretti o se le strategie didattiche adottate non sono efficaci o ancora se mancano delle funzionalità didatticamente importanti. Lo stesso prodotto potrà invece essere considerato di buona qualità da uno studente che trovi l interazione divertente e stimolante. E sempre lo stesso prodotto potrà essere giudicato eccezionale da un informatico per le prestazioni e le soluzioni tecniche adottate. Esiste poi un ulteriore aspetto che è opportuno non sottovalutare e cioè la qualità del percorso di apprendimento in cui il prodotto viene inserito. Di solito un software multimediale viene integrato in una situazione didattica progettata ad hoc e la qualità sta in parte nel prodotto e in parte (o forse soprattutto) nel processo di insegnamento/apprendimento che viene messo in atto. Ci sono prodotti che possono esser utilizzati individualmente per autoapprendimento e che incorporano una determinata strategia didattica: in questi casi possiamo dire che la qualità è tutta dentro il software. Ci sono poi prodotti aperti utilizzabili dal docente (è il caso dell online) per creare situazioni didattiche nell ambito di specifiche discipline o temi di apprendimento: in questi casi molta parte della qualità risiede nel processo. E infine esistono aspetti della qualità, e forse sono i più importanti, che sfuggono a tassonomie e classificazioni precostituite e hanno a che fare con gli aspetti di creatività, non importa se riferiti all interfaccia, alla struttura degli ambienti, alle metafore adottate o alla strategia didattica prescelta o inventata. Una idea forte può rendere un software particolarmente efficace e accattivante, sfruttando al massimo i vantaggi del multimediale, dando senso compiuto all uso di quella tecnologia nel perseguire uno specifico obiettivo educativo. Sulla base di queste considerazioni si possono fondare alcuni criteri (senza pretese di esaustività) per una produzione multimediale di qualità: Specifica accurata del target. Abbiamo visto che la qualità di un prodotto è un concetto relativo. È quindi difficile parlare di qualità se il target non viene non solo esplicitato, ma anche analizzato nelle sue caratteristiche sia individuali che di contesto. Questo non significa legare un prodotto a un unica tipologia di utente o ad un particolare tipo di utilizzazione, bensì finalizzare un prodotto ad ambiti di apprendimento definiti. Deve essere chiaro qual è il valore aggiunto della multimedialità. Non mancano sul mercato prodotti multimediali, anche autorevoli, che, dal punto di vista delle possibilità di apprendimento, aggiungono poco alle possibilità della carta stampata. La multimedialità dovrebbe invece trovare una sua giustificazione, non importa se da punto di vista comunicativo, didattico, educativo o dell organizzazione del processo di apprendimento. 4

5 Non trascurare i contenuti, anche se apparentemente elementari. Errori e carenze contenutistiche possono danneggiare in modo grave un prodotto per altri aspetti pregevole. Anche i contenuti più elementari, la cui correttezza non sembra costituire un problema, possono celare tranelli e pericoli. La figura dell esperto dei contenuti e della loro didattica è sempre necessaria. La qualità tecnica è necessaria ma non sufficiente. Un prodotto che presenti errori o problemi di tipo tecnico o anche solo difficoltà di utilizzazione spesso si esclude da solo e le sue raffinatezze didattiche, contenutistiche o di interfaccia, diventano automaticamente secondarie. È importante che lo sviluppo avvenga alla luce di checklist esaustive sia in fase di produzione che di testing. Prevedere classi di situazioni di apprendimento in cui il software può essere utilizzato. Si è visto che la strategia didattica sta soltanto in parte dentro un prodotto. Progettare una situazione di apprendimento che utilizzi un prodotto multimediale non è soltanto compito del docente. Chi progetta deve già prevedere il tipo di situazioni in cui il software potrà essere inserito e creare gli agganci necessari e i supporti utili per il docente. Questo non significa che un docente non possa poi progettare percorsi anche differenti di utilizzazione di quel software. Ma è importante che già in partenza siano specificate le situazioni di apprendimento a cui quel software è orientato. Non rendere troppo vincolante la strategia didattica. Solo se un prodotto è per autoapprendimento individualizzato deve contenere al proprio interno una chiara e definita strategia didattica. Nei casi in cui sia presente una situazione di apprendimento di gruppo è forse più appropriato pensare in termini di ambienti aperti o di toolkit che lascino ampio spazio alla progettualità e alla fantasia del docente (o dello studente). 3. LA VALUTAZIONE DEL PROCESSO FORMATIVO Sebbene gli interventi FaD possano avere elementi comuni ad analoghi processi formativi condotti in presenza (obiettivi, qualità dell apprendimento, efficacia del materiale, ecc.), il fatto stesso di essere erogati a distanza si traduce in nuove variabili da controllare, soprattutto se viste nell ottica di una valutazione dell intero processo. Nella FaD, ad esempio, il concetto di ambiente di apprendimento deve essere rivisitato (Jedge et al., 1995): non esiste un unico luogo fisico dove i partecipanti si riuniscono periodicamente, bensì tanti ambienti di apprendimento differenti, ciascuno costruito attorno al singolo corsista remoto; di qui l esigenza di dotarsi di strumenti in grado di monitorare che cosa avvenga all interno di tali ambienti, con lo scopo di mettere in atto la più adeguata strategia formativa. È evidente quindi come nella FaD aumenti, in complessità, l identificazione e la comprensione degli elementi da valutare, siano essi macro o generali (valutazione della tecnologia, valutazione del corso e dei materiali, rapporto costo benefici, ecc.), siano essi micro o specifici (valutazione della partecipazione, raggiungimento degli obiettivi, valutazione dell apprendimento individuale, ecc.). Di sicuro nei corsi FaD ci sono più elementi da tenere in considerazione a fini valutativi rispetto a interventi formativi in presenza (Thorpe, 1998); questo perché i corsi a distanza sono caratterizzati da una più ampia gamma di stimoli e situazioni offerte ai partecipanti. Di conseguenza, è ancora più difficile trovare criteri che consentano di valutare i corsisti, in quanto essi hanno una maggiore libertà nel tracciare 5

6 il proprio percorso, di utilizzare i materiali che hanno a disposizione, di partecipare a eventuali workshop in rete di approfondimento, ecc. Un altro aspetto rilevante è che nella FaD il concetto di tutoring è sensibilmente diverso rispetto a una situazione di presenza. Qui, infatti, l azione non è tanto centrata su un unica figura quanto piuttosto su uno staff in cui è presente una pluralità di competenze. Non è poi difficile immaginare come diversi siano anche gli approcci alla valutazione in funzione del modello FaD che si intende adottare. In un contesto FaD tradizionale, dove è favorito un modello di comunicazione uno-amolti (docente-corsisti) oppure uno-a-uno (corsista-docente), la valutazione nella maggior parte dei casi si basa sulla somministrazione di questionari o sulla produzione di elaborati da parte dei corsisti. Nella formazione in rete invece, più centrata sui modelli dell apprendimento collaborativo, il canale di comunicazione è di tipo molti-a-molti e quindi la valutazione si basa anche sull osservazione dell interazione tra i partecipanti, sul loro modo di collaborare e imparare insieme. Di seguito verranno sinteticamente messi a confronto i due rispettivi approcci valutativi, quindi verrà descritto, nelle sue linee principali, lo schema di valutazione studiato e sperimentato nell ambito del progetto pilota CNR-MPI Polaris (Trentin, 1999) La valutazione nella FaD di seconda generazione Le modalità di valutazione in genere rispecchiano le normative e le esigenze tipiche del contesto in cui sono sviluppate e applicate. In ambito universitario, ad esempio, alla fine di un corso a distanza è richiesto un esame in presenza, cosa che invece avviene meno frequentemente nel settore della formazione professionale. La modalità valutativa dipende inoltre dal tipo di corso che lo studente fruisce. Così ad esempio, alla British Open University, mentre per il Certificato di Perfezionamento in ambito educativo vengono richiesti specifici compiti da svolgere durante il corso, per il Master in Education ci si basa sullo sviluppo di un progetto riferito alla realtà lavorativa del partecipante (o a dove aspirerebbe condurre la propria attività professionale), più un esame finale. Analogo discorso vale per l Adelaide Institute of TAFE (Training And Further Education), una delle più grandi istituzioni educative nel mondo. Qui il tipo di valutazione degli apprendimenti varia a seconda dei percorsi formativi: alcuni si basano sull assegnazione di compiti, test soggettivi di fine corso ed esami; altri nella realizzazione di un progetto o di uno scritto finale centrato sui contenuti della fase formativa Alcuni modelli elaborati dalla ricerca nel settore FaD Sulla base di numerose esperienze condotte nello specifico settore sono stati elaborati diversi modelli di valutazione. Dillon e Gunawardena (1992) propongono un modello spirato ai lavori di Lindquist (1978) che prende in considerazione quattro componenti collegate tra loro: il programma di diagnosi; 6

7 la descrizione del corso; l analisi dei risultati; la documentazione del corso. Gli autori sottolineano in particolare l importanza del programma di diagnosi, sostenendo che molto spesso i processi di valutazione si limitano alla verifica del raggiungimento o meno di un dato risultato, trascurando di indagare sulle cause del successo o dell eventuale fallimento. Il programma di diagnosi proposto da Dillon e Gunawardena si basa sulla conduzione di interviste e di osservazioni dirette. La descrizione del corso offre informazioni sull evoluzione temporale del programma formativo, sulle attività svolte e sulle tecnologie usate. L analisi dei risultati si riferisce invece alla verifica del raggiungimento degli obiettivi del programma formativo. In questa fase sono proposti metodi sperimentali (gruppo sperimentale, gruppo di controllo), che non sempre però, secondo gli autori, sono efficienti nella valutazione di un processo FaD. Infatti, una valutazione post hoc che misuri la differenza tra gruppo di controllo e gruppo sperimentale al termine dell azione formativa, se da un lato aiuta a determinare il raggiungimento o meno degli obiettivi, dall altro non fornisce indicazioni sull incidenza del programma formativo sul raggiungimento degli obiettivi stessi. L ultima fase del modello proposto (documentazione del corso) è essenzialmente un analisi di tutto ciò che è stato utilizzato e prodotto, dai videotape alla corrispondenza tra corsisti ed insegnanti, agli elaborati dei corsisti, al materiale da loro usato, ai questionari, ecc. McCleary e Egan (1989) propongono invece un modello basato su una scala Likert 1 riferita ai seguenti fattori: l efficienza dell azione del tutor; il feedback relativo ai progressi degli studenti; il materiale relativo a ogni corso; il livello di difficoltà di ogni corso; l organizzazione di ogni corso; il supporto di strumenti tecnologici; il confronto con i corsi tradizionali. Harrison et al. (1991), dopo un attenta analisi della letteratura esistente e di studi pilota, hanno elaborato un questionario articolato su quattro punti: informazioni generali: interazione tra corsisti e istruttori, supporto tra corsisti, logistica, sistema/metodologia di erogazione del corso; gestione: supporto offerto dallo staff ai corsisti, tecnologia usata, pianificazione, comunicazione; telecommuting 2 : costo, caratteristiche specifiche dell azione formativa condotta a distanza, contenuto; 1. Scala che consente la formulazione di giudizi/valutazioni espresse in un intervallo numerico, per esempio da 1 (molto negativo) a 5 (molto positivo). 2. Trasporto a distanza (in sede d utente) dell azione formativa. Si è preferito mantenere il termine in inglese in quanto non ne esiste uno analogo in italiano. 7

8 supporto: supervisione, livello di supporto offerto dal committente del corso. Concludiamo questa breve e sintetica carrellata con una proposta messa a punto da Cheung (1998). Considerando la multidimensionalità del processo valutativo e la difficoltà di individuare un unico criterio condiviso, egli definisce un particolare approccio concettuale basato su quattro specifiche dimensioni: l ampliamento delle competenze dello studente; le metodologie stesse di valutazione utilizzate nell ambito dei corsi; i materiali di apprendimento; gli incontri in presenza Valutare l influenza dell ambiente di apprendimento Un aspetto sicuramente rilevante, e preso in considerazione da diverse ricerche del settore, è stato il rapporto fra processo di apprendimento e ambiente in cui questo ha luogo. Jegede, Fraser e Fisher (1995) definiscono l ambiente di apprendimento come un complesso di elementi che influenzano (sia in positivo sia in negativo) il processo di acquisizione di nuove conoscenze e abilità; tali elementi spaziano dal clima che si instaura fra i partecipanti (corsisti, docenti, tutor, ecc.), al luogo fisico in cui vengono svolte le attività di studio, a tutta una serie di altri fattori che determinano l unicità della situazione in cui si viene a trovare ogni singolo corsista. La percezione dell ambiente di apprendimento è da sempre stata utilizzata come variabile predittiva nello stabilire relazioni tra la natura dell ambiente di apprendimento stesso e i risultati sul piano cognitivo e affettivo. Ciò assume un valore ancora più importante nell ambito della FaD, dove comunque si rende necessaria una qualche forma di interattività fra corsisti e staff. Valutare gli ambienti di apprendimento nella FaD è quindi un impresa molto difficile, data soprattutto la loro varietà e unicità in ragione di ogni singolo partecipante. Partendo da queste considerazioni, Jegede, Fraser e Fisher (1995) hanno messo a punto un questionario DOLES (Distance and Open Learning Environment Scale) che, dopo un processo di validazione durato due anni, è stato articolato in otto sezioni: interattività; supporto istituzionale; chiarezza dei compiti da svolgere; supporto dell insegnante; negoziazione; flessibiltà; supporto tecnologico; ergonomia. Le variabili di cui tener conto poi aumentano laddove si faccia uso di tecnologie della comunicazione per supportare e/o condurre l azione formativa. 8

9 3.2. La valutazione nella formazione in rete Fra i criteri utilizzati per la valutazione dei corsi in rete, ci sono anche quelli tipici dell analisi della computer conference (Mason, 1989) e non potrebbe essere altrimenti, dato che buona parte del processo si sviluppa all interno di quegli ambienti. Inoltre, proprio perché l elemento centrale è l interazione fra tutti i partecipanti, vengono poi presi in considerazione anche alcuni degli indicatori tipici della valutazione di attività formative condotte in presenza e strettamente connessi alla socialità del processo (interazione fra i corsisti, fra questi e i loro docenti, grado di partecipazione e di collaborazione nelle attività formative, ecc.) Valutare attraverso l analisi della messaggistica Dall analisi dei contenuti dei messaggi scambiati in computer conference è possibile ricavare informazioni sui corsisti, sul loro modo di apprendere, sulle strategie che essi mettono in atto nell affrontare situazioni problematiche, ecc. (Henri, 1992). Ogni messaggio trattiene un particolare significato, sia come singolo contributo sia in relazione a quelli degli altri partecipanti. Nell analizzare una comunicazione in computer conference, tuttavia, non è possibile usare gli stessi metodi adottabili per qualsiasi altro testo scritto. A titolo esemplificativo, qui di seguito accenneremo a uno dei metodi più noti di valutazione della messaggistica elettronica, metodo che si basa su tre elementi chiave: la struttura del messaggio articolata su cinque dimensioni (partecipativa, sociale, interattiva, cognitiva e metacognitiva); un modello analitico di riferimento per ciascuna delle suddette cinque dimensioni; una tecnica di analisi del contenuto del messaggio. In pratica le cinque dimensioni in cui è articolata la struttura del messaggio vengono analizzate seguendo il criterio illustrato nella tab. 2. L analisi del contenuto del singolo messaggio si basa invece su tre distinti livelli di approfondimento: che cosa è stato detto riguardo i contenuti della discussione; come lo si è detto; quali sono stati il processo e le strategie adottate nel trattare i contenuti. Come è facile intuire, il primo livello si riferisce al prodotto dell apprendimento, mentre il secondo e il terzo al processo che lo ha generato. Dimensione partecipativa sociale interattiva cognitiva metacognitiva Modello analitico di riferimento si riferisce a due tipi di dati quantitativi: la totalità dei messaggi spediti da tutti i partecipanti e quelli invece prodotti singolarmente dai corsisti e dai tutor è relativa alla coesione nel gruppo, al senso di appartenenza, ad affermazioni che non sono cioè strettamente attinenti il contenuto della conferenza riguarda il modo in cui ogni singolo messaggio è legato ad altri e/o ne genera altri analizza le modalità con cui si sviluppano le abilità cognitive durante il processo formativo è distinta in conoscenza metacognitiva e abilità metacognitiva: la prima analizza la relazione fra conoscenze, compiti e strategie utilizzate; la seconda indaga sulla capacità di pianificare, valutare, riflettere, ecc. Tab. 2 - Dimensioni secondo cui viene condotta l analisi del messaggio 9

10 Questo approccio ha poi delle varianti, una delle quali prevede che a livello di analisi del contenuto (cosa è stato detto) vi sia un ulteriore scomposizione, di ogni messaggio scambiato durante la discussione, in unità di significato (De Vries et al., 1995). Un unità di significato è un idea singola o una parte di informazione contenuta in un messaggio, ritenuta rilevante e corretta in relazione alle domande formulate dai moderatori della discussione o agli interventi degli altri partecipanti. Questa scomposizione è usata fra l altro per capire se i corsisti stanno seguendo correttamente il percorso tracciato, dai tutor o dai docenti, per la discussione. L idea di scomporre i messaggi in unità di significato e considerare queste piuttosto che i messaggi interi, deriva dalla constatazione che un messaggio elettronico è qualcosa di estremamente variabile. Ci sono infatti messaggi monoconcettuali, altri invece ricchi di informazioni e concetti. Si potrebbe procedere nel repertorio dei metodi di analisi della comunicazione in computer conference, ma quanto finora illustrato può essere considerato già sufficientemente esemplificativo. Va detto comunque che le proposte che si basano sull analisi capillare della messaggistica, per quanto utili e scientificamente impostate, trovano applicazione nelle situazioni in cui si disponga della risorsa uomo in grado di garantire una dettagliata e meticolosa classificazione dei messaggi su base contenuto, un lavoro complesso che richiede competenze ad ampio spettro (sul metodo di classificazione, sui contenuti, sulle dinamiche dell interazione, ecc.) (Bocconi et al., 1999). In sostanza, la valutazione basata sulla classificazione della messaggistica è proponibile a livello di ricerca, laddove prevalga l interesse scientifico e si disponga della necessaria forza lavoro e/o di strumenti realizzati ad hoc. Un po meno praticabile sembrerebbe in altri ambiti, dove il costo di una tale classificazione potrebbe non essere trascurabile nell economia generale del processo formativo e, sicuramente, non proponibile come ulteriore attività da assegnare allo staff di tutoring. Ecco perché in genere si seguono percorsi di valutazione che non si basino tanto su strumenti/protocolli sofisticati di analisi del processo in rete, quanto piuttosto su un approccio facilmente integrabile nella normale attività del tutor in rete I vantaggi di un sistema ad anello chiuso La valutazione di un intervento di formazione in rete pone una serie di problemi a vari livelli. Due in particolare assumono una certa rilevanza: la valutazione degli apprendimenti e la valutazione del grado di partecipazione dei corsisti in termini di tempo e di attività realmente svolte a distanza, sia individualmente sia in computer conference. Ma proprio grazie all uso della computer conference, la formazione in rete può contare su molte più informazioni di ritorno rispetto a interventi a distanza di tipo tradizionale; si pensi alla possibilità di analizzare la messaggistica che circola (quantità e contenuti), i tracciati delle presenze in rete registrati automaticamente dal sistema per computer conferencing, nonché le produzioni periodiche richieste ai corsisti (report, brevi elaborati sui contenuti dei moduli didattici, progetti, ecc.). I sistemi di terza generazione infatti si possono paragonare a sistemi ad anello chiuso (fig. 1) (Trentin, 2000); sono cioè in grado di autoregolarsi puntualmente, in itinere, attraverso la misurazione degli scostamenti fra ciò che ci si attende dal processo formativo e ciò che nella realtà si ottiene. Elemento chiave di questa sorta di 10

11 riallineamento sistematico è un costante monitoraggio (rappresentato nella figura dal blocco di misura ) finalizzato alla valutazione formativa sia degli utenti sia dell intero processo. attese processo risultato ottenuto misura Fig. 1 - Schema di sistema ad anello chiuso Basati infatti sull intensa interazione di tutte le componenti del processo, i sistemi FaD di terza generazione danno modo ai tutor e più in generale all erogatore dell azione formativa, di monitorare il processo in itinere e quindi di regolarlo, quando necessario, per reindirizzarlo adeguatamente verso gli obiettivi dell azione stessa, in altre parole, verso l effetto desiderato Aspetti chiave del processo di monitoraggio e valutazione Il monitoraggio in genere è affidato agli stessi tutor ai quali viene chiesto sia di rilevare il grado di partecipazione dei singoli corsisti sia di capire se questi stanno toccando (e a che livello di dettaglio) i diversi argomenti che l esperto dei contenuti dichiara importanti nell ambito di un dato tema. E ancora, a che livello, nello svolgimento dei compiti, si mettono in atto strategie di tipo collaborativo, elemento portante dell online education. Nella valutazione dei corsi in rete, gli aspetti chiave da prendere in considerazione (in altre parole, il che cosa è oggetto valutazione) riguardano principalmente: le caratteristiche individuali dei corsisti (competenze iniziali, aspettative, apprendimenti,...); la dimensione partecipativa (analisi quantitativa dei messaggi circolati in computer conferencing); l analisi e la valutazione della messaggistica dal punto di vista dei contenuti e del contributo al lavoro collaborativo; l analisi della comunicazione (dinamiche d interazione, relazione tra azione dei tutor e azione degli esperti, strategie didattiche e/o di conduzione dei tutor ed esperti, ecc.); l efficacia del supporto offerto dai tutor e dagli esperti; la risposta dei corsisti al particolare approccio metodologico di conduzione del corso; i materiali utilizzati in relazione ai contenuti (libri, articoli, software, ecc.); l ambiente di apprendimento nelle sue componenti locali (sede di servizio, casa, ecc.), virtuali (la rete), sociali, ecc.; la tecnologia di comunicazione (facilità d uso, efficacia per le attività collaborative in rete, ecc.); il ritorno d investimento comparato ad analoghi interventi gestiti in presenza. 11

12 Vediamo ora, attraverso la descrizione di un particolare approccio metodologico (Benigno e Trentin, 2000), come e quando può essere condotto il processo di valutazione di un intervento di formazione in rete. 4. L APPROCCIO POLARIS ALLA VALUTAZIONE DEI CORSI IN RETE L approccio metodologico a cui ci riferiamo si rivolge a corsi indirizzati a una fascia di utenza adulta. Qui il processo di valutazione non punta tanto a una vera e propria (formale) valutazione degli apprendimenti, quanto piuttosto al rilevamento del grado di partecipazione alle diverse attività del gruppo. Si dà cioè per implicito che una buona partecipazione (documentata puntualmente dal corsista in termini di elaborati periodici e interventi nelle attività in rete) conduca comunque a forme di apprendimento individuale sugli argomenti del corso. Tanto più che nei corsi in cui si trattano contenuti particolari, come ad esempio una metodologia, è molto difficile verificare gli apprendimenti se non attraverso l osservazione dei partecipanti durante il loro cimentarsi, in una fase post-training, nell applicazione di quanto appreso. Questo però non esclude anche altre forme di valutazione (basate ad esempio sulla somministrazione di batterie di test, questionari, ecc.) che possono comunque essere inserite con l obiettivo di verificare esplicitamente gli apprendimenti. Somministrazione di un questionario iniziale Nella conduzione di un qualsiasi processo formativo è molto importante avere un gruppo di corsisti omogeneo, soprattutto in termini di preconoscenze, e questo a maggior ragione se l intervento si sviluppa in rete. Nell annunciare un corso vanno quindi sempre ben definiti i requisiti per la partecipazione, requisiti utilizzabili come filtro per un eventuale selezione di coloro che intendono prendere parte all azione formativa. Il rilevamento dei prerequisiti si basa sulla somministrazione di un semplice questionario d ingresso che ha lo scopo di tracciare, seppur in maniera molto approssimativa, un profilo di massima dei partecipanti, acquisendo informazioni su: le loro preconoscenze e le loro eventuali esperienze pregresse in relazione agli argomenti trattati nell intervento; la motivazione all iscrizione al corso e le aspettative; le condizioni logistico-ambientali di partecipazione; il livello di conoscenza delle tecnologie informatiche e telematiche scelte per la conduzione del corso. In genere si tratta di un questionario di autovalutazione che, come ben si sa, per quanto possa essere ben formulato, non garantisce rilevamenti oggettivi. Ciò nonostante risulta ugualmente utile ai tutor per una prima calibratura del corso. Un aspetto molto importante che si cerca di rilevare attraverso il questionario d ingresso, è la caratteristica dell ambiente (il luogo fisico) entro cui si troverà il corsista durante la sua partecipazione, a distanza, all azione formativa. I tutor, infatti, hanno spesso l esigenza di immaginare il loro corsista mentre interagisce in rete, studia i materiali proposti, produce gli elaborati richiesti. 12

13 Monitoraggio delle attività esercitative Diverse sono le strategie didattiche e di conduzione utilizzabili in un corso in rete e ovviamente differenti sono le modalità e gli strumenti per il monitoraggio/valutazione delle attività dei corsisti. Nel caso la strategia sia di tipo esercitativo, il monitoraggio è prevalentemente orientato alla verifica degli esiti delle prove proposte ai corsisti. Queste, per essere valutate oggettivamente, dovranno essere impostate in modo tale che portino sempre a un risultato facilmente misurabile, di tipo giusto/sbagliato, trovato/non-trovato, ecc. Monitoraggio della partecipazione Se l analisi quantitativa della messaggistica (numero di messaggi prodotti dal singolo corsista, numero di messaggi circolati in totale in una conferenza, ecc.) può essere aiutata da programmi software che elaborino automaticamente i tracciati registrati dal sistema per computer conference, l analisi qualitativa della partecipazione a un corso in rete difficilmente può essere supportata da analoghi strumenti. Usando un gioco di parole, si potrebbe dire che qui il problema è quello di quantificare la qualità basandosi sull analisi dei contenuti della messaggistica scambiata fra i corsisti. Un analisi però non limitata a verificare se e come i singoli partecipanti si sono posti nei confronti dei temi del corso (hanno trattato gli argomenti principali di quel particolare segmento di corso?), ma estesa all osservazione complessiva del gruppo di apprendimento, lungo l intero processo di studio di quei contenuti (l interazione è stata costruttiva?). Nella loro veste di facilitatori delle attività corsuali, i tutor di fatto leggono la maggior parte della messaggistica che transita nelle diverse aree di computer conference e già questo consente loro di stimare il livello qualitativo di partecipazione sia dei singoli corsisti sia dell intero gruppo di apprendimento. Le sensazioni però non bastano per poter procedere a un analisi di quanto sta avvenendo; inoltre l effetto della comunicazione differita spesso influisce su tali sensazioni, tanto che il tutor sente spesso l esigenza di quantificare le proprie osservazioni. Allo scopo viene talvolta predisposta una griglia di rilevamento qualitativo, di agile compilazione, in modo tale che non imponga ai tutor un eccessiva aggiunta di lavoro al loro già complesso compito. Alcuni elementi chiave da prendere in considerazione per il rilevamento sono: numero degli interventi di ogni singolo corsista; caratteristica di interattività degli interventi; grado di copertura degli argomenti indicati come rilevanti dall esperto dei contenuti; grado di approfondimento (granularità) degli argomenti coperti. I primi due elementi si riferiscono alla qualità della partecipazione dal punto di vista della presenza e dell interazione con gli altri corsisti. I secondi due invece alla qualità degli interventi dal punto di vista dei contenuti oggetto di studio. Riferendoci in particolare all ultimo punto, va detto che la lista dei sotto-argomenti (una sorta di check-list o lista di controllo) deve essere redatta, in fase di progettazione del corso, dagli esperti d area i quali hanno il compito di illustrarla ai rispettivi tutor. 13

14 Anche se questo strumento non ha nessuna pretesa di scientificità assoluta, si è però dimostrato un modo efficace per rilevare e stimare velocemente il livello qualitativo degli interventi e delle interazioni fra i partecipanti. Compilazione di un breve report periodico Secondo il metodo di valutazione qui illustrato, i partecipanti a un intervento in rete sono tenuti a indirizzare periodicamente (alla fine di ogni modulo) al proprio tutor di riferimento, una breve nota sulla loro attività e sugli eventuali problemi legati alla partecipazione al corso: difficoltà nell affrontare un dato argomento, problemi tecnologici, impegni professionali o personali che causano l assenza per una o più settimane, ecc. Il report, che può essere a struttura sia libera sia predefinita dai tutor, ha lo scopo di mettere a conoscenza lo staff di tutto ciò che può servire per ricalibrare parti del corso, intervenire con eventuali rinforzi, flessibilizzare la partecipazione del singolo corsista, ecc. È consigliabile l uso di report prestrutturati, una sorta di breve questionario con richieste esplicite su alcuni punti ritenuti importanti dallo staff, questo per evitare report molto differenti fra loro e quindi difficilmente confrontabili nell ottica di ottenere una veduta d insieme dell evoluzione del corso relativamente ad alcuni aspetti chiave. Produzione di elaborati di gruppo Una delle consegne che spesso vengono date ai corsisti è la redazione collaborativa, in gruppi ristretti, di brevi elaborati in cui riassumere le conclusioni dell attività proposta dai tutor: una discussione, la sintesi ragionata di una lettura, ecc. L obiettivo è quello di verificare sia l efficacia del lavoro collaborativo (il processo messo in atto dai corsisti) sia il livello di analisi dei contenuti oggetto di studio. Il livello di collaborazione può essere rilevato sia quantitativamente sia qualitativamente, utilizzando strumenti analoghi a quelli descritti in precedenza. L analisi dei contenuti, invece, si basa in genere su una check-list predisposta dall esperto d area che suggerisce allo staff dei tutor gli argomenti intorno ai quali dovrebbero concentrarsi le attenzioni dei corsisti. Produzioni di fine modulo A conclusione dei capitoli fondamentali del corso è spesso prevista la redazione di un documento in cui i partecipanti devono riassumere quanto appreso. Anche in questo caso, l analisi dei contributi viene spesso condotta confrontando gli argomenti trattati dai corsisti con un apposita check-list predisposta dall esperto d area, responsabile della progettazione di quel particolare modulo. Quando l esperto è disponibile, è lui stesso a produrre l analisi degli elaborati prodotti dai corsisti. Elaborazione di un progetto finale Nella formazione in rete si adotta spesso l approccio cosiddetto project-based, basato cioè su un attività di progettazione condotta contestualmente all acquisizione dei contenuti previsti dal corso. In un certo senso, possiamo dire che se la produzione di fine modulo rappresenta il momento di sintesi di una parte del corso, l elaborazione del progetto finale si identifica con la messa in pratica di tutto ciò che durante il corso è stato oggetto di studio. 14

15 In questo modo il progetto si può anche tradurre in una vera e propria attività di produzione spendibile immediatamente a valle del corso, cosa che si è dimostrata quanto mai gradita nei processi formativi rivolti all impresa. Somministrazione di un questionario finale Obiettivo del questionario finale è il rilevamento di come il singolo corsista abbia vissuto la propria partecipazione all azione formativa, chiedendo giudizi su: contenuti trattati; metodi didattici adottati per la conduzione del corso; corrispondenza fra attese e risultati conseguiti; materiali utilizzati; aspetti organizzativi nello sviluppo delle diverse attività; modalità di partecipazione (logistica) da parte del singolo; aspetti tecnici relativi all uso della rete e delle tecnologie suggerite; efficacia dell azione sia dei tutor sia degli esperti d area nelle loro diverse funzioni di moderatori, facilitatori, esercitatori, docenti, ecc. Monitoraggio della fase di accompagnamento In alcuni casi l attività di valutazione dei corsisti non si esaurisce con la conclusione dell intervento formativo, ma prosegue con l assistenza dei neo-formati nella loro prima esperienza di applicazione, nel proprio settore professionale, delle nuove conoscenze acquisite. Questo secondo momento offre un ulteriore occasione di verifica sulle competenze raggiunte dai corsisti, consentendo di osservarli all opera durante il trasferimento di quanto appreso a fronte della loro partecipazione all azione formativa. Concludiamo sintetizzando in tab. 3 il come e il quando condurre il processo di valutazione di un corso in rete secondo l approccio illustrato: per ogni obiettivo valutativo, è indicata la corrispondente modalità di conduzione della prova di valutazione. 15

16 modalità di conduzione somministrazione del questionario d ingresso obiettivo rilevare delle: condizioni logistiche di partecipazione dei corsisti; preconoscenze ed eventuali esperienze pregresse in relazione agli argomenti trattati nell intervento; livello di conoscenza delle tecnologie telematiche e informatiche; motivazione dell iscrizione al corso e aspettative. monitoraggio delle attività esercitative monitoraggio delle conferenze in rete richiesta di un breve report periodico verificare gli esiti delle esercitazioni proposte ai corsisti verificare la partecipazione alle discussioni e del contributo alle attività collaborative mettere a conoscenza i tutor di tutto ciò che può servire per ricalibrare parti del corso, intervenire con eventuali rinforzi, ecc. richiesta di produzioni di gruppo verificare l efficacia del lavoro collaborativo richiesta di un elaborato individuale al termine di un modulo didattico richiesta di un progetto finale somministrazione di un questionario finale osservazione nella fase di accompagnamento verificare il grado di acquisizione dei contenuti verificare sulle capacità di applicazione di tutte le conoscenze oggetto dell azione formativa richiedere un giudizio su: interesse sui contenuti trattati; metodi didattici per la conduzione del corso; materiali didattici utilizzati; aspetti organizzativi nello sviluppo delle attività; modalità di partecipazione (logistica) da parte del singolo; aspetti tecnici relativi all uso della rete e delle tecnologie suggerite; efficacia dell azione sia dei tutor sia degli esperti d area nelle loro diverse funzioni di moderatori, facilitatori, esercitatori, docenti, ecc. verificare la capacità di trasferimento sul proprio contesto professionale delle conoscenze e abilità acquisite nel corso della fase formativa Tab. 3 - Come, quando e con quali obiettivi ha luogo la valutazione nei corsi Polaris 16

17 4. VALUTAZIONE DEL PROGRAMMA FORMATIVO La domanda a questo punto è: come l approccio metodologico descritto nei precedenti paragrafi può trovare la sua giusta collocazione nel quadro più ampio della valutazione di un intero programma formativo? Data la forte sintonia dell approccio qui proposto con il modello di valutazione dei programmi formativi definito da Kirkpatrick (1975), useremo quest ultimo come punto di riferimento nel dare una risposta alla precedente domanda Il modello a quattro a livelli di Kirkpatrick Il modello a quattro livelli proposto da Kirkpatrick rappresenta uno dei tanti modi possibili per valutare programmi formativi. Ognuno dei livelli (reaction, learning, behaviour, result) è importante e ha un impatto sui successivi. Procedendo da un livello al successivo, il processo diventa sempre più complesso e dispendioso in termini di tempo, ma allo stesso tempo fornisce maggiori e più pregiate informazioni. È opportuno che nessuno dei quattro livelli venga scavalcato solo per un impressione che sia meno importante degli altri. Ma ecco in estrema sintesi i quattro livelli (Kirkpatrick, 1998). Soddisfazione e idee applicative (reaction) - Consiste nel rilevamento del grado di soddisfazione del partecipante e nell indagine su come questo intende applicare ciò che ha appreso nel corso dell intervento formativo. Per quanto il primo livello sia importante, una reazione favorevole dei partecipanti non assicura però l avvenuto apprendimento delle conoscenze e/o abilità oggetto della formazione. Un intervento formativo infatti potrebbe risultare all apparenza molto utile e gradevole per i suoi fruitori ma poi, al lato pratico, dimostrarsi di difficile applicazione nella loro realtà professionale. Apprendimento (learning) - Qui si mette a fuoco ciò che il partecipante ha imparato durante il processo formativo; allo scopo si può far uso di test, attività pratiche (ad esempio di progettazione), giochi di ruolo, simulazioni e altre strategie valutative. Tuttavia riscontri positivi a questo livello non garantiscono ancora che i corsisti siano in grado di applicare correttamente ciò che hanno appreso. La letteratura è ricca di esempi che sottolineano la profondità del solco che spesso separa il sapere dal saper fare (Broad e Neustrom, 1992). Applicazione pratica degli apprendimenti (behaviour) - Esiste una varietà di metodi per la misurazione del follow-up, di come cioè i partecipanti trasferiscono nella loro realtà professionale gli insegnamenti oggetto dell azione formativa. In genere ci si basa sull osservazione della frequenza e del modo con cui i neo-formati applicano le conoscenze che hanno appreso e/o le abilità che hanno acquisito. Ammesso comunque che la valutazione sulla capacità di applicazione pratica delle conoscenze acquisite dia esito positivo, non v è ancora nessuna garanzia che questa si traduca in un altrettanto positivo impatto del programma formativo nell organizzazione di appartenenza dei suoi fruitori. Impatto sull organizzazione (result) - La positività dell impatto può essere intesa a diversi livelli: da quello economico a quello di soddisfazione della clientela (di 17

18 un impresa, di un istituzione, di un ente di formazione, ecc.), al miglioramento del ciclo produttivo, ecc. A questo proposito è bene sottolineare come un prodotto di buona qualità che incontri il favore dei clienti dell organizzazione, non sia garanzia di un buon impatto sull organizzazione stessa, quando ad esempio la sua realizzazione comporti costi eccessivi, riassorbibili con difficoltà (o affatto), oppure quando l organizzazione non sia ancora pronta ad accogliere l innovazione Il modello Polaris e il modello di Kirkpatrick A conclusione di questo lavoro, per meglio comprendere la stretta correlazione fra il modello di valutazione elaborato nel corso del progetto Polaris e il modello di valutazione dei programmi formativi proposto da Kirkpatrick, intersechiamo la tab. 3 con i quattro livelli descritti nel precedente paragrafo. Il risultato che ne deriva è illustrato in tab. 4. Tab. 4 Relazione fra il modello a quattro livelli di Kirkpatrick e il modello di valutazione dei corsi in rete elaborato da Polaris. 18

19 BIBLIOGRAFIA V. Benigno V., G. Trentin (2000), The evaluation of online courses, International Journal of Computer Assisted Learning, vol. 16, n. 3, pp S. Bocconi, V. Midoro, L. Sarti (1999), Valutazione della qualità nella formazione in rete, TD Rivista di Tecnologie Didattiche, n. 16, pp M.L. Broad, J.W. Newstrom (1992), Transfer of training, Reading, Addison-Wesley, MA. D. Cheung (1998), Developing a student evaluation instrument for distance teaching, Distance Education, vol. 19, n. 1, pp L. De Vries, S. Naidu, O. Jegede, B. & Collis (1995), On-line professional staff development: an evaluation study, Distance Edutation, vol. 16, n 1, pp C. Dillon, C. Gunawardena (1992), Evaluation research in distance education, British Journal of Educational Technology, vol. 23, n 3, pp P. Harrison, F. Saba, B. Seeman, G. Molise,R. Behm, M. Wiliams (1991), Development of a distance education assessment instrument, Educational Techonology Research and Development, vol. 39, n. 4, pp F. Henri (1992), Computer conferencing and content analysis, in A.E. Kaye (ed), Collaborative learning through computer conferencing, Springer-Verlag, Berlin, pp O. Jegede, B. Fraser, D. Fisher, D. (1995), The development and validation of a distance and open learning environment scale, Educational Techonology Research and Development, vol. 43, n. 1, pp D.L. Kirkpatrick (1975), Techniques for evaluating training programs, Evaluating training programs, pp. 1-17, Alexandria, ASTD:VA. D.L. Kirkpatrick (1998), Evaluating training programs, Berret-Koehler Publishers Inc., San Francisco. J. Lindiquisit (1978), Strategies for change, Pacific Soundings Press, Berkeley. R. Mason (1992), Evaluation for computer conferencing applications, in Collaborative Learning Through Computer Conferencing (ed. A.E. Kaye). Springer-Verlag, Berlin. I. McCleary, M. Egan (1989), Program design and evaluation: two way interactive television, American Journal of Distance Education, vol. 3, n 1, pp S. Nipper (1989), Third generation distance learning and computer conferencing, in Mindweave: Communication, Computers and Distance Education (eds. R.D. Mason & A.R. Kaye). Oxford, Pergamon Press. M. Thorpe (1993), Evaluating open and distance education, Longman Group. M. Thorpe (1998), Assessment and third generation distance education, Distance Education, vol. 19, n. 2, pp

20 G. Trentin (1999), Telematica e formazione a distanza: il caso Polaris, Franco Angeli, Milano. G. Trentin (2000), The quality-interactivity relationship in distance education, Educational Technology, vol. 40, n. 1, pp G. Trentin (2001), Dalla formazione a distanza all apprendimento in rete, Franco Angeli, Milano. 20