TEST A RISPOSTE CHIUSE (A SCELTA MULTIPLA)

Transcript

1 TEST A RISPOSTE CHIUSE (A SCELTA MULTIPLA) Molto spesso, quando mi viene chiesto di valutare un percorso formativo, finisco con il proporre di realizzare un buon test tradizionale, con una serie di domande che riguardano i temi trattati nel corso e per risparmiare tempo tre risposte tra le quali scegliere. Questo perché, al di là di tutta la letteratura sull apprendimento di atteggiamenti e comportamenti, sul saper fare e saper essere, siamo ancora legati alla concezione di formazione come luogo dove avviene anche un passaggio di informazioni rilevanti per ciò che le persone devono apprendere. Non credo, personalmente, che questo fatto sia da considerare una sconfitta per la concezione più moderna dei processi di apprendimento; penso piuttosto che un percorso di apprendimento non possa fare a fette le persone e, di conseguenza, se è efficace, finirà con l incidere anche sulle conoscenze delle persone, aumentandole o anche soltanto rendendole più solide. Quante volte, infatti, ci è capitato di affermare che una lezione, un seminario, una presentazione ci hanno permesso di riprendere dei concetti che avevamo un po dimenticato e che l occasione, invece, ci ha permesso di organizzare bene e collegarli ad altre informazioni che abbiamo. Occorre pertanto concludere che, tra i due fenomeni possesso di informazioni pertinenti e apprendimento c è solo una relazione probabilistica: coloro che possiedono le informazioni corrette, il linguaggio appropriato e sanno collegare adeguatamente i concetti hanno maggiori probabilità di altri di mettere in atto i comportamenti più adatti nelle situazioni lavorative (e non) oggetto della formazione. Alla descrizione di questa prova proponiamo di associare quella dei test a domanda aperta, che prevedano però un unica risposta sintetica. Con, ad esempio, item quali: Qual è la capitale della Francia?. Anche in questi casi, infatti, l oggetto dell indagine è il numero di informazioni in possesso delle persone. Le modalità di costruzione della prova saranno altresì analoghe (e verranno presentate nel corso del presente capitolo). L unica concreta differenza riguarda la capacità messa in gioco da parte della persona che risponde alle domande: nel caso del test a risposta multipla, la memoria sarà di tipo riconoscitivo : a fronte di un certo numero di alternative devo riconoscere qual è l informazione corretta. Non mi è richiesto invece di immagazzinare il dato e saperlo richiamare a fronte di un problema, come nel caso dei test a domanda aperta ma con risposte sintetiche. Esempio di protocollo Com è fatto? Allegato n 1: Test a risposta chiusa Documento rielaborato con item tratti dal corso di informatica di base per l acquisizione della patente europea per l uso del computer (ECDL). Il test a risposta multipla, a domande chiuse è uno strumento classico della valutazione degli apprendimenti. È costituito da un elenco di domande chiave relative agli argomenti oggetto di apprendimento. Nei test a risposta multipla sono associate, ad ogni domanda, un certo numero di risposte già predefinite da parte dell esperto di valutazione (non meno di 3). Tra le risposte se ne troveranno di giuste, di sbagliate e, talvolta, di imprecise. Compito del valutato è quello di individuare tra le alternative quella più corretta (o quelle più corrette, se sono più di una). Il numero di domande (item) contenute in un test a risposta multipla è variabile. Il test, per le caratteristiche che possiede, dà la possibilità di inserire un numero molto elevato di item, consentendo così di indagare un numero elevato di informazioni. Può essere proposto contemporaneamente ad un numero elevato di persone; i tempi di compilazione sono generalmente piuttosto ridotti (si può calcolare circa un minuto per ogni item); la rielaborazione dei risultati, infine, è piuttosto rapida. Nella versione che viene qui presentata, si aggiunge, per ogni item, una ulteriore domanda relativa al grado di certezza con cui il valutato pensa di conoscere la risposta. Dopo aver scelto la risposta che ritiene corretta, il compilatore dovrà indicare se ritiene di essere certo della risposta data, se ne è convinto o se non è del tutto sicuro. 1

2 Cosa misura Conoscenze: Il test a risposta multipla è il classico strumento per valutare il grado di possesso delle informazioni da parte delle persone che hanno frequentato un esperienza formativa. Poiché presenta una possibilità di scelta tra più alternative, stimola nella persona che risponde un tipo di memoria di riconoscimento, piuttosto che rievocativa. In altri termini, il valutato dovrà compiere uno sforzo mnemonico minore, dal momento che la risposta corretta è già fornita. Dovrà piuttosto riconoscere questa dalle altre, che possono avere un effetto di distrazione. Tante più saranno le risposte corrette, tanto più possiamo ritenere che il valutato conosca la differenza tra le informazioni corrette e quelle sbagliate. Pertanto riteniamo che il numero di risposte esatte possa essere un buon indicatore delle conoscenze che una persona possiede rispetto ad un determinato argomento trattato dai diversi item. Abilità pratiche: Non sembra invece possibile correlare più di tanto il risultato ad un test a risposta chiusa con l apprendimento di abilità di tipo esecutivo. L unica ovvia eccezione è quella percui la persona debba svolgere una mansione che preveda di fornire delle risposte scritte a fronte di specifiche domande. Potrebbe essere questo il caso di un addetto all assistenza clienti che rispondesse ai quesiti posti tramite posta elettronica. L esempio è piuttosto improbabile, ma non impossibile, soprattutto considerando il tipo di tecnologie che stanno sempre più inserendosi nel mercato del lavoro. Occorre però dire che, in generale, la conoscenza almeno teorica delle procedure è una precondizione non sufficiente al possesso dell abilità pratica. Ovvero, se una persona sa come si fa una cosa, saprà anche spiegarla in maniera corretta; o meglio, saprà riconoscere se una descrizione corrisponda o meno a quello che sta facendo. Diverso è dire che se sa riconoscere i passaggi descritti su un foglio, allora sappia anche metterli in pratica. Per questo diciamo che la conoscenza non è sufficiente a garantire la corretta esecuzione delle prove pratiche. Oltretutto, in alcuni contesti, vi è il rischio di non riconoscere alcune terminologie specifiche perché nella pratica quotidiana vengono denominate in maniera differente. Attitudine al ruolo: Anche l attitudine al ruolo è difficilmente indagabile attraverso dei test a domande chiuse. Come per le abilità pratiche, la conoscenza della teoria non garantisce che la pratica sia poi affrontata nel modo più adeguato. Un esperienza diretta, però, ci insegna che indagare le conoscenze può essere d aiuto per comprendere i motivi di alcuni atteggiamenti inadeguati. Il caso fu quello di un agente di polizia locale che, posto di fronte all ingresso di una scuola, aveva fermato un automobilista che non indossava le cinture di sicurezza per elevare una contravvenzione. Questo è considerato un comportamento scorretto perché l obiettivo principale di un agente in quel contesto è tutelare la sicurezza dei pedoni e dei bambini in particolare piuttosto che far rispettare il codice della strada agli automobilisti. Poiché egli aveva però dimostrato fino a quel momento dei buonissimi risultati, i docenti e i tutor interni al corpo avevano ipotizzato che il suo comportamento fosse dettato dalla presunzione di riuscire a tenere tutto sotto controllo, nel qual caso la sua scelta sarebbe anche stata corretta; una maggiore esperienza avrebbe però insegnato che l attenzione da porre in quella situazione deve mantenersi costante. Fu invece una piccola sorpresa quando si decise di trasformare quella situazione in un quesito nella prova di metà percorso ed egli rispose, a differenza di tutti i suoi colleghi, che la priorità è quella di fermare l automobilista. In quel caso, indagare sulle convinzioni che stanno alla base di comportamenti professionali non fu affatto inutile e diede informazioni che la semplice osservazione non aveva saputo chiarire. 2

3 A chi si propone Quando lo si propone Come si prepara Siamo di fronte ad uno strumento che prevede, ovviamente, alcune minime capacità di lettura e (in misura anche minore) di scrittura. Per quanto banale sia questa affermazione, non sempre sembra essere patrimonio comune delle persone che predispongono moduli scritti. Un fantastico esempio è rappresentato dalla obliteratrice presente sugli autobus: se non avessimo appreso la norma di inserire il biglietto nella fessura della macchina osservando gli altri o per intuizione, dubito che il messaggio così composto avrebbe facilitato la nostra comprensione. Molti altri esempi della stessa natura potrebbero raccontarceli le persone straniere che si trovano a dover compilare uno dei molti moduli di cui la nostra solerte burocrazia è avida. Dunque, consapevoli di queste attenzioni da porre, possiamo presentare lo strumento a tutti coloro che siano in grado di leggere e comprendere quanto scriviamo e, nel caso, di scrivere la risposta. Altrimenti, possiamo superare piccoli handicap di lettura utilizzando anche simboli e disegni che accompagnano lo scritto. È invece preferibile limitare l intervento della persona esterna nel leggere gli item, per evitare suggerimenti e pressioni varie. Generalmente si propone il test all avvio del percorso e in chiusura dello stesso, così da poterlo sfruttare per più aspetti: - Avere una misura del livello di conoscenze in ingresso delle persone e tarare i percorso formativo; - Raccogliere il livello di conoscenze in uscita, per verificare che esso sia coerente con quello necessario per svolgere il ruolo professionale in questione; - rapportando gli esiti in ingresso ed in uscita, si può avere una stima dell apprendimento avvenuto durante il percorso, sia in maniera diretta, che stimolando degli approfondimenti individuali. In percorsi particolarmente lunghi e laddove si voglia monitorare l andamento dei processi di apprendimento, si possono prevedere anche delle somministrazioni intermedie; è però sconsigliabile un elevata frequenza di utilizzo del test (lo stesso test somministrato entro 3 mese dal precedente utilizzo), per evitare che l oggetto di apprendimento del percorso divenga la capacità di rispondere correttamente ai test. Questa eventualità distorcerebbe il senso del percorso formativo e inficerebbe la capacità dello strumento di esprimere (seppur in forma probabilistica) delle informazioni correlate agli apprendimenti più generali. Il primo passaggio consiste nel recuperare i concetti principali che sono (o saranno) trattati nel percorso formativo. Generalmente, il modo migliore consiste nel consultare i vari docenti e i libri di testo o le dispense utilizzate e da utilizzare. In funzione di quanto raccolto, si procede ad equilibrare il test, cercando di calcolare un numero di item che sia proporzionale alla rilevanza dei temi trattati. Per far questo, i criteri saranno più di uno: il numero di ore dedicate alle diverse materie o quelle assegnate ai diversi docenti; la presenza di temi di base, trasversali o tecnici; la necessità di dedicare almeno qualche item a tutte le materie trattate ecc. A questo punto viene la parte più complessa: quella della stesura delle domande e delle alternative di risposta. La soluzione migliore è quella di sottoporre gli item formulati da docenti e/o esperti e le relative risposte corrette e sbagliate (meglio se in numero maggiore di quelle che andranno poi a comporre il quadro delle alternative possibili) ad una somministrazione pilota fatta presso persone che siano grossomodo assimilabili a coloro che dovranno poi compilare il test. Si avrà così modo di verificare il grado di comprensione delle domande e di scartare (o comunque riformulare) tutte quelle che avranno creato dubbi di interpretazione. Si potrà inoltre scegliere gli item più opportuni da inserire nel test. 3

4 Ovvero si selezionano quelli corretti, così come indicato dal docente/esperto, salvo che anche essi non abbiano creato confusione o interpretazioni ambigue (nel qual caso occorre riformularli). Accanto ad essi, se ne sceglieranno anche alcuni generalmente un paio tra quelli che, nonostante siano chiaramente sbagliati, sono stati scelti da qualcuno (né troppi, né troppo pochi: tra il 5 ed il 20%) del gruppo pilota. Gli item andranno a questo punto trascritti in un formato che sia facilmente decodificabile da parte di coloro che dovranno rispondere. Generalmente i test si presentano sotto forma di elenco di domande, talvolta poste sotto forma di tabella, che presentano accanto delle risposte e un riquadro per segnalare quella che si ritiene più corretta. Un aspetto più verbale da considerare, invece, è la possibilità di inserire subito a seguito dell intestazione una breve spiegazione della modalità di compilazione dello strumento. Per completare la stesura del test, occorre prestare attenzione alla questione dei dati anagrafici che verranno richiesti e che, generalmente, trovano spazio nella prima sezione dopo l intestazione e la eventuale spiegazione scritta delle modalità di compilazione. Come già espresso nel paragrafo sui termini di confronto, è raccomandabile il raccogliere soltanto quelle informazioni che ritengo pertinenti alla valutazione dell apprendimento e che andrò quindi a considerare in fase di analisi delle risposte. Come si propone Chi lo presenta e come Chi ne raccoglie gli esiti e come Individuale o di gruppo? La forma più frequente di somministrazione dei test è quella individuale, anche se in contemporanea tra tutti i corsisti, e quindi in un contesto di gruppo d aula. Questa modalità comporta la necessità spesso vissuta come antipatica sia da chi la presidia che da chi la subisce di evitare che i partecipanti si confrontino e copino le risposte uno dall altro. Altrimenti, il risultato non sarebbe più associabile ad un unica persona, il cui grado di apprendimento diventa insondabile. Non è però esclusa la possibilità di consentire esplicitamente la compilazione di queste prove a piccoli gruppi. Questo può tornare particolarmente utile nel momento in cui la professione a cui si stanno preparando, prevede la capacità di condividere le informazioni in maniera efficace piuttosto che trattenerle individualmente. Un esempio possono essere quelle mansioni che obbligano a lavorare in team con altre figure, come nel caso dell infermiere professionale o dell educatore. In questo caso magari associandolo a somministrazioni di test più tradizionali può essere interessante valutare se le persone riescono a collaborare e a fornire prestazioni di squadra migliori di quelle dei singoli o se dinamiche perverse finiscano con il bloccare i componenti più informati del gruppo o ne ritardano l individuazione delle risposte. I test possono essere proposti tanto dall esperto di valutazione, quanto dai docenti o da eventuali tutor. Nel primo caso, sarà probabile che lo strumento, il suo utilizzo e il senso della sua compilazione vengano ben spiegate, ma che ci sia bisogno di far familiarizzare le persone in apprendimento con questa figura che potrebbero non conoscere. Nel secondo caso, invece, il rapporto tra i corsisti e i docenti (o i tutor) potrebbe essere dato per scontato: dovremo però assicurarci che lo stesso abbia ben presente l obiettivo generale dell utilizzo del test e le modalità di presentazione e compilazione. I test vengono quindi raccolti, ponendo attenzione al fatto che, qualora si sia scelto di presentarli come anonimi, le persone possano consegnarlo in modo indiretto. Ad esempio, si possono farli depositare in un luogo, una piccola urna, se si vuole rinforzare in modo simbolico il messaggio di anonimato. In molti casi, però, queste strategie mostrano facilmente dei limiti che vengono segnalati dagli stessi partecipanti, ponendo in una situazione di imbarazzo il valutatore. Infatti, se nel test vi fosse la possibilità di scrivere qualcosa per esteso, anche solo dei commenti o il titolo di studio conseguito, sarebbe possibile (almeno agli occhi del corsista) risalire poi alla sua identità; contraddicendo nei fatti tutti i messaggi che indicano attenzione all anonimato. 4

5 Nella nostra esperienza, l atteggiamento più efficace ci è sembrato quello di quei valutatori che garantiscono ai valutati la raccolta dei soli dati utili per le rielaborazioni valutative e la riservatezza nell utilizzo dei dati stessi. In questo modo, anche le misure accennate sopra (consegna anonima, questionari che non richiedono il nome) possono essere letti come segnali di serietà e di genuina attenzione rivolta solo a quegli aspetti rilevanti ai fini del mandato valutativo. Come si raccolgono e rielaborano le informazioni La rielaborazione dei dati può essere anche molto articolata e complessa, visto che si hanno a disposizione una serie di dati molto omogenei. Per elaborazioni complesse intendiamo anche la valutazione di correlazioni tra risposte: se una persona risponde correttamente ad una certa domanda, risponderà quasi certamente in modo corretto anche ad un altra; o, al contrario, se ne sbaglia una, ne sbaglierà anche altre. Oppure anche correlazioni tra esiti e caratteristiche delle persone: le corsiste di sesso femminile tenderanno a rispondere più correttamente a certe domande e quelli di sesso maschile ad altre (speriamo). Questo genere di elaborazioni richiedono però numeri elevati di compilazioni e ci danno informazioni che spesso non riusciamo ad utilizzare: nel primo caso, potremmo ad esempio risparmiare sulle domande che sappiamo correlate e formularne un numero minore. Quelle scartate potrebbero andare a costituire dei nuovi protocolli, diversi ma di pari difficoltà, utili per successive somministrazioni. Nel secondo caso, però, difficilmente potremo fare qualcosa. Sapere che le persone di sesso maschile hanno generalmente più difficoltà nei compiti verbali e quelle di sesso femminile nei compiti visuo-spaziali, non ha impedito a Dante Alighieri di comporre la Divina Commedia, né ad Ipazia d Alessandria di divenire la matematica e astronoma di riferimento del movimento Neoplatonico nella capitale della cultura ellenistica Alessandria d Egitto. Più spesso, invece, le elaborazioni che si possono condurre sono la verifica qualitativa del tipo di errori commessi, alla ricerca di spiegazioni plausibili: confusioni, disattenzione, incomprensioni o la pura ignoranza dell informazione. Questa è certamente la più banale, ma anche la più utile, delle elaborazioni da condurre. Il tipo di errore ci può dire molto delle cause e delle modalità per colmare la lacuna. Altre elaborazioni sono comunque piuttosto utili: calcolare la media di errori commessi dal gruppo classe (o dalla serie storica, se possibile), ci permette di confrontare la prestazione della persona con quelle di altri colleghi. Se il test è suddiviso in sezioni, si può anche verificare se gli errori siano concentrati in qualcuna in particolare: in questo caso si potrebbe concentrare un azione di recupero in alcune sezioni in particolare. Per fare ciò, è sufficiente andare a confrontare il numero di errori nella sezione con il numero medio di errori generale. Un esempio può forse aiutare: se il questionario è suddiviso in tre parti, A, B e C, andremo prima a calcolare una media generale degli errori della persona. Scopriamo quindi che il signore Tale commette mediamente 2 errori ogni 10 domande. Nella sezione A, su 15 domande ci sono 3 errori, in linea con la media generale. Nella sezione B, invece, su 15 domande c è un solo errore: salvo verifica, sembra che questa sia la parte di informazioni che il corsista conosce meglio. Nella sezione C, infine, sulle 15 domande la persona ha risposto in maniera scorretta 5 volte: evidentemente è il caso di verificare se questa non sia la debolezza di questa persona e di indirizzare maggiormente in questa direzione gli sforzi di apprendimento. Per ulteriore conferma, sarà utile fare la stessa operazione di confronto con le medie complessive del gruppo classe, suddivise per sezione: potremmo infatti scoprire che le difficoltà non sono soltanto del signor Tale, ma di tutto il gruppo classe. In questo caso, allora, più che indirizzare gli sforzi individuali, si tratterà di rivedere il peso delle diverse materie previste dal corso e dare una maggiore priorità a quella che risulta essere più critica. Oppure licenziare il docente! ( ovviamente è uno scherzo). Nel momento in cui si hanno risultati anche in uscita, sarà possibile fare il confronto tra tutti gli indici considerati più sopra, raffrontati nei due momenti. In questo modo l operazione rimarrà 5

6 molto simile a quella già descritta in precedenza, ma il salto logico notevole. Infatti, mentre prima parliamo di informazioni possedute in un determinato momento, qui giungiamo a valutare il cambiamento di queste acquisizioni. Ovvero, stiamo concretamente valutando l esito del percorso formativo; stiamo infatti verificando che, salvo particolari altri eventi accaduti, si è modificato il bagaglio di conoscenze delle persone a seguito di un percorso formativo. Quest ultimo potrebbe non essere il responsabile diretto: la persona potrebbe aver deciso di approfondire per conto proprio alcuni argomenti e averne tratto dei vantaggi in termini di conoscenze. Non consideriamo però questo un vero fattore di disturbo. Il percorso ha comunque avuto il merito di sensibilizzare ed orientare rispetto al tema e, indagando meglio, avere indicazioni sulle attività complementari intraprese dalla persona può darci degli utili suggerimenti da passare agli altri corsisti. Le variabili indipendenti e le variabili dipendenti Elaborazioni quantitative ed elaborazioni qualitative Emergono in modo abbastanza evidente dalla sezione precedente: nella versione più limitata al gruppo classe, si tratteranno separatamente le prove di ogni singola persona (variabile indipendente), confrontandone gli esiti (variabile dipendente) con quelle dell insieme del gruppo. Qualora emergessero ipotesi di interpretazione dei risultati che coinvolgessero specifiche variabili che sono state raccolte (il sesso, l età, il titolo di studio, l anzianità di servizio in un determinato ruolo professionale, ecc.), sarà allora possibile confrontare i punteggi medi delle persone raggruppate in funzione di quella variabile (indipendente). Qualora risultassero differenti, non si potrebbe fare affermazioni particolarmente ardite, dal momento che il numero spesso esiguo di soggetti non consente elaborazioni probabilistiche soddisfacente. Però, sarebbe una piccola testimonianza a favore dell ipotesi formulata, in grado di incoraggiare il decisore a sperimentare azioni di miglioramento che ne tengano conto. Probabilmente un esempio, anche banale, può aiutare. Nella rielaborazione dei risultati al test intermedio dei partecipanti al corso di cucina, ci sembra di notare che i partecipanti che hanno fatto esperienze di stage presso alcune strutture forniscano risultati migliori degli altri. Sappiamo che, in fase di avvio, non vi erano particolare differenze tra il livello di conoscenza dei partecipanti, che era piuttosto basso in quasi tutti i casi. Inoltre, nell assegnazione delle persone ai diversi ambiti di stage si è seguito un criterio basato sulla vicinanza delle persone ai luoghi e non altri criteri che mettevano in gioco elementi di preparazione degli stessi corsisti. Potrebbe quindi essere che alcuni luoghi siano più efficaci di altri nel trasferire informazioni durante la fase di stage. Per verificare questa ipotesi, possiamo provare a suddividere i test in due gruppi: quello delle persone che hanno seguito lo stage presso le strutture che ci sembrano più efficaci e quello di tutti gli altri corsisti. Possiamo, a questo punto, andare a verificare i punteggi dei due gruppi (complessivi, di specifiche sezioni ) per trovare eventuali differenze. Qualora il punteggio medio delle risposte corrette fosse sensibilmente diverso, la nostra ipotesi troverebbe un piccolo, empirico supporto. Non si può essere certi vista l esiguità del campione che sia effettivamente così; può comunque essere opportuno fare qualche colloquio con le persone (corsisti, tutor di corso e aziendali) per capire quali differenze ci siano e se queste possono avere un peso. Se anche in questo modo ci accorgiamo di una differenza rilevante, allora potremo essere più tranquilli nel proporre dei cambiamenti dello stage ad alcuni esercizi commerciali o più drasticamente a continuare solo con quelli più efficaci. Come già espresso nella sezione relativa alle elaborazioni, quelle più naturali sono di tipo quantitativo. Possono essere piuttosto elementari, come la media degli errori commessi, la media degli scostamenti rispetto alla media stessa (deviazione standard), i percentili nei quali si posizionano gli esiti delle prove ecc. Possono essere ancora più semplici e limitarsi alla moda (il valore di errori più frequente) o la mediana (il punteggio intermedio tra il massimo ed il minimo degli errori) quando le prove sono in numero così basso da rendere inutili e fuorvianti le medie. 6

7 Oppure possono essere più elaborate nel caso si possegga una banca dati di informazioni significativa. Questo può essere nel caso in cui un determinato corso si ripeta in forma simile nel tempo e magari per più edizioni ogni volta. Quando avremo diverse centinaia di test sui quali lavorare (per elaborazioni più sofisticate ne occorrerebbero ancora di più), allora possiamo iniziare a ricercare delle correlazioni tra i vari dati di cui siamo in possesso. Come già accennato, potrebbero essere correlazioni positive o negative (le correlazioni positive sono quando due variabili si modificano nella stessa direzione: aumentando una, aumenta anche l altra; quelle negative sono comunque interessanti ma dicono che le due variabili sono inverse l una rispetto all altra: all aumentare della prima, diminuisce la seconda e viceversa), di variabili dipendenti o indipendenti. Ciascuna di queste correlazioni può darci utili informazioni; sono però spesso delle indicazioni di massima se non si hanno numeri molto elevati che possano giustificare delle probabilità vicine al 100%. Si ritiene però che vada rivalutata anche l elaborazione più di tipo qualitativo : analizzare i singoli errori, ovviamente partendo da quelli più inaspettati o singolari. Dietro a questi possono esserci motivi i più diversi che, se individuati, possono aiutarci a riformulare i percorsi formativi per le persone e, a volte, anche per il gruppo in generale. Questa operazione, peraltro, è anche quella che tutti compiamo quando, da valutati, ci viene riconsegnata la prova corretta che abbiamo sostenuto. Prima ancora di confrontarci con gli altri o di fare i conteggi degli errori fatti, andiamo a vedere cosa abbiamo sbagliato cercando di capirne il motivo ( che distratto! Questa cosa la sapevo benissimo, o non avrei mai pensato che quella fosse la risposta giusta, anche se non ero certo di quella che avevo dato, o anche sì, so che questo argomento non lo capisco proprio ). Se chiamiamo questa una elaborazione qualitativa e la conduciamo assieme ai corsisti, credo che senza doverci affidare a rielaborazioni e a campioni immensi possa già fornirci molto materiale per sviluppare gli apprendimenti necessari. Termini di confronto dei risultati Chi prepara il questionario ha generalmente ben presente quale sia il criterio di valutazione della performance. Cioè, è probabile che sia in grado di dire a priori quante saranno le risposte corrette che in media i soggetti indicheranno. Pertanto, prestazioni inferiori alle aspettative ovvero un numero di risposte corrette inferiore saranno da considerare come dei risultati negativi; prestazioni invece superiori alle attese numero elevato di risposte corrette verranno valutate come positive. Accade però molto spesso che l esperto che prepara gli item del questionario sottovaluti la complessità dei contenuti che propone; oppure che non riesca a congegnare le risposte in modo da non suggerire quella più corretta. In questi casi, i risultati del test non corrispondono all effettivo grado di conoscenza che i corsisti possiedono. Lo strumento risulta così inaffidabile per la rilevazione delle conoscenze. Per ovviare a questi possibili inconvenienti si può procedere in due modi. Si può mettere a confronto i risultati che la singola persona ha ottenuto in momenti diversi del percorso di apprendimento. In questo modo, si potrà avere un indicazione dei progressi della persona in termini di apprendimento di informazioni. Per poter fare il confronto, però, le due versioni del questionario dovranno essere molto simili, se non identiche. Poiché è assai complesso costruire versioni analoghe di questionari di apprendimento, può essere più agevole utilizzare lo stesso questionario, avendo cura di ritirarlo subito dopo la compilazione e fornire poi i risultati in termini generali: la persona, o il gruppo classe in generale, ha dimostrato di conoscere non bene questi argomenti/aree tematiche e verranno pertanto approfonditi in maniera particolare durante il corso; questi altri argomenti/aree tematiche hanno fatto registrare risposte corrette e pertanto possono essere trattati in modo più rapido può essere un esempio di restituzione degli esiti che permette di non ancorare troppo le conoscenze delle persone alle specifiche risposte dei quesiti del test proposto. Come espresso altrove, infatti, il rischio è che le domande, invece di costituire dei campioni rappresentativi di tutte le conoscenze da possedere, divengano l obiettivo ultimo dell apprendimento. 7

8 Il secondo modo per superare il livello del confronto con le aspettative del docente è quello di mettere a confronto i risultati del singolo con quelli del gruppo classe. Sebbene questa modalità sia abbastanza scontata e di buon senso, ci preme far osservare che produce un confronto non sempre adeguato. Infatti, la stessa prestazione di un corsista potrebbe essere valutata come molto positiva in un gruppo classe più scadente e, al contrario, negativa, in un gruppo più preparato. In realtà, ciò che interessa conoscere (per il docente ma soprattutto al corsista) è se il livello di conoscenze è adatto alla professione che intende intraprendere. Il termine di paragone solo parzialmente può essere costituito dai colleghi corsisti, che rappresentano dei potenziali concorrenti per il posto di lavoro ma non danno garanzie di adeguatezza rispetto alle richieste della professione. Invece, il parere di un potenziale datore di lavoro o di una persona esperta (e si suppone che tra i docenti si debbano trovare persone dotate di tale competenza) è più pertinente, anche se maggiormente aleatorio e di difficile standardizzazione. Qualità delle informazioni raccolte Quanto sono valide? Se siamo rigorosi, il livello di validità dei test a risposte chiuse sarà elevato. Infatti, se intendiamo effettivamente misurare quante delle conoscenze sono in possesso delle persone cui sottoponiamo il test, il fatto che essi rispondano correttamente sembra essere il più valido degli indicatori. È abbastanza improbabile, se non sussistono cause eccezionali, che una persona che conosce un argomento risponda in modo non corretto ad una domanda pertinente. Va ricordato anche che le domande a scelta non necessitano di uno sforzo per recuperare l informazione dalla memoria a lungo termine: sarà sufficiente riconoscere, tra le alternative proposte, quella corretta (o più completa). Il rischio nel quale invece si incorre frequentemente e da cui guardarsi nel modo più assoluto, è di pensare che le risposte corrette al test siano indice di una competenza acquisita. Diverso è infatti parlare di informazione posseduta e di competenza acquisita: sapere i principi della comunicazione non fa necessariamente di me un buon comunicatore. Così come, peraltro, essere un buon comunicatore non implica che sappia enunciare i principi della comunicazione efficace. Piuttosto, possiamo dire che in un percorso per sviluppare ed affinare le competenze comunicative, è utile che le persone divengano sempre più consapevoli di come dovrebbe comunicare secondo i principali studiosi che si sono occupati del tema. Pertanto è utile che apprendano alcune nozioni, se già non le possiedono. Un buon test sarà in grado di verificare il possesso o meno di queste conoscenze. Quanto sono attendibili? Di nuovo bisogna ribadire che, nel suo piccolo, il test a risposte chiuse è generalmente piuttosto affidabile. Lo dimostrano le molte versioni di esso che vengono standardizzate ed utilizzate in ricerche anche molto rilevanti e sofisticate. Questa dovrebbe costituire una testimonianza definitiva delle potenzialità notevoli del test in quanto ad attendibilità. Ovviamente vi sono alcune avvertenze da rispettare: Innanzitutto va costruito pensando ad ogni item come ad un piccolo segnale (una spia ) che ci dice se la persona conosce l intero corpus della materia (almeno della parte che si ritiene indispensabile che conosca). Queste spie andranno pertanto collocate in modo sparso, per tutta l estensione della materia. Non dovranno concentrarsi soltanto in alcune aree, né verificare solo in concetti centrali trascurando quelli periferici. Gli item dovranno essere descritti in modo chiaro, senza possibilità di fraintendimenti e ambiguità. Questo vale sia per le domande che per le risposte alternative (se ci sono). Inoltre, deve essere certo il rapporto tra la questione e la risposta corretta. Si possono considerare delle eccezioni (dare più risposte corrette, di cui una più accurata e una meno), ma questo deve essere chiaramente esplicitato in sede di presentazione della prova. Inoltre, le risposte devono essere ben congeniate: non devono apparire evidentemente sbagliate (paradossali, enfatiche), né evidentemente corrette (più dettagliate e specifiche delle altre). 8

9 Il contesto dovrà essere curato affinché le persone possano concentrarsi su quanto hanno appreso; non dovrebbero esserci particolari interferenze né disturbanti (interruzioni, rumori, altri impegni concomitanti ), né facilitanti (libri da consultare, appunti, suggerimenti, ecc.), salvo diversa e motivata scelta. Quando queste condizioni sono rispettate, il test può essere ritenuto molto attendibile. Quanto sono sensibili? La sensibilità, rispetto agli altri due parametri, oscilla in modo inverso rispetto ad un altro parametro: la semplicità dello strumento. Infatti, tanto più costruisco strumenti complessi, tanti più item inserisco (fino ad un certo limite: altrimenti si rischia di ottenere risposte sbagliate a causa del deficit di attenzione e non per una carenza delle informazioni possedute), tanto più aumenta la sensibilità. Persone che hanno una conoscenza approfondita e solida risponderanno correttamente comunque a tutti (o quasi) gli item; persone che non conoscono la materia avranno prestazioni decisamente inferiori alle precedenti: indovineranno qualche risposta per caso, qualcuna la intuiranno, ma ne sbaglieranno un gran numero di quelle previste. La differenza è però per quelle persone con conoscenze meno solide, più approssimative rispetto ai primi, ma che hanno comunque acquisito più di qualche nozione, a differenza degli impreparati : con test più ampi potranno dimostrare performance differenti rispetto a questi ultimi, anche se non riusciranno ad avvicinarsi ai primi. In test più brevi, invece, queste differenze potrebbero essere meno chiare, più difficili da cogliere. Una buona media sulla quale rapportarsi è un test che presenti un numero di item tali da permettere in media la compilazione in minuti circa. Considerando che le domande a risposta chiusa permettono tempi abbastanza rapidi di lettura e scelta, i test potranno essere grossomodo composti da item circa. Queste indicazioni non vanno evidentemente intese in senso letterale, ma vogliono essere un indicazione di massima per parametrare la prova. Se gli item comportano un linguaggio tecnico complesso, o se prevedono la possibilità di più di un alternativa corretta, il loro numero complessivo dovrà diminuire. Se, invece, sono molto intuitivi e non richiedono particolare riflessone ma solo l associazione della risposta corretta, allora potranno anche essere in numero maggiore. 9