LE PROVE OGGETTIVE Rif. DOMEICI -Manuale della valutazione scolastica Laterza Editore TIPI E STRUTTURA DEI QUESITI 9 VERO/FALSO Richiedono una scelta fra due radicali e semplici risposte alternative. Questi item possono rilevare solo conoscenze molto semplici che non vanno oltre il banale riconoscimento di un evento, di una regola, di un principio. Peraltro la probabilitb di rispondere bene ma casualmente P pari al 50%!!! 9 COMPLETAMETI Si richiede di completare un brano dal quale siano stati precedentemente tolti alcuni termini (sostituiti da puntini di sospensione) che assieme ad altri di disturbo vengono proposti in calce allo stesso brano. Le parole aggiuntive devono ovviamente concordarsi grammaticalmente e sintatticamente con le proposizioni entro cui potrebbero inserirsi. Anche per questi quesiti la tipologia delle abilitb e delle conoscenze rilevabili e assai simile a quella indicata per i V/F 9 CORRISPODEZE Con essi si chiede di porre in corrispondenza biunivoca ciascuno degli elementi di una serie di dati con il corrispondente elemento di una seconda serie presentata accanto alla prima Il numero dei termini della seconda serie deve essere maggiore di quello della prima. Il numero dei dati in prima colonna non dovrebbe essere superiore a 8-10 Si possono cogliere relazioni tra gli eventi, dati, ecc.., Si possono utilizzare grafici e tabelle...
9 SCELTE MULTIPLE Rappresentano la forma pij flessibile di quesiti e risultano essere gli item pij importanti e impegnativi Consistono in una affermazione, in una domanda o nella presentazione di un problema, cui fa seguito una serie di risposte o soluzioni alternative tra le quali va scelta quella o quelle ritenute esatte. La domanda pub assumere di fatto la consistenza di problemi anche molto complessi e originali. Si pub rilevare una vasta gamma di elementi valutativi, dalla semplice conoscenza o comprensione dei fatti, regole, principi ai cosiddetti percorsi intellettuali superiori quali la capacitb di compiere analisi, sintesi, valutazioni. Riassumendo 9 VERO/FALSO Semplici da realizzare Obiettivi valutativi limitati 9 COMPLETAMETI Difficili da realizzare Obiettivi valutativi limitati 9 CORRISPODEZE Semplici da realizzare Obiettivi valutativi discreti 9 SCELTE MULTIPLE Semplici da realizzare Obiettivi valutativi molto ampi
DETERMIAZIOE DELLA LUGHEZZA E/O DURATA DI UA PROVA 9 Gli item a scelta multipla, anche se piuttosto impegnativi, devono essere strutturati in modo da richiedere per la soluzione un tempo variabile tra uno o due minuti 9 La curva dell'attenzione cade bruscamente dopo un ventina di minuti (per gli adulti) 9 Dopo due o tre riprese il livello della stessa attenzione intensiva diventa piuttosto bassa 9 E' buona norma non far durare oltre i 50-60 minuti l'impegno richiesto in una specifica presentazione Al massimo 40-50 item. Max due prove per mattinata intervallate di due ore
COME SUDDIVIDERE GLI ITEM Ip Importanza assegnata a ciascuna delle parti curriculari Tp Tempo dedicato a ciascuna parte Tc Tempo complessivo dedicato a tutte le parti curriculari prese in esame I p ' T p T c 100 Parti Tempo parziale Importanza % 1 2 25 2 3 37.5 3 2 25 4 1 12.5 8 100 Se il numero totale dei quesiti fosse 40. Verrebbero cosx distribuiti: 1 40 0.25 10 3... 10 2 40 0.375 15 4... 5 QUALE PUTEGGIO ASSEGARE AGLI ITEM 9 Attribuire un peso maggiore agli item che verificano abilitb complesse secondo una scala ordinale che rispecchi l'ordine gerarchico della loro importanza Crea delle difficoltb non indifferenti nell'analisi dei risultati 9 Attribuire un punteggio che sia inversamente proporzionale alla probabilitb di che la struttura di ciascun item offre di rispondere esattamente ma in modo casuale. 1 punto VERO/FALSO 3 punti SCELTA MULTIPLA con 4 alternative 2 punti COMPLETAMETI (!) 1 punto CORRISPODEZE (!)
Come conteggiare le O risposte Penalizzare o non penalizzare? P E S n penalizzazione per ciascun item numero risposte esatte numero risposte sbagliate numero di alternative di risposta P'E& S (n&1) Alcune ricerche sperimentali hanno mostrato che il comunicare agli allievi che le risposte sbagliate verranno penalizzate non sortisce risultati apprezzabili rispetto a quelle situazioni nelle quali tale informazione non viene data. E' dunque preferibile non complicare le operazioni di calcolo dei punteggi attraverso la penalizzazione degli errori
DETERMIAZIOE DEL PUTEGGIO MAX TEORICO Tipo di item.item Peso Max parziale V/F 10 1 10 Corrispondenze 10 2 20 Scelte multiple 30 3 90 Completamenti 10 1 10 Punteggio max teorico 130 ESEMPIO 10 item V/F 7 esatte 3 errori 20 scelta multipla a 4 opzioni 15 esatte 5 errori Punteggio totale 7 + 15x3 = 52 Punteggio totale con penalizzazione degli errori P(V/F) = (7-3/(2-1)) 1= 4 P(Sm) = (15-5/(4-1) 3 = 40.2 Punteggio totale 44.2 vs 52 Qualunque via si segua, il punteggio assegnato subito dopo la correzione della prova viene detto punteggio grezzo GREZZO sta ad indicare che occorre compiere ulteriori elaborazioni per poter effettuare confronti tra gli esiti conseguiti in altre prove dagli stessi allievi (confronti diacronici) o da altri allievi alle stesse o ad altre prove (confronti sincronici)
LE SCALE DI MISURA La scala nominale Si ha con l'attribuzione di nomi a determinate qualitb che vengono assunte a criterio di riferimento Classe A (sufficienti) Classe B (insufficienti) Le operazioni consentite a livello di scala nominale sono: il calcolo della frequenza il calcolo della moda il calcolo delle percentuali test del P per verificare la significativitb statistica della differenze di frequenze riscontrate in due 2 o pij campioni La scala a intervalli La distanza tra due qualsiasi punti di questa scala P costante. L'intervallo viene così a rappresentare un indicatore quantitativo oltre che qualitativo le operazioni consentite a livello di scala a intervalli sono: tutte le operazioni consentite sulla scala nominale media aritmetica indici di dispersione correlazioni varie
MISURE DI POSIZIOE Media Aritmetica M' j i'1 x i ProprietB La somma algebrica degli scarti dei dati dalla loro media aritmetica P sempre uguale a zero La somma dei quadrati degli scarti dalla media P minima Pub essere senz'altro utile rapportare la media aritmetica dei punteggi con il max teorico Mediana Se si dispongono le osservazioni in ordine crescente o decrescente l'osservazione che occupa la posizione centrale dei dati osservati P la mediana. La mediana divide la distribuzione dei valori in due frazioni uguali. Con lo stesso principio possiamo dividere l'insieme dei dati in quattro parti uguali. I valori che costituiscono i punti di suddivisione della distribuzione sono chiamati primo quartile, secondo quartile, terzo quartile. La media aritmetica si considera, di solito, la miglior misura di tendenza centrale ed P certamente la pij comune. La media aritmetica però pub non essere rappresentativa se fra i dati vi sono alcuni valori 'anomali' Moda E' l'osservazione che si manifesta con maggiore frequenza. Spesso si lavora con distribuzioni bimodali o genericamente multimodali.
MISURE DI DISPERSIOE Range La pij semplice misura di variabilitb di una grandezza P il range ossia la differenza fra l'osservazione massima e l'osservazione minima Devianza DEV' j i'1 (x i &6x) 2 Varianza VAR'F 2 ' j i'1 (x i &6x) 2 Deviazione Standard Coefficiente di Variazione D.S.'F' j i'1 (x i &6x) 2 CV' D.S. 6x ' j i'1 (x i &6x) 2 6x
MISURE DI ASSOCIAZIOE Codevianza E' una misura di associazione di tipo lineare Cod' j i'1 (x i &6x)(y i &6y) Cod > 0 Cod > 0 Cod = 0 associazione positiva associazione negativa assenza di relazione LIEARE Covarianza Cov' Cod j ' i'1 (x i &6x)(y i &6y) Limiti della covarianza M non ha un limite superiore e/o inferiore M la sua grandezza dipende dalla unitb di misura delle variabili Coefficiente di correlazione lineare di BRAVAIS-PEARSO D' Cov(X,Y) Max(Cov) ' Cov(X,Y) Var(X)@Var(Y) Poiché il denominatore P il massimo del numeratore si evince che: -1# D # 1 L'interpretazione di un coefficiente di correlazione dipende fondamentalmente dalle caratteristiche
della ricerca e dall'estensione delle conoscenze che si hanno sulla materia dello studio. Correlazione O implica ECESSARIAMETE relazione casuale. Le variabili X e Y possono essere correlate semplicemente perché entrambe sono fortemente influenzate da Z. Correlazione stretta (+0.998) tra il numero di abbonati alla radio (1924-37) e numero di ritardi mentali [Yule, Kendall, 1965 ] Correlazione tra nascite annuali in G.B. e produzione annuale di ghisa (-0.98) [Snedecor, Cochran, 1967] Correlazione tra nidi di cicogne e nascite in Europa occidentale [Kerlinger, Pedhazen, 1973]
LA DISTRIBUZIOE ORMALE E' caratterizzata da due parametri MEDIA, DEV.STADARD A F elevate corrispondono curve piatte (dati molto dispersi) o platicurtiche A F piccole corrispondono curve strette o leptocurtiche, espressione di dati molto addensati rispetto al loro valore medio Quando F P contenuta entro il 10-15% del valore assunto dalla media, gli esiti di ciascuna prova possono considerarsi omogenei Quanto pij F si allontana da tale soglia, tanto maggiore sarb la differenza tra i risultati: la variabilitb o, se si vuole, la dispersione o l'allontanamento dalla media sarb molto accentuato LA DISTRIBUZIOE PETEARIA E' un sistema di classificazione che permette di distinguere le diverse prestazioni in 5 fasce d'ordine decrescente A, B, C, D, E. B, C, D hanno ampiezza pari a una deviazione standard A ed E rappresentano le due code
Esempio Media 40 F= 20 C (30-50) B (50-70) D (20-30) A (>70) E (<20) 9 La distribuzione pentenaria permette, abbastanza agevolmente, di effettuare dei confronti (sincronici e/o diacronici) 9 Dato che formalmente la distribuzione pentenaria postula una casualitb dei risultati secondo una curva normale, P facile comprendere se, quanto e in quale direzione, la curva che rappresenta i dati reali si discosta dalla normale teorica 9 Se i risultati reali seguissero una distribuzione rigorosamente normale, la percentuale di casi che cadrebbero probabilisticamente in ciascuna delle fasce della distribuzione pentenaria sarebbero: E 7% D 24% C 38% B 24% A 7%
PUTI Z Z ' X i &X F Otteniamo dei punteggi EGATIVI!!! PUTI T Si forza la media a 50 e la F a 10 T ' 50 % 10(X i &X) F T ' 50 % 10Z IDICE DI DIFFICOLTA' I d ' Punteggio medio Punteggio Massimo
IDICE DI DISCRIMIATIVITA' d ' E s &E i n Es numero di risposte esatti date dal terzo superiore Ei numero di risposte esatte date dal terzo inferiore n numero di soggetti inclusi in ciascuna delle due fasce Domande con d < 0.25 o con valore discriminante negativo devono essere riconsiderate Se il coefficiente di difficoltb P prossimo ai valori estremi (0,1), l'indice di discriminazione P poco attendibile