DOCIMOLOGIA FRANCESCO AGRUSTI. anno accademico CdL Scienze dell Educazione 9 (6+3) CFU

Transcript

1 1 DOCIMOLOGIA FRANCESCO AGRUSTI anno accademico CdL Scienze dell Educazione 9 (6+3) CFU

2 Testi consigliati testi consigliati per l esame 2 B. Vertecchi, Manuale della valutazione. Analisi degli apprendimenti e dei contesti, Milano, Franco Angeli, Non è possibile visualizzare questa immagine. B. Vertecchi, (a cura di), Nulla dies sine linea, Milano, Franco Angeli, anno accademico CdL Scienze dell Educazione 9 (6+3) CFU

3 3 Cap 9 Come attribuire punteggi anno accademico CdL Scienze dell Educazione 9 (6+3) CFU

4 Esistono due approcci principali all educazione: qualitativo e quantitativo. Il primo è concentrato sulle cause e sui principi, il secondo sugli effetti e sui fatti. ( ) Sicuramente, l approccio qualitativo in educazione non produce una valutazione numerica bensì dei giudizi. In ogni caso, l approccio quantitativo può dare maggiore obiettività ed è rivolto ad incentivare l efficacia degli interventi educativi. ( ) Se è pur vero che non possiamo misurare tutto, all interno del processo di insegnamento-apprendimento, possiamo misurare qualcosa. Raymond Buyse (1935). L expérimentation en Pédagogie, Bruxelles: Lamertine.

5 Abbiamo anche imparato che le arti del sentire e del conoscere impegnano a rendere il giusto onore alla nostra altamente limitata capacità di ricevere ed elaborare informazioni. Noi onoriamo questa capacità apprendendo quei metodi atti a sintetizzare vasti campi di esperienza in simboli economici, cioè nei concetti, nel linguaggio, nelle metafore, nel mito, nelle formule. Chi fallisce in questa arte sconta l errore o con l irretirsi in un mondo limitato di esperienza o con il restar vittima di un sovraccarico di informazioni. Jerome Bruner (1968), Il conoscere. Saggi per la mano sinistra. Roma: Armando, p.29.

6 Quantitativo vs qualitativo Ø Oggettività e soggettività dei due approcci solo presunta Ø Relatività della bontà degli approcci rispetto alle ipotesi e alle finalità dell indagine Ø Rapporto tra contesto di ricerca e strumenti: connotazione culturale e validità/attendibilità Ø Accettare il valore della distinzione tra qualitativo e quantitativo non vuol dire precludere la via a possibili integrazioni

7 Che cosa faremo Impostazione di un archivio di dati Pulizia dei dati Calcolo delle frequenze Difficoltà e discriminativita Misure di tendenza centrale e di dispersione Centili, punti z e punti T Distribuzione pentenaria e punteggi soglia Rappresentazione grafica Alcuni test (chi quadrato, phi, T-Test) Correlazione (Pearson, Spearman)

8 Come è fatto un foglio di calcolo Elementi principali (celle, barre, tasti di scelta rapida, foglio e fogli) Comandi fondamentali (apri, salva, annulla e relative scorciatoie da tastiera) Come muoversi velocemente su un foglio

9 L impostazione dell archivio Righe = soggetti del collettivo (studenti, intervistati) Colonne = variabili (dalle demografiche alle risposte ai quesiti) Una sola informazione per cella Trascinamento per estendere una serie (verticale/orizzontale, serie numerica/testuale)

10 Terza legge di Finagle: In qualsiasi rilevazione di dati, la cifra più ovviamente corretta, oltre ogni necessità di controllo, è un errore. Corollario alla terza legge di Finagle: Nessuna delle persone alle quali chiedi aiuto vedrà l errore. Corollario alla terza legge di Finagle: Tutti coloro che si fermeranno a dare un parere non richiesto, vedranno immediatamente l errore.

11 VARIABILI E CODEBOOK Definizione di un sistema di variabili Gli strumenti della rilevazione La codifica delle risposte: impostare un codebook Codificare le risposte aperte Il controllo dei dati inseriti

12 Definizione delle variabili Dati: oggetti naturali o culturali? apporto intellettuale ed elaborazione simbolica Descrizione / interpretazione => risultato di mediazioni successive Storicizzazione della valutazione, rapporto tra cultura e approcci metodologici Definizione di variabili in relazione al fenomeno osservato (pertinenza, rilevanza, univocità)

13 Gli strumenti: i particolari contano Presentazione della valutazione Istruzioni di compilazione / durata Impostazione grafica (economia di spazio, chiarezza) Ordine dei quesiti/domande Codici

14 Gli strumenti della rilevazione

15 Gli strumenti della rilevazione

16 Gli strumenti della rilevazione

17 Gli strumenti della rilevazione

18 Gli strumenti della rilevazione

19 La codifica delle risposte: impostare un codebook Denominazione / etichetta della variabile (INCOLLA SPECIALE e TRASPONI) Tipo di quesito /domanda Codifica dei valori (risposta mancante, doppia) Valori consentiti Se prova (e non questionario): risposta corretta o chiave obiettivo cognitivo 23

20 La codifica delle risposte aperte 1. Relevance and adequacy of content. Short answer vs long answer Approccio olistico (Primary trait scoring) vs approccio analitico 2. Compositional organization. 3. Cohesion. 4. Adequacy of vocabulary for purpose. 5. Grammar. 6. Mechanical Accuracy (punctuation & spelling). Weir, 1988, TEEP Test in English for Educational Purposes.

21 L analisi classica degli item Comprende: Frequenze di risposta Indice di distrattività Indice di difficoltà Indice di discriminatività Correlazione item-totale Alfa di Cronbach

22 Frequenze di risposta Numero di occorrenze delle modalità di una variabile nel campione ossia quante volte ricorre una risposta in un quesito (per tutte le risposte possibili, per tutti i quesiti) Possono essere assolute, relative, cumulate, percentuali

23 Frequenze - assolute, relative, percentuali - se il carattere è ordinabile: cumulate età fq assoluta fq relativa fq % fq assoluta cumulata fq relativa cumulata fq % cumulata , , , , , , , , totale 58 1,00 100

24 Come si interpreta la distrattività Serve ad individuare quei distrattori poco o per nulla attrattivi Teoricamente, la risposta corretta dovrebbe avere sempre la frequenza assoluta più elevata e i distrattori dovrebbero dividere equamente i restanti rispondenti Se un distrattore non viene scelto vuol dire che non è plausibile (molto spesso per ragioni indipendenti dai contenuti) e rende per questo più facile il quesito

25 Indice di distrattività Si adopera per valutare il funzionamento dei quesiti a scelta multipla Misura la capacità di ogni singolo distrattore di far deviare dalla risposta corretta a ciascun quesito È la percentuale di studenti che sceglie ciascun distrattore....senza includere le risposte lasciate in bianco, le doppie risposte o quelle incomprensibili Se N<100 NON si usa la frequenza percentuale ma direttamente le frequenze assolute

26 Nessuna domanda è più difficile di quella la cui risposta è ovvia. (George Bernard Shaw)

27 Difficoltà e discriminatività Indici di base nell analisi classica dell andamento dei quesiti Solitamente accompagnati dall analisi delle frequenze di risposta Per i quesiti a scelta multipla: distrattività, verifica della capacità dei distrattori di attrarre risposte Non si tratta di un giudizio di esperti o di chi produce la prova: ma solo di calcoli effettuati a posteriori (dopo una somministrazione) sul numero di risposte corrette ed errate ad ogni quesito

28 Indice di difficoltà (sui punteggi grezzi) D = nerrate/n Def. Resistenza che un quesito oppure alla sua risoluzione Si considerano errate anche le non risposte Nei paesi anglosassoni hanno invece l item facility: ossia l opposto, si calcola con il numero di risposte corrette Si può lasciare all unità oppure riportare in %

29 Indice di difficoltà D = Corrisponde alla percentuale degli errori commessi da tutti gli studenti del gruppo esaminato in ciascuna domanda della prova. Esempio: 7 studenti su 14 danno una risposta errata alla domanda 3 => la domanda 3 ha un indice di difficoltà pari al 50% Può essere calcolato anche come rapporto tra le risposte errate e il totale di risposte fornite alla domanda (7/14 = 0.5)

30 Indice di difficoltà (con quesiti pesati) Dp = ncorrette/(nrispondenti * punteggio assegnato) Si calcola come l item facility e, avendo quesiti pesati, dobbiamo considerare questo peso nella formula A parità di punteggi totali per item, gli item con più peso sono più difficili (o meno facili) di quelli con punteggio grezzo (1 o 0) perché diminuisce il numero di persone che ha dato la risposta corretta

31 Difficoltà come si interpreta Non ci sono regole sempre valide, tutto dipende dalla finalità della prova nel suo complesso Solitamente se inferiore a 0.2 il quesito è troppo facile, se superiore a 0.8 troppo difficile All interno di una stessa prova ci devono essere sia quesiti più facili, sia quesiti più difficili

32 I problemi della difficoltà classica dom. 1 dom. 2 dom. 3 dom. 4 dom. 5 % Studente Studente Studente Studente Studente Difficoltà 0,80 0,60 0,40 0,20 0

33 Se aggiungiamo uno studente con andamento di risposta anomalo dom. 1 dom. 2 dom. 3 dom. 4 dom. 5 % Studente Studente Studente Studente Studente Studente Difficoltà 0,80 0,60 0,40 0,20 0 la situazione non è più facilmente interpretabile

34 Se aggiungiamo uno studente con andamento di risposta anomalo dom. 1 dom. 2 dom. 3 dom. 4 dom. 5 % Studente Studente Studente Studente Studente Studente Difficoltà 0,80 0,60 0,40 0, gli studenti 4 e 6 hanno lo stesso punteggio % ma hanno risposto a quesiti con difficoltà diversa

35 Se aggiungiamo un quesito con andamento di risposta anomalo dom. 1 dom. 2 dom. 3 dom. 4 dom. 5 % Studente Studente Studente Studente Studente Difficoltà 0,80 0,60 0,40 0,20 0

36 Se aggiungiamo un quesito con andamento di risposta anomalo dom. dom. dom. dom. dom. dom % Studente Studente Studente Studente Studente Difficoltà 0,80 0,60 0,40 0,20 0 0,80 il punteggio non è più univocamente interpretabile

37 I quesiti 1 e 6 hanno la stessa difficoltà ma dom. dom. dom. dom. dom. dom % Studente Studente Studente Studente Studente Difficoltà 0,80 0,60 0,40 0,20 0 0,80 hanno ricevuto risposte corrette da studenti con andamenti molto diversi tra loro al complesso della prova

38 Indice di discriminatività Valuta quanto il quesito è in grado di discriminare, ossia distinguere tra migliore e peggiori Varia da -1 a +1 Se è superiore a 0,3 è accettabile Va intepretata insieme alla difficoltà, alle frequenze, alla distrattività e nel complesso della prova

39 Indice di discriminatività d = (Es Ei)/n d = indice di discriminatività Es = risposte esatte date al quesito dagli studenti dell estremo superiore Ei = risposte esatte date al quesito dagli studenti dell estremo inferiore n = numero di punteggi che cadono in una delle due fasce considerate (superiore o inferiore che devono essere della stessa ampiezza)

40

41 Indice di discriminatività Il valore di d può oscillare tra 1 e vuol dire che hanno risposto bene al quesito solo gli studenti più bravi, che quindi discrimina molto gli studenti: si potrebbe prendere questo quesito come riferimento per sapere se uno studente si colloca nella fascia superiore o no. -1 vuol dire che il quesito non è ben formulato, in quanto induce a dare risposte errate proprio quegli studenti il cui andamento complessivo alla prova è buono o ottimo. Il quesito deve essere quindi sottoposto a revisione.

42 Item analysis e distrattori Indice di difficoltà tra 0,2 e 0,8 Indice di discriminatività maggiore di 0,3 Distribuzione omogenea di studenti sui distrattori Risposta corretta = quella con la fq più elevata Not reached : gli ultimi quesiti hanno avuto risposta o no? (cfr tempi di somministrazione) Non dimenticare: le finalità della prova, il numero di rispondenti e le loro caratteristiche, l andamento di eventuali try-out precedenti

43 Chi mi aiuta? Come viene definita la difficoltà di un quesito? Come si calcola la difficoltà di un quesito? Qual è la gamma di variazione della difficoltà e quali valori sono preferibili?

44 Chi mi aiuta? Come viene definita la difficoltà di un quesito? È la resistenza che un quesito oppone alla sua risoluzione Come si calcola la difficoltà di un quesito? È il rapporto tra risposte errate e totale dei rispondenti (può essere anche espresso come percentuale di risposte errate ad un quesito) Qual è la gamma di variazione della difficoltà e quali valori sono preferibili? Può andare da 0 a 1 (oppure da 0% a 100%) ed è preferibile che sia compresa tra 0,2 e 0,8

45 Chi mi aiuta? Come viene definita la discriminatività di un quesito? Come si calcola la discriminatività di un quesito? Qual è la gamma di variazione della discriminatività e quali valori sono preferibili?

46 Chi mi aiuta? Come viene definita la discriminatività di un quesito? È la capacità di un quesito di distinguere i rispondenti bravi (ossia che rispondono bene a tutta la prova) da quelli meno bravi (che rispondono male a tutta la prova) Come si calcola la discriminatività di un quesito? Si calcolano i punteggi grezzi e si ordinano i rispondenti in base al punteggio ottenuto; si scelgono due fasce di rispondenti di uguale ampiezza (estremo superiore e inferiore) e per ogni quesito si applica la formula: (ES-EI)/n (differenza dei punteggi nelle due fasce fratto il numero di rispondenti contenuto in una fascia). Qual è la gamma di variazione della discriminatività e quali valori sono preferibili? Varia da -1 a +1 e sono preferibili valori positivi almeno superiori a 0,3

47 Quali quesiti rivedere e perché? dom. 1 dom. 2 dom. 3 dom. 4 dom. 5 dom. 6 dom. 7 A B C D Missing dom. 1 dom. 2 dom. 3 dom. 4 dom. 5 dom. 6 dom. 7 corrette errate Difficoltà 42% 38% 31% 91% 51% 19% 64% Discrimin. 0,5 0,4 0,4-0,1 0,7 0,7 0,4

48 Quali quesiti rivedere e perché? dom. 1 dom. 2 dom. 3 dom. 4 dom. 5 dom. 6 dom. 7 A B C D Missing dom. 1 dom. 2 dom. 3 dom. 4 dom. 5 dom. 6 dom. 7 corrette errate Difficoltà 42% 38% 31% 91% 51% 19% 64% Discrimin. 0,5 0,4 0,4-0,1 0,7 0,7 0,4

49 Quali quesiti rivedere e perché? Dom. 1 Dom. 2 Dom. 3 A* B C D diff 0,52 0,88 0,68 discr 0,43-0,21 0,87

50 Quali quesiti rivedere e perché? Dom. 1 Dom. 2 Dom. 3 A* B C D diff 0,52 0,88 0,68 discr 0,43-0,21 0,87

51 Misure di tendenza centrale e dispersione

52 Punti di vista Did you know that the great majority of people have more than the average number of legs? It's obvious, really: Among the 57 million people in Britain, there are probably 5,000 people who have only one leg. Therefore, the average number of legs is And because most people have two legs...

53

54 MISURE DI TENDENZA CENTRALE E DISPERSIONE Descrivere l andamento di una prova Minimo, massimo e gamma Media, mediana e moda Deviazione standard Curve e loro interpretazione

55 Una distribuzione di punteggi

56 Interpretazioni a confronto Rico got the highest score in the class. No other 5 grade class in the district has a lower average vocabulary score. Sara s score of 77 is well above the class average of 58. Erica can correctly name the capitals of 47 states. Jody has achieved 3 of the science goals. Katie has a perfect score. Norm-referenced Criterion-referenced Ebel R.L. Frisbie D.A., Essential of Educational Measurement, 1965, p.38

57 Due approcci diversi assegnazione di punteggi su base normativa (norm-referenced)....oppure sulla base di criteri prestabiliti (criterion-referenced)

58 MINIMO MASSIMO E GAMMA Ogni prova ha un punteggio grezzo minimo e un massimo teorico ed effettivo La gamma (range) di punteggio è max-min+1 La gamma rappresenta la più semplice misura di dispersione

59 MEDIA (ARITMETICA) La media è la misura di tendenza centrale che consente l equipartizione dei punteggi tra tutti gli studenti partecipanti alla prova. La media aritmetica corrisponde alla sommatoria di tutti i punteggi fratto il numero degli studenti partecipanti alla prova. Funziona solo con variabili continue e non con quelle nominali (no: genere, luogo di nascita, opinioni,..) Risente dei valori estremi.

60 MEDIANA In statistica è definita l unità centrale, ovvero quella che divide il collettivo in due parti di uguale numerosità. Corrisponde alla misura che occupa la posizione centrale se si ordinano tutte le misure dalla più bassa alla più alta. Se il numero dei punteggi è dispari, sarà uguale al valore centrale una volta ordinati i punteggi. Se il numero dei punteggi è pari, sarà uguale alla semisomma dei due valori centrali (ovvero la somma dei due valori centrali diviso due). Può essere utilizzata in caso di variabili ordinali. Non risente dei valori estremi.

61 MODA In statistica è la modalità della distribuzione che si presenta con la frequenza assoluta maggiore. Riferita all analisi dei punteggi, corrisponde al punteggio che appare più frequentemente nel gruppo di studenti sottoposti alla prova. Se ci sono due punteggi modali (distribuzione bimodale) siamo di fronte a una situazione disomogenea, con due gruppi distinti di studenti. Può essere utilizzata per le variabili nominali.

62 COME SI LEGGONO LE MISURE (media) se dividessimo in parti uguali tra gli studenti tutti i punteggi ottenuti, ogni studente avrebbe 18,7 (mediana) metà degli studenti ha un punteggio almeno pari a 16 (moda) il punteggio raggiunto dal numero più consistente di studenti nel gruppo è 15

63 RAPPORTO TRA MEDIA E MEDIANA media e mediana coincidono la curva che rappresenta la distribuzione dei punteggi è normale ossia è la distribuzione - statisticamente parlando - più frequente

64 RAPPORTO TRA MEDIA E MEDIA

65 RAPPORTO TRA MEDIA E MEDIA se la mediana è maggiore della media, la curva è negativamente schiacciata ossia ci sono punteggi mediamente buoni o eccellenti con picchi al di sopra della media con una percentuale ridotta di studenti con risultati chiaramente negativi (questo è ciò che sarebbe auspicabile al termine di un intervento formativo) la mediana è minore della media la curva è positivamente schiacciata ci sono pochi allievi con un punteggio eccellente e la metà degli studenti ha un punteggio inferiore alla media. (questo è il risultato di un intervento didattico non efficace e quindi da rivedere)

66 Misure di tendenza centrale e dispersione MEDIA MODA MEDIANA GAMMA DEVIAZIONE STANDARD

67 a Statistica Sai ched è la statistica? È na cosa che serve pe fa un conto in generale de la gente che nasce, che sta male, che more, che va in carcere e che sposa. Ma pe me la statistica curiosa è dove c entra la percentuale, pe via che, lì, la media è sempre eguale puro co la persona bisognosa. Me spiego: da li conti che se fanno secondo le statistiche d adesso risurta che te tocca un pollo all anno: e, se nun entra ne le spese tue, t entra ne la statistica lo stesso perché c è un antro che ne magna due. La Statistica, Trilussa

68 Perché usare le misure di dispersione Se forniamo solo i dati relativi alle misure di tendenza centrale diamo adito a fraintendimenti Ossia non mettiamo in grado chi legge di stabilire quanto i punteggi analizzati siano tra loro omogenei o dispersi Per valutare le differenze tra i punteggi di due distribuzioni dovremmo analizzare uno ad uno i singoli punteggi, perdendo un tempo enorme Per descrivere una distribuzione di dati è necessario utilizzare quindi anche le misure di variabilità o dispersione

69 GAMMA (o RANGE o INTERVALLO DI VARIAZIONE) Ogni prova ha un punteggio grezzo minimo e un massimo teorico ed effettivo La gamma di una distribuzione di punteggi si calcola sottraendo dal punteggio massimo effettivo quello minimo effettivo e sommando uno al risultato gamma = max eff. -min eff. +1 Dipende solamente dai due punteggi estremi di una distribuzione La gamma rappresenta la più semplice misura di dispersione

70 Che cosa significa la gamma di una distribuzione? indica la distanza in termini di punteggio tra chi ha ottenuto il punteggio più alto rispetto a chi ha ottenuto quello più basso definisce la parte della scala effettivamente utilizzata rispetto a quella disponibile ad es. chi esprime giudizi più severi, pur avendo una scala che va da 0 a 10, usa una gamma di voti ristretta e limitata alla parte inferiore della scala, ad es. 4-7, ossia costringe tutti i voti in una gamma di 4 (7-4+1) valori possibili (4,5,6 e 7)

71 Lo scarto medio (assoluto o semplice) lo scarto medio è la differenza tra il valore medio e i valori delle misure in altre parole per scarto medio si intende la media delle differenze di un certo numero di punteggi con la media per calcolarlo si sommano i valori assoluti delle differenze e si dividono per il numero dei punteggi

72 Lo scarto medio (assoluto o semplice) nato in prima battuta per superare il problema che la somma degli scarti di tutti i punteggi dalla media è, per costruzione, sempre zero poco usato nella pratica statistica ad es. ci consente di stabilire che una coppia di correttori di una prova ha espresso valutazioni diverse

73 VARIANZA Si introduce quindi la varianza, altra misura di dispersione Si eleva al quadrato i singoli scarti (o scostamenti) dalla media, sommandoli tra di loro e dividendo il risultato per il numero totale dei punteggi N Così facendo però l ordine di grandezza della varianza è al quadrato rispetto a quello dei punteggi

74 DEVIAZIONE STANDARD si arriva quindi a alla radice quadrata della varianza. è lo scarto quadratico medio e si indica con σ (sigma) oppure con s è uguale alla radice quadrata della varianza ossia della media del quadrato degli scarti di tutti punteggi dalla media

75 DEVIAZIONE STANDARD punteggio scarto scarto al quadrato Somma = 15 Somma = 0 Somma = 10 Media = 3 s= (10/5)= 2=1.41

76 DEVIAZIONE STANDARD Concettualmente (e non statisticamente), la deviazione standard indica, in media, quanto sono lontani i punteggi di una distribuzione dalla loro media Non si tratta semplicemente della lontananza dalla media, perché la somma delle deviazioni è sempre 0 (e per questo si eleva a potenza e poi si fa la radice) Aiuta ad interpretare le misure di tendenza centrale, indicando quanto esse siano sintesi fedele della distribuzione cui fanno riferimento 10/12% della media riferimento per interpretarla

77 DEVIAZIONE STANDARD: come si legge il valore della deviazione standard aumenta (rispetto al valore della media) quanto più i punteggi della serie sono distanti dalla media il valore della deviazione standard diminuisce (rispetto alla media) quanto più i punteggi della serie sono vicini alla media se non supera il 10/12% della media (riferimento didattico) i risultati ottenuti dalle prove strutturate sono abbastanza uniformi

78 DEVIAZIONE STANDARD: perché è utile 1. Riflette la dispersione dei punteggi così che la variabilità di diverse distribuzioni può essere messa a confronto in termini di scarto quadratico medio 2. Consente una interpretazione precisa dei punteggi entro la distribuzione 3. Come la media, fa parte di un insieme di teorie matematiche che ci consentono di usarlo in metodologie statistiche più complesse (statistica inferenziale)

79 La distribuzione normale e la deviazione standard La deviazione standard è una misura di variabilità che descrive la variazione di tutti i punti dati rispetto al valore medio La parte di una distribuzione che si trova tra più e meno una deviazione standard della media include circa il 68% dei casi e la parte che si trova tra più e meno 1,96 deviazioni standard include circa il 95% dei casi Ciò significa che se la variabile è distribuita normalmente, è prevedibile che il 95% dei casi si trovi entro 2 deviazioni standard dalla media

80 La distribuzione normale e la deviazione standard

81 La distribuzione normale e la deviazione standard

82 La media ingannatrice Serie I: 4, 6, 6, 4, 5, 6, 6 media = 5,3 Serie II: 6, 5, 10, 4, 4, 9, 4 media = 6 Proviamo ad ordinare le distribuzioni Serie I: 4, 4, 5, 6, 6, 6, 6 Serie II: 4, 4, 4, 5, 6, 9, 10 sufficienza Gamma molto diversa (come più semplice misura di dispersione) Moda (punteggio più frequente) molto diversa Mediana (punteggio che divide in due la distribuzione ordinata) diversa

83 La media ingannatrice Ma la mediana non ci salva completamente da errori di interpretazione.. Serie III Serie IV differenza Media = 7,4 Media = 8,2 Mediana = -1 Come stabilire quale delle due serie è andata meglio?

84 Perché ci interessa la media perché si associa spesso al concetto di sufficienza (cut-off score o threshold) sia dal punto di vista del senso comune (più o meno la metà..) sia per tradizione (statunitense) due modi di trovare la sufficienza criteriale: chi raggiunge determinate competenze (quindi risponde bene a determinati quesiti) normativo: chi raggiunge il punteggio medio raggiunto dal gruppo in cui è inserito/a

85 Regole per una corretta interpretazione Considerare sempre: allo stesso tempo tutte le misure di tendenza centrale (media, mediana e moda) il numero di casi analizzato le misure di dispersione (gamma e deviazione standard) se la rilevazione è campionaria, considerare sempre la media con l errore standard È una stima di quanto la media del campione si avvicini alla media della popolazione. Più il campione è grande, minore sarà l errore standard, e più la media del campione si avvicinerà alla media della popolazione.

86 Una distribuzione di punteggi con media 6, mediana 7, moda 8 e dev.st. 0.3 (max teorico = 10) indica che A. la prova è andata male e i punteggi sono concentrati attorno alla media. B. la prova è andata bene e i punteggi sono concentrati attorno alla media. C. la prova è andata bene e i punteggi non sono concentrati attorno alla media. D. la prova è andata male e i punteggi non sono concentrati attorno alla media

87 Una distribuzione di punteggi con media 6, mediana 7, moda 8 e dev.st. 0.3 (max teorico = 10) indica che A. la prova è andata male e i punteggi sono concentrati attorno alla media. B. la prova è andata bene e i punteggi sono concentrati attorno alla media. C. la prova è andata bene e i punteggi non sono concentrati attorno alla media. D. la prova è andata male e i punteggi non sono concentrati attorno alla media

88 Verifica Quale dei tre gruppi presenta una maggiore dispersione attorno alla media? Gruppo A Gruppo B media 8 8

89 Verifica Quale dei tre gruppi presenta una maggiore dispersione attorno alla media? Gruppo A Gruppo B media 8 8 dev.st 0,74 5,49 % 9% 69%

90 Il significato dei punteggi e le scale Nominale: identifica oggetti che possiedono una certa caratteristica sulla base di un nome o di una descrizione A,B,C,D,E sono inclusi in una classe mentre F,G,H ne sono esclusi. Se la caratteristica è sa calcolare la somma di numeri interi, gli allievi A,B,C,D,E sono ugualmente capaci di farlo, gli altri non sono capaci

91 Il significato dei punteggi e le scale Ordinale: consente di stabilire una graduatoria nel possesso di una caratteristica È possibile stabilire che B>A,C>B F>E Le distanze fra le posizioni sono sono regolari Non possiamo stabilire di quanto B è maggiore di A

92 Il significato dei punteggi e le scale A intervalli: restituisce un valore quantitativo della distanza tra due posizioni successive della scala In questa scala AB=BC =GH Possiamo definire, usando i numeri, quantitativamente la differenza La posizione 0 è convenzionale, non si può definire assenza di apprendimento

93 Il significato dei punteggi e le scale Di rapporti: scala a intervalli con origine corrispondente alla totale assenza di ciò che si vuole osservare Possiamo dire che 4 è il doppio di 2, 3 la metà di 6 ecc. È improbabile si possa usare nelle misure di apprendimento Ad es. si può usare per misurare il tempo necessario ad eseguire una prova

94 Quartili, decili, centili Concetto simile a quello della mediana Si suddivide una serie di punteggi (ordinata in modo crescente o decrescente) in 4 (quartili), 10 (decili), 100 (centili, o percentili) parti uguali Ad es. il primo quartile quindi è quel valore al di sotto del quale è contenuto il 25% della distribuzione e al di sopra del quale rimane il 75% Il secondo quartile corrisponde a?

95 I centili Immaginiamo di spalmare gli studenti sottoposti ad una prova su base 100: ogni studente ha il suo punteggio a caratterizzarlo Quanti studenti si classificherebbero sotto un dato studente se la classe contasse 100 studenti? Il centile è il valore al di sotto del quale si colloca una data percentuale di casi (studenti) di una distribuzione (gruppo) Da non confondere con il punteggio percentuale ossia la proporzione del totale dei punti di un esame lo studente ha ottenuto. Non si calcola per meno di 100 rispondenti, in linea teorica

96 Il (rango) centile di un punteggio può essere definito come.. Non sempre tutti sono d accordo: la percentuale di punteggi inferiori ad un punteggio dato la percentuale di punteggi pari o inferiori ad un dato punteggio la percentuale di punteggi che è sotto il punto mediano dell intervallo di un dato punteggio Per definire l andamento di una prova può essere utile sapere a quale punteggio corrisponde il 90 centile. Ad esempio, il 90 centile è il voto al di sotto del quale si trova il 90% di un gruppo di studenti universitari potrebbe corrispondere a 28. Il 50 centile può essere altrimenti detto?

97 Come si calcola Funzione percentile Interpolazione lineare Galton-Ferguson

98 Centili e punteggi grezzi La distanza che c è tra Luca e Mara in termini di centili è la stessa (quasi un decile) ma così non è in termini di punteggi grezzi I centili amplificano le distanze se sono vicini alla media

99 È importante ricordare che.. i centili rappresentano delle graduatorie, ossia delle scale ordinali, nelle quali le differenze non sono riportate ad una stessa unità di misura sappiamo quindi che un punteggio è superiore o inferiore ad altri ma non sappiamo di quanto la trasformazione in centili comporta una amplificazione delle distanze tra i punteggi vicini alla media e una riduzione tra quelli situati agli estremi è possibile convertire i punteggi in modo da posizionarli su scale comparabili tra loro nelle medie e nelle dispersioni grazie ai punti z e ai punti T

100 I punteggi standardizzati Sono importanti per mettere a confronto i dati ottenuti da prestazioni differenti: di uno stesso soggetto in momenti diversi di due diversi gruppi di studenti degli stessi studenti in due materie diverse

101 La distribuzione pentenaria sistema di punteggi fondato sulla deviazione standard (e uso della media) molto in uso negli Stati Uniti classifica i punteggi in 5 fasce, ordinate in modo decrescente ogni fascia ha il valore di una deviazione standard la fascia identifica "il posto" che occupa un determinato punteggio rispetto agli altri i punteggi che cadono nelle prime tre fasce sono accettabili i punteggi che si collocano nelle restanti due non lo sono.

102 E FASCE Una proprietà della deviazione standard consiste nel fatto che quando si considera un gran numero di dati relativi ad una certa misura (per esempio l altezza di chi fa la visita militare) gli intervalli che è possibile individuare in una distribuzione raggruppano un numero di frequenze abbastanza stabile, che è possibile prevedere attraverso un modello matematico.

103 La distribuzione pentenaria Come si ottiene si utilizzano i valori la media e la deviazione standard della distribuzione Le fasce sono 5: A, B, C, D, E Le prove che si collocano nella fascia A sono le migliori, quelle nella fascia B un po meno di quelle in A, quelle C un po meno di quelle in B e via di seguito Si individua prima la fascia centrale C che comprende i punteggi grezzi che cadono nell intervallo da fino a ossia in un intervallo di una deviazione standard a cavallo della media (punti 3 e 4)

104 La distribuzione pentenaria

105 La distribuzione pentenaria Come si ottiene poi si aggiunge al limite superiore della fascia C una deviazione standard e si ottiene il limite superiore della fascia B (punto 2) allo stesso modo si sottrae una deviazione standard al limite inferiore della fascia C e si ottiene il limite inferiore della fascia D (punto 5) i punteggi che superano il limite superiore della fascia B, sono nella fascia A (il livello di rendimento più alto) i punteggi inferiori al limite inferiore della fascia D sono da considerarsi in fascia E (i risultati più scarsi)

106 La distribuzione pentenaria Testdrive Supponiamo di avere una distribuzione in cui la media è 56,9 e la deviazione standard è 11,14 FASCE A INTERVALLI DI PUNTEGGIO Maggiore di B Da a... C Da a... D Da a... E Minore di

107 La distribuzione pentenaria Calcolo delle 5 fasce: C => compresa tra 59,6 5,57 e + 5,57 = 54,03 e 65,17 B => tra 65,17 e 65, ,14 ossia 65,17 e 76,31 A => superiori a 76,31 D => tra 54,03 e 54,03 11,14 ossia 54,03 e 42,89 E => inferiori a 42,89 FASCE INTERVALLI DI PUNTEGGIO A Maggiore di 76,31 B Da 65,17 a 76,31 C Da 54,03 a 65,17 D Da 54,03 a 42,89 E Minore di 42,89

108 La distribuzione pentenaria

109 Nella distribuzione pentenaria l ampiezza di una fascia si determina sommando i punteggi ottenuti diviso il numero dei rispondenti. VERO o FALSO?

110 Nella distribuzione pentenaria l ampiezza di una fascia si determina sommando i punteggi ottenuti diviso il numero dei rispondenti. FALSO Nella distribuzione pentenaria l ampiezza di una fascia corrisponde ad una deviazione standard. La deviazione standard si ottiene con:

111 La distribuzione pentenaria postula una casualità dei risultati secondo una curva normale. VERO o FALSO?

112 La distribuzione pentenaria postula una casualità dei risultati secondo una curva normale. VERO Vero per definizione. Se i risultati reali seguissero una distribuzione rigorosamente normale, la percentuale di casi che cadrebbero probabilisticamente in ciascuna delle fasce della distribuzione pentenaria sarebbero: E = 7% D = 24% C = 38% B = 24% A = 7%

113 Punti z I punti z indicano la distanza di ciascun punteggio grezzo dalla media e utilizzano una scala che ha come unità di misura la deviazione standard Si calcolano anche con la funzione Normalizza (funzioni Statistiche)

114 Punti z definizione e vantaggi I punti z al di sotto della media avranno segno negativo, quelli corrispondenti alla media saranno pari a 0 e quelli superiori alla media avranno segno positivo L unità di misura utilizzata è pari ad una deviazione standard I punti z altrimenti detti standard sono posizionati una scala ad intervalli: è possibile quindi eseguire operazioni matematiche su di essi (ad esempio sommare diversi punti z tra loro magari quelli di uno stesso studente a prove diverse e poi calcolarne la media)

115 Punti z - svantaggi non è possibile affidarsi completamente ai punti z su comparazioni tra prove diverse se la popolazione di riferimento degli studenti considerati non presenta uguali medie e dispersioni negli obiettivi cognitivi considerati Il segno negativo è una complicazione nei calcoli la deviazione standard è una unità di misura piuttosto ampia, se si considera che in una distribuzione normale il 68 % dei punteggi (ossia dal 16 all 84 centile) è compreso tra -1s e + 1s dalla media

116 Punti T I punti T assegnano convenzionalmente alla media valore 50 e alla deviazione standard valore 10 La denominazione punti T venne data da W. A. McCall nel 1922 in onore del suo professore E. L. Thorndike (cfr W. A. McCall, How to measure in Education, NY, Macmillan, 1922)

117 Punti z e Punti T

118 Punti z e Punti T

119 Correlazioni e altri test Correlazione punto biseriale Alpha di Cronbach Test del Chi quadrato

120 Correlazione punto biseriale (o correlazione item-totale) Altro modo di calcolare la coerenza di una prova È la correlazione tra i punteggi grezzi degli studenti ai singoli quesiti (corretta/errata ossia - 1/0 variabile dicotomica) e il punteggio totale che ciascuno raggiunge sommando i quesiti rimanenti (variabile continua)

121 Correlazione punto biseriale (o correlazione item-totale) Se indichiamo con: SD la deviazione standard dei voti complessivi della prova p la porzione di studenti che hanno risposto correttamente al quesito q la porzione di studenti che hanno risposto in maniera scorretta al quesito M p la media dei voti degli studenti che hanno risposto correttamente alla domanda M q la media dei voti degli studenti che hanno risposto in maniera scorretta alla domanda

122 Indice di discriminatività calcolato con la correlazione item-totale È la correlazione tra tutte le risposte date ad un quesito e tutti i punteggi grezzi degli allievi (meno il punteggio ottenuto al quel quesito) Differisce dalla discriminatività che è un semplice confronto tra gli estremi Varia da -1 a +1 e si intrepreta: <0 = da scartare <0,19 = rivedere il quesito sostanzialmente 0,20-0,29 = quesiti accettabili 0,30-0,39 = quesiti buoni >0,40 = quesiti ottimi

123 L indice di discriminatività e la correlazione pt bis Quesito 1 Quesito 2 Quesito 3 Estremo superiore Estremo inferiore Numero studenti per fascia Discriminatività 0,7-0,2 1 Correlazione item-totale 0,6-0,2 0,7 La correlazione pt biseriale è più precisa dell indice di discriminatività perché considera le risposte di tutti gli studenti a tutti i quesiti contemporaneamente

124 Alfa di Cronbach Misura l affidabilità o attendibilità di una prova in termini di coerenza interna dei risultati Usa la varianza di ogni singolo quesito e quella relativa a tutte le risposte a tutta la prova È un solo indice che si calcola per l intera prova Non esiste la funzione in Excel per calcolarla Nella formula, K = numero dei quesiti È condizionata dal numero dei quesiti (minore il numero, minore l α di Cronbach): necessari almeno una trentina di quesiti

125 Alfa di Cronbach Come si interpreta: >0.9 eccellente molto buona buona (ci sono quesiti che possono essere migliorati) non del tutto soddisfacente (per poter trarre conclusioni è necessario usare anche altre prove) è necessario rivedere la prova (a meno che non abbia solo 10 quesiti o un numero inferiore) <0.5 prova non adatta ad alcun tipo di valutazione

126 L importanza della revisione cieca L analisi classica dei quesiti ci fornisce una base facilmente comprensibile e controllabile per considerare la prova È uno dei molti momenti possibili di revisione della prova Ogni somministrazione è un occasione per raccogliere informazioni nuove sul suo funzionamento È possibile interpretarla alla luce di considerazioni qualitative Sul gruppo di allievi considerato Sui contenuti e gli obiettivi cognitivi

127 Statistica inferenziale t-test (t di Student) Il test del! 2 phi

128 Disegni tra i soggetti I disegni tra i soggetti sono i disegni in cui si hanno due o piu gruppi indipendenti e in cui ogni soggetto viene sottoposto ad una sola condizione sperimentale In questo tipo di disegno il ricercatore è interessato a verificare l ipotesi di differenza tra due o piu medie per verificare l esistenza di una differenza tra le medie, il ricercatore calcola le medie dei veri gruppi relative alla variabile di interesse (ad es., prestazione ad un compito di matematica) e trova che le due medie sono diverse

129 Differenza tra le medie questa diversità tra le medie (variabilità tra i gruppi) può essere attribuita a tre diverse fonti: l effetto del trattamento (ad es., il nuovo metodo per insegnare la matematica) le differenze individuali (ad es., alcuni studenti, a prescindere dal trattamento sono più bravi in matematica) l errore casuale (ad es., alcune parsone hanno sbagliato a riportare i risultati). le ultime due fonti di variazione sono accidentali, poiché il ricercatore non può prevederne la variabilità la variabilità entro i gruppi è invece dovuta alla variazione delle risposte dei soggetti, poiché è difficile, che i soggetti appartenenti ad uno stesso gruppo rispondano in modo identico in questo caso, esistono due fonti di variazione: le differenze individuali L errore casuale

130 t-test quando le medie sono solo due si può utilizzare il t di Student (detto anche test t o t-test) è un test statistico di tipo parametrico con lo scopo di verificare se il valore medio di una distribuzione si discosta significativamente da un certo valore di riferimento una volta ottenuto t si verifica di quanto si discosta dal valore critico con quei gradi di libertà: se il t ottenuto supera il valore critico, allora possiamo rifiutare l ipotesi nulla e accettare l ipotesi alternativa secondo la differenza tra le medie è dovuta al trattamento

131 Passo indietro: T di Student è una distribuzione descritta per primo da William Sealy Gosset nel 1908 (usò lo pseudonimo Student perché la fabbrica della Guinnes in cui lavorava non voleva che si pubblicassero articoli per paura di divulgazione dei segreti di produzione) è una distribuzione di probabilità continua che governa il rapporto tra due variabili aleatorie, la prima con distribuzione normale e la seconda, al quadrato, segue una distribuzione chi quadrato questa distribuzione interviene nella stima della media di una popolazione che segue la distribuzione normale, e viene utilizzata negli omonimi test t di Student per la significatività e per ogni intervallo di confidenza della differenza tra due medie

132 Passo indietro: I gradi di libertà è un concetto ricorrente nella statistica inferenziale I gradi di libertà di una statistica esprimono il numero minimo di dati sufficienti a valutare la quantità d'informazione contenuta nella statistica quando un dato non è indipendente, l'informazione che esso fornisce è già contenuta implicitamente negli altri ed è possibile calcolare le statistiche utilizzando solo i dati indipendenti

133 Passo indietro: I gradi di libertà si pensi a tre numeri x 1, x 2 e x3 siamo completamente liberi di pensare a qualsiasi numero (positivi, negativi, interi o frazionari ecc...) ossia godiamo di tre gradi di libertà (uno per ciascun numero) se però poniamo un vincolo del tipo x 1 + x 2 + x 3 = 10 non godiamo più di tre gradi di libertà in quanto fissati a completo arbitrio x 1 e x 2, il terzo (x 3 ) risulta determinato per il vincolo posto godiamo quindi solo di due gradi di libertà I gradi di libertà sono in generale calcolati come n-1 es: x 1 =12, x 2 =7 necessariamente x 3 =-9 (12+7-9=10), gradi di libertà 3-1 = 2, infatti sono due le variabili che possiamo scegliere liberamente

134 Test del! 2 quando si hanno scale nominali o ordinali, non è possibile calcolare il t, poiché non abbiamo medie, ma solo frequenze in questi casi, per verificare se un evento si verifica, in due o più gruppi, con la stessa frequenza o meno, si usa il test del! 2 (la cui distribuzione è nota) Il test! 2 verifica se vi è una differenza tra le frequenze osservate, ovvero quelle ottenute dalla rilevazione dei dati, e le frequenze attese (o frequenze teoriche), ovvero le frequenze che ci si aspetta di trovare per ognuna delle categorie si calcola il quadrato della differenza tra le frequenze osservate e quelle attese, dividendo il risultato per le frequenze attese Il χ2 è dato dalla somma dei risultati di questa operazione, effettuata per ognuna delle categorie

135 Test del! 2 a questo punto, si confronta il valore ottenuto! 2 con quello critico, tendendo conto dei gradi di libertà se il valore ottenuto è superiore al valore critico si può scartare l ipotesi nulla e accettare l ipotesi alternativa sappiamo che la differenza esiste ma non sappiamo dove risieda, né quale sia l intensità, nè quale sia la causa risultati affidabili solo su scale nominali e ordinali (no continue), per frequenze attese sempre superiori all unità

136 ϕ (phi), l intensità del! 2 il φ (phi) misura l effetto della dimensione del campione sul chi quadrato corrisponde alla radice quadrata del rapporto tra chi quadrato e numero di studenti considerati Si interpreta così: <0,1 debole <0,3 modesto <0,5 moderato <0,8 forte >0,8 molto forte

137 Correlazione La correlazione lineare I coefficienti di correlazione

138 A CORRELAZIONE La correlazione indica la tendenza che hanno due variabili (X e Y) a variare insieme, ovvero, a covariare. Ad esempio, si può supporre che vi sia una relazione tra l insoddisfazione della madre e l aggressività del bambino, nel senso che all aumentare dell una aumenta anche l altra. Quando si parla di correlazione bisogna prendere in considerazione due aspetti: il tipo di relazione esistente tra due variabili e la forma della relazione (ossia la direzione e l entità).

139 Relazione di tipo lineare la relazione è di tipo lineare se, rappresentata su assi cartesiane, si avvicina alla forma di una retta in questo caso, all aumentare (o al diminuire) di X aumenta (diminuisce) Y ad esempio, all aumentare dell altezza di una persona aumenta anche il suo peso

140 Relazione di tipo non lineare la relazione è di tipo non lineare, se rappresentata su assi cartesiane, ha un andamento curvilineo (parabola o iperbole) in questo caso a livelli bassi e alti di X corrispondono livelli bassi di Y; mentre a livelli intermedi di X corrispondono livelli alti di Y. ad esempio, il tempo impiegato per risolvere un problema è alto quando l ansia è bassa o alta, è elevato quando l ansia ha livelli medi.

141 La direzione la direzione può essere: positiva, se all aumentare di una variabile aumenta anche l altra; negativa se all aumentare di una variabile diminuisce l atra

142 L entità l entità si riferisce alla forza della relazione esistente tra due variabili quanto più i punteggi sono raggruppati attorno ad una retta, tanto più forte è la relazione tra due variabili se i punteggi sono dispersi in maniera uniforme, invece, tra le due variabili non esiste alcuna relazione ad esempio, quanto più elevata è la temperatura, tanto più si suda

143 I coefficienti di correlazione per esprimere la relazione si utilizza il coefficiente di correlazione il coefficiente è standardizzato e può assumere valori che vanno da 1.00 (correlazione perfetta negativa) e (c. perf. positiva). Una correlazione uguale a 0 indica che tra le due variabili non vi è alcuna relazione Nota: la correlazione non include il concetto di causa-effetto, ma solo quello di rapporto tra variabili. La correlazione ci permette di affermare che tra due variabili c è una relazione sistematica, ma non che una causa l altra Per le scale a intervalli o rapporti equivalenti si usa il coefficiente r di Pearson. Per le scale ordinali si usano il coefficiente rs di Spearman

144 Il coefficiente di correlazione r di Pearson serve a misurare la correlazione tra variabili a intervalli o a rapporti equivalenti, meglio se su scale continue è dato dalla somma dei prodotti dei punteggi standardizzati delle due variabili diviso il numero dei soggetti (o delle osservazioni) si può calcolare solo su coppie di valori che si riferiscono allo stesso individuo può assumere valori che vanno da 1.00 (corr. perf. neg.) e (corr. perf. positiva). Se 0 tra le due variabili non vi è alcuna relazione per stabilire se una correlazione è significativa, si fa riferimento alla distribuzione campionaria di r, tabulata in apposite tavole, in corrispondenza dei gradi di libertà (N 2) del coefficiente

145 Il coefficiente di correlazione r di Spearman serve per misurare la correlazione tra due variabili di tipo ordinale è dato dalla somma dei prodotti dei punteggi standardizzati delle due variabili diviso il numero dei soggetti (o delle osservazioni) è un approssimazione del coefficiente di Pearson la relazione tra X e Y è espressa tenendo conto delle concordanti o differenti posizioni di ciascun soggetto nelle due graduatorie

146 4 E per oggi è tutto... Non esitate a contattarmi per ulteriori spiegazioni tramite la mail: francesco.agrusti@uniroma3.it Mi raccomando non vi riducete al giorno dell esame per chiedere spiegazioni. anno accademico CdL Scienze dell Educazione 9 (6+3) CFU