Modelli e procedure per l educazione degli adulti

Transcript

1 CdL SEAFC a.a II semestre Pedagogia sperimentale. Modelli e procedure per l educazione degli adulti francesco.agrusti@uniroma3.it

2 Che cosa faremo Impostazione di un archivio di dati Pulizia dei dati Calcolo delle frequenze Difficoltà e discriminativita Misure di tendenza centrale e di dispersione Centili, punti z e punti T Distribuzione pentenaria e punteggi soglia Rappresentazione grafica Alcuni test (chi quadrato, phi, T-Test) Correlazione (Pearson, Spearman)

3 L analisi classica degli item Comprende: Frequenze di risposta Indice di distrattività Indice di difficoltà Indice di discriminatività Correlazione item-totale Alfa di Cronbach

4 Frequenze di risposta Numero di occorrenze delle modalità di una variabile nel campione ossia quante volte ricorre una risposta in un quesito (per tutte le risposte possibili, per tutti i quesiti) Possono essere assolute, relative, cumulate, percentuali

5 Frequenze - assolute, relative, percentuali - se il carattere è ordinabile: cumulate età fq assoluta fq relativa fq % fq assoluta cumulata fq relativa cumulata fq % cumulata , , , , , , , , totale 58 1,00 100

6 Il calcolo delle frequenze Quanti hanno risposto.. che? Conta.se Frequenza Frequenze assolute e relative Conta.se % Blocco di riferimento alla cella ($)

7 Come si interpreta la distrattività Serve ad individuare quei distrattori poco o per nulla attrattivi Teoricamente, la risposta corretta dovrebbe avere sempre la frequenza assoluta più elevata e i distrattori dovrebbero dividere equamente i restanti rispondenti Se un distrattore non viene scelto vuol dire che non è plausibile (molto spesso per ragioni indipendenti dai contenuti) e rende per questo più facile il quesito

8 Indice di distrattività Si adopera per valutare il funzionamento dei quesiti a scelta multipla Misura la capacità di ogni singolo distrattore di far deviare dalla risposta corretta a ciascun quesito È la percentuale di studenti che sceglie ciascun distrattore....senza includere le risposte lasciate in bianco, le doppie risposte o quelle incomprensibili Se N<100 NON si usa la frequenza percentuale ma direttamente le frequenze assolute

9 Nessuna domanda è più difficile di quella la cui risposta è ovvia. (George Bernard Shaw)

10 Difficoltà e discriminatività Indici di base nell analisi classica dell andamento dei quesiti Solitamente accompagnati dall analisi delle frequenze di risposta Per i quesiti a scelta multipla: distrattività, verifica della capacità dei distrattori di attrarre risposte Non si tratta di un giudizio di esperti o di chi produce la prova: ma solo di calcoli effettuati a posteriori (dopo una somministrazione) sul numero di risposte corrette ed errate ad ogni quesito

11 Indice di difficoltà (sui punteggi grezzi) D = nerrate/n Def. Resistenza che un quesito oppure alla sua risoluzione Si considerano errate anche le non risposte Nei paesi anglosassoni hanno invece l item facility: ossia l opposto, si calcola con il numero di risposte corrette Si può lasciare all unità oppure riportare in %

12 Indice di difficoltà D = Corrisponde alla percentuale degli errori commessi da tutti gli studenti del gruppo esaminato in ciascuna domanda della prova. Esempio: 7 studenti su 14 danno una risposta errata alla domanda 3 => la domanda 3 ha un indice di difficoltà pari al 50% Può essere calcolato anche come rapporto tra le risposte errate e il totale di risposte fornite alla domanda (7/14 = 0.5)

13 Indice di difficoltà (con quesiti pesati) Dp = ncorrette/(nrispondenti * punteggio assegnato) Si calcola come l item facility e, avendo quesiti pesati, dobbiamo considerare questo peso nella formula A parità di punteggi totali per item, gli item con più peso sono più difficili (o meno facili) di quelli con punteggio grezzo (1 o 0) perché diminuisce il numero di persone che ha dato la risposta corretta

14 Difficoltà come si interpreta Non ci sono regole sempre valide, tutto dipende dalla finalità della prova nel suo complesso Solitamente se inferiore a 0.2 il quesito è troppo facile, se superiore a 0.8 troppo difficile All interno di una stessa prova ci devono essere sia quesiti più facili, sia quesiti più difficili

15 I problemi della difficoltà classica dom. 1 dom. 2 dom. 3 dom. 4 dom. 5 % Studente Studente Studente Studente Studente Difficoltà 0,80 0,60 0,40 0,20 0

16 Se aggiungiamo uno studente con andamento di risposta anomalo dom. 1 dom. 2 dom. 3 dom. 4 dom. 5 % Studente Studente Studente Studente Studente Studente Difficoltà 0,80 0,60 0,40 0,20 0 la situazione non è più facilmente interpretabile

17 Se aggiungiamo uno studente con andamento di risposta anomalo dom. 1 dom. 2 dom. 3 dom. 4 dom. 5 % Studente Studente Studente Studente Studente Studente Difficoltà 0,80 0,60 0,40 0, gli studenti 4 e 6 hanno lo stesso punteggio % ma hanno risposto a quesiti con difficoltà diversa

18 Se aggiungiamo un quesito con andamento di risposta anomalo dom. 1 dom. 2 dom. 3 dom. 4 dom. 5 % Studente Studente Studente Studente Studente Difficoltà 0,80 0,60 0,40 0,20 0

19 Se aggiungiamo un quesito con andamento di risposta anomalo dom. dom. dom. dom. dom. dom % Studente Studente Studente Studente Studente Difficoltà 0,80 0,60 0,40 0,20 0 0,80 il punteggio non è più univocamente interpretabile

20 I quesiti 1 e 6 hanno la stessa difficoltà ma dom. dom. dom. dom. dom. dom % Studente Studente Studente Studente Studente Difficoltà 0,80 0,60 0,40 0,20 0 0,80 hanno ricevuto risposte corrette da studenti con andamenti molto diversi tra loro al complesso della prova

21 Indice di discriminatività Valuta quanto il quesito è in grado di discriminare, ossia distinguere tra migliore e peggiori Varia da -1 a +1 Se è superiore a 0,3 è accettabile Va intepretata insieme alla difficoltà, alle frequenze, alla distrattività e nel complesso della prova

22 Indice di discriminatività d = (Es Ei)/n d = indice di discriminatività Es = risposte esatte date al quesito dagli studenti dell estremo superiore Ei = risposte esatte date al quesito dagli studenti dell estremo inferiore n = numero di punteggi che cadono in una delle due fasce considerate (superiore o inferiore che devono essere della stessa ampiezza)

23

24 Indice di discriminatività Il valore di d può oscillare tra 1 e vuol dire che hanno risposto bene al quesito solo gli studenti più bravi, che quindi discrimina molto gli studenti: si potrebbe prendere questo quesito come riferimento per sapere se uno studente si colloca nella fascia superiore o no. -1 vuol dire che il quesito non è ben formulato, in quanto induce a dare risposte errate proprio quegli studenti il cui andamento complessivo alla prova è buono o ottimo. Il quesito deve essere quindi sottoposto a revisione.

25 Con Excel Quattro operazioni e funzione somma (oppure CONTA.SE) Percentuale Ordinamento crescente

26 Item analysis e distrattori Indice di difficoltà tra 0,2 e 0,8 Indice di discriminatività maggiore di 0,3 Distribuzione omogenea di studenti sui distrattori Risposta corretta = quella con la fq più elevata Not reached : gli ultimi quesiti hanno avuto risposta o no? (cfr tempi di somministrazione) Non dimenticare: le finalità della prova, il numero di rispondenti e le loro caratteristiche, l andamento di eventuali try-out precedenti

27 Chi mi aiuta? Come viene definita la difficoltà di un quesito? Come si calcola la difficoltà di un quesito? Qual è la gamma di variazione della difficoltà e quali valori sono preferibili?

28 Chi mi aiuta? Come viene definita la difficoltà di un quesito? È la resistenza che un quesito oppone alla sua risoluzione Come si calcola la difficoltà di un quesito? È il rapporto tra risposte errate e totale dei rispondenti (può essere anche espresso come percentuale di risposte errate ad un quesito) Qual è la gamma di variazione della difficoltà e quali valori sono preferibili? Può andare da 0 a 1 (oppure da 0% a 100%) ed è preferibile che sia compresa tra 0,2 e 0,8

29 Chi mi aiuta? Come viene definita la discriminatività di un quesito? Come si calcola la discriminatività di un quesito? Qual è la gamma di variazione della discriminatività e quali valori sono preferibili?

30 Chi mi aiuta? Come viene definita la discriminatività di un quesito? È la capacità di un quesito di distinguere i rispondenti bravi (ossia che rispondono bene a tutta la prova) da quelli meno bravi (che rispondono male a tutta la prova) Come si calcola la discriminatività di un quesito? Si calcolano i punteggi grezzi e si ordinano i rispondenti in base al punteggio ottenuto; si scelgono due fasce di rispondenti di uguale ampiezza (estremo superiore e inferiore) e per ogni quesito si applica la formula: (ES-EI)/n (differenza dei punteggi nelle due fasce fratto il numero di rispondenti contenuto in una fascia). Qual è la gamma di variazione della discriminatività e quali valori sono preferibili? Varia da -1 a +1 e sono preferibili valori positivi almeno superiori a 0,3

31 Quali quesiti rivedere e perché? dom. 1 dom. 2 dom. 3 dom. 4 dom. 5 dom. 6 dom. 7 A B C D Missing dom. 1 dom. 2 dom. 3 dom. 4 dom. 5 dom. 6 dom. 7 corrette errate Difficoltà 42% 38% 31% 91% 51% 19% 64% Discrimin. 0,5 0,4 0,4-0,1 0,7 0,7 0,4

32 Quali quesiti rivedere e perché? dom. 1 dom. 2 dom. 3 dom. 4 dom. 5 dom. 6 dom. 7 A B C D Missing dom. 1 dom. 2 dom. 3 dom. 4 dom. 5 dom. 6 dom. 7 corrette errate Difficoltà 42% 38% 31% 91% 51% 19% 64% Discrimin. 0,5 0,4 0,4-0,1 0,7 0,7 0,4

33 Quali quesiti rivedere e perché? Dom. 1 Dom. 2 Dom. 3 A* B C D diff 0,52 0,88 0,68 discr 0,43-0,21 0,87

34 Quali quesiti rivedere e perché? Dom. 1 Dom. 2 Dom. 3 A* B C D diff 0,52 0,88 0,68 discr 0,43-0,21 0,87

35 Misure di tendenza centrale e dispersione

36 Punti di vista Did you know that the great majority of people have more than the average number of legs? It's obvious, really: Among the 57 million people in Britain, there are probably 5,000 people who have only one leg. Therefore, the average number of legs is And because most people have two legs...

37

38 MISURE DI TENDENZA CENTRALE E DISPERSIONE Descrivere l andamento di una prova Minimo, massimo e gamma Media, mediana e moda Deviazione standard Curve e loro interpretazione

39 Una distribuzione di punteggi

40 Interpretazioni a confronto Rico got the highest score in the class. No other 5 grade class in the district has a lower average vocabulary score. Sara s score of 77 is well above the class average of 58. Erica can correctly name the capitals of 47 states. Jody has achieved 3 of the science goals. Katie has a perfect score. Norm-referenced Criterion-referenced Ebel R.L. Frisbie D.A., Essential of Educational Measurement, 1965, p.38

41 Due approcci diversi assegnazione di punteggi su base normativa (norm-referenced)....oppure sulla base di criteri prestabiliti (criterion-referenced)

42 MINIMO MASSIMO E GAMMA Ogni prova ha un punteggio grezzo minimo e un massimo teorico ed effettivo La gamma (range) di punteggio è max-min+1 La gamma rappresenta la più semplice misura di dispersione

43 MEDIA (ARITMETICA) La media è la misura di tendenza centrale che consente l equipartizione dei punteggi tra tutti gli studenti partecipanti alla prova. La media aritmetica corrisponde alla sommatoria di tutti i punteggi fratto il numero degli studenti partecipanti alla prova. Funziona solo con variabili continue e non con quelle nominali (no: genere, luogo di nascita, opinioni,..) Risente dei valori estremi.

44 MEDIANA In statistica è definita l unità centrale, ovvero quella che divide il collettivo in due parti di uguale numerosità. Corrisponde alla misura che occupa la posizione centrale se si ordinano tutte le misure dalla più bassa alla più alta. Se il numero dei punteggi è dispari, sarà uguale al valore centrale una volta ordinati i punteggi. Se il numero dei punteggi è pari, sarà uguale alla semisomma dei due valori centrali (ovvero la somma dei due valori centrali diviso due). Può essere utilizzata in caso di variabili ordinali. Non risente dei valori estremi.

45 MODA In statistica è la modalità della distribuzione che si presenta con la frequenza assoluta maggiore. Riferita all analisi dei punteggi, corrisponde al punteggio che appare più frequentemente nel gruppo di studenti sottoposti alla prova. Se ci sono due punteggi modali (distribuzione bimodale) siamo di fronte a una situazione disomogenea, con due gruppi distinti di studenti. Può essere utilizzata per le variabili nominali.

46 COME SI LEGGONO LE MISURE (media) se dividessimo in parti uguali tra gli studenti tutti i punteggi ottenuti, ogni studente avrebbe 18,7 (mediana) metà degli studenti ha un punteggio almeno pari a 16 (moda) il punteggio raggiunto dal numero più consistente di studenti nel gruppo è 15

47 RAPPORTO TRA MEDIA E MEDIANA media e mediana coincidono la curva che rappresenta la distribuzione dei punteggi è normale ossia è la distribuzione - statisticamente parlando - più frequente

48 RAPPORTO TRA MEDIA E MEDIA

49 RAPPORTO TRA MEDIA E MEDIA se la mediana è maggiore della media, la curva è negativamente schiacciata ossia ci sono punteggi mediamente buoni o eccellenti con picchi al di sopra della media con una percentuale ridotta di studenti con risultati chiaramente negativi (questo è ciò che sarebbe auspicabile al termine di un intervento formativo) la mediana è minore della media la curva è positivamente schiacciata ci sono pochi allievi con un punteggio eccellente e la metà degli studenti ha un punteggio inferiore alla media. (questo è il risultato di un intervento didattico non efficace e quindi da rivedere)