IL METODO DI RASCH PER L'ANALISI DEI TEST A RISPOSTA MULTIPLA

Transcript

1 IL METODO DI RASCH PER LANALISI DEI TEST A RISPOSTA MULTIPLA. INTRODUZIONE Vogliamo fornir una smplic sposizion dl Mtodo di Rasch pr facilitar lintrprtazion di risultati di tst standardizzati quali il tst PISA cfr. [7] il tst di accsso di vrifica dll comptnz rogato dalla Confrnza Nazional di Prsidi dll Facoltà di Scinz tst CNP, cfr. []. Un tst standardizzato consist di domand sclt scondo uno standard fissato, procdur standard pr la corrzion pr lattribuzion dl puntggio, in un archivio di risultati da confrontar con l uso di mtodi statistici. Tra i vantaggi di un tst standardizzato cè innanzitutto il fatto ch sulla bas dl puntggio ottnuto sono possibili confronti più oggttivi tra sottopopolazioni di vario livllo tra vrsioni divrs dl tst basat su st di domand coincidnti solo parzialmnt. Inoltr, pr il fatto ch il puntggio è standardizzato, la distribuzion di risultati può fornir utili informazioni rlativ a divrs sotto-popolazioni di intrss. Esistono numros obizioni alluso di tst standardizzati. Citiamo, tra l molt, la sgunt, ch ci smbra riassumr molt dll critich più significativ: Standardizd tsts can t masur initiativ, crativity, imagination, concptual thinking, curiosity, ffort, irony, udgmnt, commitmnt, nuanc, good will, thical rflction, or a host of othr valuabl dispositions and attributs. What thy can masur and count ar isolatd skills, spcific facts and function, contnt knowldg, th last intrsting and last significant aspcts of larning. Pur condividndo molt di qust obizioni, ritniamo comunqu ch l uso di tst standardizzati sia di grand intrss pr stabilir indicatori importanti ch aiutino a prndr dcisioni migliori sia a livllo politico pr smpio sclt di politica scolastica, sia a livllo individual pr smpio la sclta dl corso di laura. Inoltr, la possibilità di misurar la difficoltà di domand rogat in momnti divrsi su ununica scala prmtt di monitorar vrificar la qualità di tst di comprndr mglio più analiticamnt la natura lvoluzion dll difficoltà incontrat dall popolazioni sottopost ai tst I tst standardizzati non possono misurar lintraprndnza, la cratività, limmaginazion, il pnsiro concttual, la curiosità, lo sforzo, lironia, il giudizio, limpgno, l sfumatur, la buona volontà, la riflssion tica, o una sri di altr tndnz attributi prziosi. Ciò ch ssi misurano considrano sono abilità isolat, fatti funzioni spcifich, conoscnza di contnuti, cioè gli asptti dllapprndimnto mno intrssanti mno significativi. cfr. [] Traduzion a cura dgli autori.

2 Un limit di tst standardizzati analizzati con il modllo di Rasch è la difficoltà da part di un pubblico stso di intrprtar corrttamnt i risultati. Qusto lavoro, diviso in du parti vuol ssr un contributo pr suprar qusta difficoltà.. MISURARE UN ABILITÀ Pr ffttuar confronti oggttivi tra i risultati di tst diffrnti è ncssario strarr dai puntggi grzzi ottnuti pr smpio il numro dll rispost satt una misura di abilità sulla bas dlla qual ffttuar tali confronti. Una misura dv godr di proprità formali di invarianza di indipndnza dallo strumnto di misura, in qusto caso il tst. Prché una misura di abilità possa dirsi invariant è ncssario almno ch, s lo stsso studnt vin misurato in tst divrsi, la sua abilità dv risultar la stssa, a mno di rrori casuali di misurazion. Prché una misura di abilità possa dirsi indipndnt è ncssario almno ch la probabilità di rispondr corrttamnt ad un itm è indipndnt dalla probabilità di rispondr corrttamnt agli altri dipnd solo dall abilità dllo studnt. I procssi in bas ai quali uno studnt rispond ad una domanda sono strmamnt complssi. Pr gstir in manira accttabil qusta complssità è ncssario un modllo probabilistico, dovndo ncssariamnt rinunciar ad una dscrizion dtrministica di qusti procssi. Il puntggio di un tst non è una misura dll abilità ma n è solo una manifstazion. Infatti, pr smpio, a sconda dlla difficoltà dgli itm di un tst, il puntggio varia: studnti con la stssa abilità possono ottnr puntggi divrsi: un puntggio basso in un tst difficil un puntggio alto pr un tst facil. Quindi, il puntggio non god dll proprità di invarianza di indipndnza dallo strumnto ch carattrizzano una misura. A partir dal puntggio ottnuto al tst, vogliamo stimar una misura di abilità. Pr far ciò abbiamo bisogno di un modllo probabilistico ch lghi la misura di abilità ad una sua manifstazion puntggio. Il modllo probabilistico più smplicmnt utilizzato a qusto scopo è il modllo di Rasch, cui ci limitiamo in qusta sposizion.. IL MODELLO DI RASCH Nl 9, il matmatico dans Gorg Rasch 9-98 pubblicò Probabilistic modls for som intllignc and attainmnt tsts cfr. [], dov affrontava l analisi di tst da un punto di vista probabilistico, con l intnto di introdurr un modllo ch spigass l intrazion tra uno studnt un itm nl procsso di risposta. Il punto fondamntal dll approccio di Rasch è qullo di formular il modllo in funzion di quantità anah all quantità dlla gomtria dlla fisica. L ipotsi è ch sista una crta quantità prsnt sia nllo studnt ch nll itm ch la risposta, giusta o sbagliata, dipnda dal confronto di qust quantità. Pr capir, possiamo ricorrr ad una anaia sia pr lo studnt ch pr l itm con una figura gomtrica tridimnsional.

3 La loro intrazion produc una risposta satta s il volum dllo studnt è maggior di qullo dll itm, vicvrsa, produc una risposta sbagliata s il volum dllo studnt è minor di qullo dll itm. Nll anaia, il volum dllo studnt si idntifica con la sua abilità mntr qullo dll itm si idntifica con la sua difficoltà. In pratica, la possibilità di dtrminar una proprità dgli studnti dgli itm anaa al volum non è smpr possibil. Il modllo proposto da Rasch pr strarr qust quantità si basa innanzitutto sulla rapprsntazion di risultati di un tst, costituito da k itm somministrato a N studnti, con una matric N k Tablla. studnti itm k- k x x x x k- x k r x x x x k- x k r i x i x i x i x ik- x ik r i N- x N- x N- x N- x N-k- x N-k r N- N x N x N x N x Nk- x Nk r N s s s s k- s k Tablla : Matric di risultati di un tst Nlla matric, x i è la risposta dll i-simo studnt al -simo itm: x i s la risposta è corrtta, x i s la risposta è sbagliata o s lo studnt non ha dato risposta. La riga i- sima si dic vttor dll rispost dllo studnt i-simo. La somma r i dgli lmnti sulla i-sima riga, k r i x i è il puntggio grzzo dllo studnt i-simo, ovvro il numro dll rispost satt dat da tal studnt. La somma s dgli lmnti sulla -sima colonna, s x i dll itm -simo, ovvro il numro dll rispost satt dat a tal itm. N i è il puntggio grzzo Vorrmmo riuscir ad strarr da qusti dati, pr ogni studnt, una misura dlla quantità di abilità, B i, ch lo studnt possid, pr ogni itm, una misura dlla quantità di difficoltà, D, ch l itm possid. Entramb qust misur dvono ssr, com il volum utilizzato nll anaia prcdnt, positiv. Pr illustrar il modllo di Rasch considriamo du smpi. Il primo è un smpio ral. I dati sono stati raccolti nl tst di vrifica dll conoscnz all ingrsso di corsi di laura dll Facoltà di Scinz, prparati dalla CNP Confrnza Nazional di Prsidi di Scinz. Qusto tst è stato somministrato a studnti d è composto da itm

4 di matmatica. Gli itm proposti al tst si possono rprir all indirizzo wb cfr. []. Il scondo è un smpio minimal ch utilizzrmo pr illustrar splicitamnt l formul gnrali d è costituito da un piccolo sottoinsim di dati rlativi al tst sopraindicato. I dati dll smpio minimal sono prsntati nlla Tablla. Chiara Marco Francsca Giulia Andra Claudio Tablla Il data-st dllsmpio minimal. Nlla prima colonna sono riportati nomi di fantasia pr i primi studnti dl tst, nll rstanti tr colonn sono riportat l rispost di qusti ai primi itm dl tst. Da qusti dati risulta, pr smpio, ch lo studnt Claudio ssta riga ha risposto corrttamnt a tutt tr gli itm, mntr lo studnt Marco sconda riga ha risposto corrttamnt solo al primo itm. Nll smpio minimal, l stim dll quantità B i D, scondo l procdur ch discutrmo in sguito, sono: B,8 D, B,8 D,7 B, D,87 B, B, B,78 E chiaro ch la dtrminazion di qust quantità a partir dal data-st minimal non può ch ssr afftta da grand indtrminazion, com s crcassimo di psar un oggtto disponndo di pochissimi in qusto caso tr psi di rifrimnto. In gnral, quanto più grand è il numro di itm tanto più prcisa è la stima dll abilità dllo studnt, tanto più grand è il numro dgli studnti quanto più prcisa è la stima dll difficoltà dgli itm. Tornando ai principi in bas ai quali si straggono l misur, Rasch ipotizza ch la probabilità ch lo studnt i-simo risponda corrttamnt all itm -simo sia funzion f B i dl rapporto, dov Bi D sono l incognit dl problma da stimar a partir dai dati. D Qusta funzion dv godr di alcun proprità ch sono ovvi visto il contsto cui si rifriscono:

5 i. : [,] ii. f ; lim Bi f B i D lim Bi f D D lim Bi f i D B lim Bi f ; D D iii. fissato D, f è funzion monotona crscnt di B, fissato B, f è funzion monotona dcrscnt di D. Pr smpio, il primo limit dlla proprità ii. significa ch la probabilità ch lo studnt i-simo risponda corrttamnt all itm -simo è vicina a zro quando la quantità di abilità dllo studnt è vicina a zro. Il modllo di Rasch assum com funzion f la funzion: Bi f D Bi D B i D. Qusta sclta è la più smplic tra qull ch vrificano l proprità i. ii. iii., nl snso ch non sistono funzioni polinomiali ch vrificano l tr proprità, tra l funzioni razionali, qulla proposta ha grado minimo pr numrator dnominator. S B D i Bi D sbagliata. è la probabilità di risposta corrtta allora è qulla di risposta B D i Bi D Bi D Pr uniformità con la famiglia di modlli dlla Itm Rspons Thory, dlla qual il modllo di Rasch è un caso particolar, convin applicar una trasformazion pr sostituir B i D con i nuovi paramtri β i δ. B i D. i β i δ sono dtti smplicmnt abilità dllo studnt i-simo difficoltà dll itm - simo. Si noti ch, a diffrnza di B i D, < i < < <.

6 Nll smpio minimal, utilizzando la formula invrsa pr calcolar la stim di abilità ln B di difficoltà ln D, ottniamo l sgunti stim: i i,98,,98,,9, 77,9,9,8 Sostitundo in, ottniamo la funzion pr il modllo di Rasch più comunmnt utilizzata: P xi i, i. i Riassumndo, il mccanismo probabilistico in bas al qual uno studnt rispond ad un itm è compltamnt spcificato nl modllo di Rasch assgnando:. ad ogni itm un paramtro di difficoltà δ;. ad ogni studnt un paramtro di abilità β;. la funzion, a, dtta funzion carattristica Itm charactristic Function, Figura, la qual assgna la probabilità ch uno studnt risponda corrttamnt ad un itm in funzion di β δ. Figura La curva carattristica di un itm. STIMA DEI PARAMETRI Il primo passo pr applicar il modllo di Rasch ai dati di un tst è qullo di stimar i paramtri dl modllo cfr. [] []. Abbiamo visto ch, nl modllo di Rasch, la probabilità di ottnr una risposta corrtta è dtrminata unicamnt dal paramtro di abilità β dllo studnt dal paramtro di

7 difficoltà δ dll itm, ma l sol informazioni ch si conoscono sono l rispost dgli studnti, ovvro la Tablla cfr. p.. Il problma dlla stima di paramtri consist nll assgnar, in bas a qualch ragionvol principio un valor β pr ciascuno studnt un valor δ pr ciascun itm a partir dalla matric di dati. Il procsso di stima dlla difficoltà di un itm, ch pr il modllo di Rasch può anch ssr fatto indipndntmnt dalla stima dll abilità, prnd il nom di calibrazion. Com già dtto, nl modllo di Rasch si postula ch la probabilità P ch uno studnt di abilità β risponda corrttamnt ad un itm di difficoltà δ è data da: P quindi β δ sono quantità omogn ch si misurano sulla mdsima scala. In particolar, scondo il modllo, uno studnt di abilità ugual alla difficoltà di un itm ha probabilità di rispondr corrttamnt a tal itm. Figura Curva carattristica di un itm. L stim dll difficoltà dgli itm dll abilità dgli studnti, com l stim di ogni paramtro statistico, sono afftt da rror. E possibil stimar, nll ipotsi ch il modllo di Rasch sia adguato a dscrivr i dati, anch la grandzza di qusto rror con un numro, dtto rror standard dlla stima. Ritornrmo nlla sconda part su qusto important conctto. Si possono utilizzar divrsi principi in bas ai quali stimar i paramtri dl modllo di Rasch. Qullo più comunmnt utilizzato è il principio di massima vrosimiglianza cfr. [], ch consist nl calcolar una funzion di vrosimiglianza ch dipnd dai paramtri incogniti,..., N,..., k scglir i valori di paramtri ch massimizzano tal vrosimiglianza. Pr smpio, con il mtodo dlla stima di massima vrosimiglianza congiunta Joint Maximum Liklihood, JML, la funzion di vrosimiglianza ch vin utilizzata è: 7

8 8 i i x i i i ch rapprsnta la probabilità di ossrvar una matric dll rispost com qulla data, nll ipotsi ch il modllo di Rasch sia applicabil. Si stimano i paramtri andando a considrar qulli ch massimizzano la funzion di vrosimiglianza. Pr far ciò, avndo a ch far con funzioni drivabili di paramtri, si guarda innanzitutto ai punti stazionari, ovvro soluzioni dl sistma di quazioni non linar ottnuto uguagliando a zro tutt l drivat, o ugualmnt, ma più smplicmnt, qull dov considriamo il suo aritmo. Vdiamo di spigar mglio in ch consist il procdimnto di stima di paramtri a partir dalla matric di dati dll smpio minimal. δ δ δ Chiara β r Marco β r Francsca β r Giulia β r Andra β r Claudio β r s s s Tablla Il data-st dllsmpio minimal. La funzion di vrosimiglianza è ch, riducndo in fattori comuni, divnta Il sistma dll drivat, risptto a tutti nov i paramtri, dl aritmo di è

9 9, Poiché si ossrva dalla Tablla ch Chiara Marco hanno ottnuto lo stsso puntggio r r lo stsso possiamo dir pr Francsca, Giulia Andra r r r, l stim dll loro abilità coincidranno: β β β β β. Inoltr, con qusto mtodo, non si stimano l abilità dgli studnti ch hanno ottnuto puntggio nullo nll smpio non vi sono dgli studnti ch hanno ottnuto puntggio massimo com Claudio, r. Possiamo allora ridurr il sistma, quindi il sistma, in un uno in sol cinqu quazioni. Infatti, la quarta la quinta risultano uguali poiché β β ugualmnt la ssta, la sttima l ottava β β β, mntr la nona non è ncssaria. Chiamiamo con β il paramtro di abilità dgli studnti ch hanno ottnuto puntggio r pari a con β il paramtro di abilità dgli studnti ch hanno ottnuto puntggio r pari a. Dcidndo, quindi, di volr stimar solo β β, possiamo ffttuar un ultrior riduzion, in particolar pr l prima tr quazioni, ottnndo infin il sgunt sistma dfinitivo:, Quindi, β non sta più ad indicar il paramtro di abilità dl scondo studnt, Marco. In gnral, pr non far confusion con gli indici, indichrmo il paramtro di abilità dllo studnt ch ha ottnuto puntggio r al tst con β r dov r è il puntggio, r,, k- dov k è il numro di itm quindi il puntggio massimo possibil.

10 In gnral, r, s r k k r r i r r r r,,,..., k, r,..., k dov,, k nll smpio minimal,,,, β r sono l stim dll abilità di tutti gli studnti pr ogni puntggio total r,, k- nll smpio minimal, r, i r è il numro dgli studnti ch hanno ottnuto lo stsso puntggio r nll smpio minimal, studnti con puntggio r studnti con puntggio r. Il procdimnto è lo stsso impigato in molt applicazioni di modlli statistici l difficoltà di calcolo sono suprat utilizzando opportun tcnich itrativ con il calcolator. Nll smpio minimal, utilizzando il softwar MATHEMATICA cfr. [], abbiamo ottnuto l sgunti stim di paramtri di abilità di difficoltà. β -, δ -,99 β -, δ -,8 β,7 δ, β,7 β,7 Ossrviamo ch i valori ottnuti non sono gli stssi cfr. p. ch abbiamo calcolato con il softwar WINSTEPS cfr. [8], ma sono statisticamnt uguali, a mno di una costant. spigar mglio Abbiamo già accnnato ch tal principio non stima l abilità dgli studnti ch hanno ottnuto puntggio massimo o minimo al tst nl caso dll smpio minimal, non è stata stimata l abilità di Claudio ch ha ottnuto puntggio massimo. Pr tali stim si ricorr ad un approccio Baysiano cfr. [].. PROPRIETA Ossrviamo ch ni cofficinti dl sistma non appaiono i valori x i di dati ma solo i valori marginali, cioè la somma pr righ r puntggi grzzi dgli studnti la somma pr colonn s puntggi grzzi dgli itm. Quindi, pr stimar i β i i δ è sufficint usar i puntggi grzzi. Qusta proprità prnd il nom di sufficinza di puntggi grzzi. Ossrviamo anch ch pr ogni studnt vin stimato un valor di abilità ch dipnd soltanto dal suo puntggio grzzo. La trasformazion dl puntggio grzzo in misura di abilità è quindi monotona, ma non linar. L proprità dll misur di Rasch sono migliori risptto a qull dl puntggio grzzo. Innanzi tutto, tali misur sono indipndnti, a mno di una costant, dagli itm ch vngono usati pr stimarl così

11 com l misur di difficoltà dgli itm sono indipndnti dagli studnti ai quali sono stati sottoposti. Qusto non significa ch sottoponndo a du tst distinti si ottngono pr gli stssi studnti gli stssi valori di abilità, ma ch tali valori sono statisticamnt uguali, cioè la probabilità di avr una dviazion significativa è bassa misurabil, nll ipotsi ch il modllo di Rasch sia adguato a dscrivr i dati. Pr dimostrar qusta proprità di indipndnza dll misur di abilità dgli studnti dagli itm utilizzati dll misur di difficoltà dgli itm dagli studnti cui è stato somministrato il tst si dv procdr prsntando un particolar approccio alla stima di paramtri: qullo di massima vrosimiglianza condizionata ch fa intrvnir la nozion di probabilità condizionata. da sistmar Calcolata la probabilità P X, ch uno studnt di abilità β fornisca il vttor di risposta X, vogliamo considrar ora tal probabilità condizionata al puntggio r: P x P X, X, r P r,, dov x X r X r hanno com puntggio grzzo total r. sono l somm su tutti i possibili vttori X ch La funzion di vrosimiglianza è data dal prodotto N i P X, r k r s ir r 7, dov xi i r è il numro di studnti con puntggio grzzo r. r X r Considriamo, nuovamnt, la matric di dati dll smpio minimal: δ δ δ Chiara β r Marco β r Francsca β r Giulia β r Andra β r Claudio β r s s s Tablla Il data-st dllsmpio minimal. La funzion di vrosimiglianza 7 nll smpio minimal, quindi, sarà:

12 . Pr il principio di massima vrosimiglianza, si stimano i paramtri andando a considrar qulli ch massimizzano la funzion di vrosimiglianza, ovvro si risolv il sistma: k 8, cioè r s i r 8, dov γ r- γ r sono l probabilità ch uno r r studnt, con un puntggio rispttivamnt pari a r- r, risponda corrttamnt all itm -simo. Ossrviamo ch il sistma 8 pr stimar i δ è divrso da qullo utilizzato nl principio di massima vrosimiglianza congiunta. In particolar, il sistma 8 non accoppia l stim di δ con qull di β i. Qusto significa appunto ch l stim di δ sono indipndnti dall abilità dgli studnti ch vngono utilizzati pr stimarl, anaamnt, ch l stim dll β i sono indipndnti dall difficoltà dgli itm. Si ossrvi ch non abbiamo ancora dimostrato ch il sistma di quazioni ottnuto in bas al mtodo di massima vrosimiglianza congiunta è quivalnt a qullo ottnuto in bas al principio di massima vrosimiglianza condizionata. In fftti, non è così difficil. Basta moltiplicar l stim dll difficoltà ottnut in bas al mtodo di massima vrosimiglianza congiunta pr la costant k k ottnut con il mtodo di massima vrosimiglianza condizionata. pr potrl confrontar con qull Ricapitolando, abbiamo introdotto du divrsi principi in bas ai quali stimar i paramtri dl modllo di Rasch. Guardando al sistma di quazioni prodotto in bas al primo principio abbiamo immdiatamnt riconosciuto la proprità di sufficinza di puntggi grzzi. Guardando al scondo mtodo 8 abbiamo riconosciuto la proprità di indipndnza dll stim di abilità da qull di difficoltà vicvrsa.. CONCLUSIONI Prsntiamo la Tablla dll stim dll difficoltà dgli itm, calcolat con WINSTEPS cfr. [8], pr l smpio ral il Tst Nazional composto da itm somministrati a studnti pr anticipar il significato di paramtri, prsnti in ssa, ch srviranno pr far l analisi dll adattamnto di dati al modllo di Rasch cfr. [9].

13 Tablla Tablla dll difficoltà dgli itm dl Tst Nazional. La prima colonna, ENTRY NUMBER indica il numro dll itm; la sconda colonna, RAW SCORE indica il puntggio grzzo dgli itm, ovvro il numro dgli studnti ch hanno risposto corrttamnt ad sso; la trza colonna, COUNT, indica il numro dgli studnti ch hanno risposto all itm corrtto/sbagliato; la quarta colonna, MEASURE, indica la misura di difficoltà calcolata con il Modllo di Rasch nlla Tablla gli itm sono ordinati in ordin dcrscnt di difficoltà; la quinta colonna, MODEL S.E., indica l rror standard di tal misura di difficoltà ntrrmo nl dttaglio dl conctto nll articolo succssivo; la ssta colonna, INFIT, la sttima colonna, OUTFIT, indicano du statistich fondamntali pr la diagnostica dl modllo di Rasch, poiché sono basat sul confronto tra l rispost ossrvat pr ciascun individuo a ciascun itm dl tst l rispost atts sulla bas dl modllo di Rasch; l ottava colonna, PTMEA CORR., indica l indic di Corrlazion Punto-Bisrial, ovvro la corrlazion tra il puntggio la risposta. Ci si asptta una corrlazion significativa di ogni itm con il puntggio nll ipotsi ch tutti gli itm misurino una sola abilità, com è ipotizzato nl modllo di Rasch cfr. [9]. Infin, nll ultima colonna, ITEM, sono prsnti l tichtt dgli itm, con l quali sono cataati nlla librria dgli itm standardizzati. Nl prossimo articolo approfondirmo il significato dgli indici prsnti in Tablla spighrmo l colonn rlativ all rror standard dlla misura SE dirmo di com si possa valutar la bontà dll adattamnto dl modllo ai dati. Infin, discutrmo i risultati dll analisi di Rasch pr il tst CNP. MARIA GIULIA DELFINO Via Lipari /A - Roma

14 ENRICO ROGORA Dip. di Matmatica Sapinza, Univ. di Roma, p.l A. Moro 8 Roma BIBLIOGRAFIA [] D. Andrich, Rasch modls for masurmnts 988, Nwbury Park: Sag Publications, Inc. [] W. Ayrs, To tach: th ourny of a tachr 99, Columbia Univrsity, Nw York: Tachrs Collg Prss. [] F. B. Bakr S. Kim, Itm rspons thory. Paramtr Estimation Tchniqus, d., Statistics: Txtbooks and monographs. [] M.G. Dlfino, Tsi di Laura, Roma. [] G. Rasch, Probabilistic modls for som intllignc and attainmnt tst 9, Copnhagn: Danish Institut for Educational Rsarch. [] [7] [8] Linacr J., Winstps Rasch Masurmnt, Vrsion:.9., Winstps and Facts Rasch Softwar, pagina wb: [9] Linacr, J. M., Winstps Program Manual, distribuito on lin alla pagina wb: [] Softwar di MATHEMATICA [] Approccio Baysiano

15 IL METODO DI RASCH PER LANALISI DEI TEST A RISPOSTA MULTIPLA PARTE II: Analisi dll adattamnto dl modllo ai dati. ANALISI DEL FITTING La calibrazion dgli itm la stima dll abilità dgli studnti sono solo una part dll analisi ch bisogna far pr applicar il modllo di Rasch ai dati ottnuti in un tst. Abbiamo anch bisogno di vrificar l adguatzza dl modllo di Rasch facndo un analisi dlla bontà dll adattamnto di dati al modllo. Tal analisi prnd il nom di analisi dl fitting. Pr far ciò abbiamo bisogno i controllar alcuni indici. I più comunmnt utilizzati sono: l indic di corrlazion dgli itm con i puntggi gli indici di misfit. Inoltr, convin ffttuar l Analisi dll Componnti Principali ACP un controllo di tipo grafico sull Curv Carattristich. Indic di corrlazion dgli itm con i puntggi. La corrlazion tra la variabil puntggio P la variabil dicotomica C rlativa al puntggio ottnuto al -simo itm si calcola con la formula dlla Corrlazion Punto-Bisrial PBC: M M P N N N, dov N è la numrosità dlla popolazion, N rispttivamnt N il numro dgli individui ch hanno dato risposta rrata rispttivamnt risposta satta all itm; M risp. M la mdia dl puntggio total tra gli individui ch hanno dato risposta rrata risp. risposta satta all itm σ P la dviazion standard dl puntggio sull intra popolazion: n. P Pi P n i Il modllo di Rasch prvd ch il mccanismo in bas al qual uno studnt rispond ad un itm si possa modllar in manira sufficintmnt accurata ipotizzando una sola grandzza ch carattrizza lo studnt la sua abilità una sola grandzza ch carattrizza l itm la sua difficoltà. In qust ipotsi, ci aspttiamo una corrlazion significativa di ogni itm con il puntggio, prché tutti gli itm misurano un unica abilità. Qusto non succdrbb s ci fossro divrs abilità ch concorrono al puntggio di uno studnt. Pr smpio, s in un tst ci sono itm di lingua itm di matmatica sarbb sbagliato ipotizzar ch il risultato dipnda da un unica abilità ossrvrmmo corrlazioni tra P C sono maggiori di..

16 Indicativamnt, s l ipotsi dl modllo sono vrificat, allora l corrlazioni tra P C piuttosto Indici di misfit. Gli indici di corrlazion offrono una misura molto cruda di adguatzza. Esistono vari altri mtodi pr valutar l adguatzza dl modllo, tra qusti vi è un tst di adguatzza global, ch si basa sul tst dl Chi-quadro χ. Opriamo nl modo sgunt. Sia β uno d valori stimati di abilità dgli studnti. Sia uno dgli itm avnti difficoltà stimata pari a δ. Sia n β il numro dgli studnti avnti abilità stimata pari a β sia N β l insim di loro indici. F β la variabil alatoria ch conta il numro dgli studnti di abilità β ch rispondono corrttamnt all itm. Il rsiduo standardizzato di F β è F E F RS F Z. V F Assumndo ch F β sia normalmnt distribuita, allora Z β ~ N,, quindi, Z ~ χ G- k- dov l somm a sinistra sono su tutti i valori di β stimati, ch sono in numro G ugual ai valori distinti di puntggi ossrvati, su tutti i k itm. Il valor ossrvato pr F β sia f β. Poiché F X i, allora ottniamo l stim EF β n β P β VF β n β P β -P β. i N Quindi, il valor ossrvato ni nostri dati pr Z β è f n P. n P P Confrontando il valor ossrvato di Z con χ G- k- ottniamo una misura global di adguatzza dl modllo smpio. È possibil, utilizzando un approccio anao, misurar l adattamnto dl singolo studnt dl singolo itm al modllo di Rasch. Si introduc allo scopo una statistica di misfit in raltà n sistono du, dtt rispttivamnt di infit di outfit, ma ch ai fini dl nostro discorso non è convnint distingur, ngli smpi i dati ch riportiamo pr l statistich di misfit sono qulli di outfit.

17 Il modo di procdr nll analisi di Rasch di un tst, consist nll individuar gli studnti gli itm con statistich di misfit lvat. È normal aspttarsi studnti con misfit lvato. Infatti, studnti distratti, oppur studnti ch dcidono di rispondr a caso, oppur studnti ch hanno una prparazion scolastica ssnzialmnt divrsa da qulla dlla maggioranza, rispondono all domand con un mccanismo divrso da qullo ipotizzato da Rasch. Pr smpio, s una part dgli studnti ha un background ssnzialmnt divrso dagli altri, l ipotsi ch la risposta ad una domanda dipnda solo dall abilità è inadguata. Quando lo scopo dll analisi di Rasch di un tst è qullo di monitorar la distribuzion dll abilità nlla popolazion dgli studnti cui è rogato il tst, la prsnza di piccol popolazioni con carattristich non omogn a qull dlla maggioranza possono disturbar la comprnsion dl fnomno vanno scorporat dalla popolazion. Qusta liminazion di una part piccola di dati non va vista com un trucco pr far tornar i conti, ma com il riconoscimnto l individuazion di popolazioni non omogn. È quindi ammsso nll analisi di Rasch liminar una piccola prcntual < dgli studnti con misfit lvato pur di vrificar l adguatzza dl modllo ai dati rstanti. Anaa procdura vin utilizzata pr gli itm. Si individuano vntuali itm con misfit lvato si crca di capir prché pr qusti itm il modllo di Rasch non è adguato pr smpio sono itm ch misurano abilità divrs da qulla prvista, oppur sono itm troppo difficili pr la popolazion cui sono stati rogati, oppur sono itm ch riguardano abilità ch solo una part dlla popolazion prvd. Dopo qusta analisi si liminano gli vntuali itm in qustion ch pr un tst bn prparato non dovrbbro prsntarsi si vrifica s il modllo di Rasch è applicabil agli itm rimannti. Qust individuazion dgli itm ch non funzionano com ci aspttiamo è particolarmnt important al fin dlla costruzion di banch di itm calibrati da utilizzar pr tst standardizzati. Analisi dll Componnti Principali. Il mtodo dll Analisi dll Componnti Principali vin applicato ad un insim di ossrvazioni iniziali l rispost dat al tst, d hanno l obbittivo di ridurr tali ossrvazioni ad un numro piccolo di componnti principali ch sinttizzino i dati coglindon l ssnza. Oggtto dll Analisi dll Componnti Principali è la variabilità di dati ch, nll ipotsi di applicabilità dl modllo di Rasch, è dovuta a divrsi contributi:. la variabilità dovuta all divrs difficoltà dgli itm all divrs abilità dgli studnti;. la variabilità risptto al valor ch ci aspttiamo scondo il modllo di Rasch; 7

18 . la variabilità dovuta alla prsnza di studnti o itm ch non funzionano scondo quanto prvisto dal modllo. Quindi, in gnral, l componnti principali sono sclt in modo da spigar una frazion rilvant dlla variabilità di dati. Tutta la variabilità di dati ch non vin spigata è dtta rsiduo. Nll ipotsi di applicabilità dl modllo di Rasch, la variabilità di puntggi, com abbiamo già anticipato, è dovuta principalmnt all abilità dgli studnti alla difficoltà dgli itm. I rsidui rapprsntano la componnt di variabilità ch dipnd da fattori divrsi da qulli prvisti dal modllo di Rasch. In qusto caso è lcito assumr ch i rsidui si distribuiscano in modo casual scondo una distribuzion approssimativamnt normal. Inoltr s il modllo di Rasch dscriv bn i dati, i rsidui dll divrs rispost dvono ssr poco corrlati fra loro. Una corrlazion lvata di rsidui fra più itm o studnti indica ch ssi non sono localmnt indipndnti suggriscono l sistnza di dimnsioni divrs dalla variabil d intrss, in contrasto con l ipotsi di unidimnsionalità dl modllo di Rasch. Quindi, una Analisi dll Componnti Principali di rsidui valuta la corrlazion di rsidui tra gli itm o gli studnti allo scopo di idntificar sottogruppi di itm o studnti i cui rsidui dipndano da fattori comuni. In sostanza, l analisi prmtt di idntificar la prsnza di variabili o di dimnsioni scondari da cui dipndano i risultati dgli studnti, anaamnt, l analisi dlla corrlazion di rsidui tra studnti prmtt di idntificar la prsnza di sottogruppi di studnti con carattristich di risposta simili. Analisi grafica sull Curv Carattristich dgli Itm. Supponiamo ch il campion di studnti sia suddiviso in h gruppi, ch dnotrmo B h, ciascuno composto da f h B h soggtti, pr ogni puntggio h ch si possa ottnr al tst. Poiché il puntggio grzzo è una statistica sufficint pr stimar l misur di Rasch, tutti i soggtti appartnnti al mdsimo gruppo B h hanno la stssa abilità stimata ˆ h. Considriamo un itm alla volta,,, k. Sia r il numro dgli studnti appartnnti al gruppo B h, con abilità stimata ˆ h, ch rispondono corrttamnt all itm -simo; quindi, f h r h è il numro dgli studnti appartnnti allo stsso gruppo, con mdsima abilità, ma ch rispondono in manira rrata. h Pr smpio, nl caso di dati dlla CNP, stiamo ipotizzando ch il risultato di uno studnt ad un tst dipnda dall abilità matmatica gnrica non sistano abilità distint, pr smpio, in gomtria in ica pr cui ci siano molti studnti bravi nll una ma non nll altra. Pr smpio dtrminati dal ssso, lingua matrna, livllo di istruzion,. 8

19 La proporzion ossrvata di rispost corrtt dat agli studnti appartnnti al gruppo B h è: p h h r. f h ˆ h p h, cioè l proporzioni ossrvat di rispost, sul piano insim all Curv Carattristich dll itm -simo, bisogna controllar ch qusti punti siano bn intrpolati con l Curv Carattristich dll Itm, com nlla Figura, dov la curva in grasstto rapprsnta la Curva Carattristica l x indicano i punti ˆ h, p h, pr ogni valor di h. Rapprsntati i punti, h puntggio h,, k ˆ h abilità stimata pr ogni gruppo con puntggio h p h p h proporzion ossrvata di rispost corrtt dat dagli studnti con abilità fissata ˆ h Figura Proporzion ossrvata dlla risposta corrtta ad un itm la corrispondnt Curva ˆ h Carattristica MARIA GIULIA DELFINO Via Lipari /A - Roma ENRICO ROGORA Dip. di Matmatica Sapinza, Univ. di Roma, p.l A. Moro 8 Roma BIBLIOGRAFIA 9

20 [] D. Andrich, Rasch modls for masurmnts 988, Nwbury Park: Sag Publications, Inc. [] W. Ayrs, To tach: th ourny of a tachr 99, Columbia Univrsity, Nw York: Tachrs Collg Prss. [] F. B. Bakr S. Kim, Itm rspons thory. Paramtr Estimation Tchniqus, d., Statistics: Txtbooks and monographs. [] M.G. Dlfino, Tsi di Laura, Roma. [] G. Rasch, Probabilistic modls for som intllignc and attainmnt tst 9, Copnhagn: Danish Institut for Educational Rsarch. [] [7]