Dalla differenza, l equità. Misurare gli apprendimenti disciplinari nella scuola dell autonomia

Transcript

1 1

2 Dalla dfferenza, l equtà. Msurare gl apprendment dscplnar nella scuola dell autonoma Cod. IReR 2003C009 ID Progetto FSE: Rapporto Fnale Mlano, novembre

3 Dalla dfferenza, l equtà. Msurare gl apprendment dscplnar nella scuola dell autonoma Cod. IReR 2003C009 ID Progetto FSE: Rapporto Fnale Mlano, novembre

4 La rcerca è stata realzzata per la Regone Lombarda DG Istruzone Formazone e Lavoro (progetto FSE n ) da una ATS costtuta da: IReR Isttuto Regonale d Rcerca della Lombarda (capofla) IRRE Lombarda Unverstà degl Stud d Mlano Bcocca CRISP Gl autor del rapporto fnale sono: Cosmo Scagloso (cap.1, 4) Alberto Ceran, Brunella Fore, Gudo Gay Massmo Mazzarn (cap.2) Enrco Gor, Gorgo Plazz, Paolo Euseb, Danela Notarbartolo (cap.3) 4

5 Indce 1. Contesto, motvazon, obettv della rcerca 7 2. Il percorso della rcerca Attvtà realzzate per fas della rcerca Rcerca teorca attuata con l anals della letteratura e delle esperenze rguardant la valutazone de sstem formatv ed l modello del valore aggunto Defnzone e convolgmento attvo del campo d ntervento della rcerca Acquszone de rsultat del PP2, relatvamente alle scuole lombarde selezonate Progettazone delle nuove prove d apprendmento e degl strument d rlevazone correlat Fase d rlevazone con sommnstrazone delle nuove prove d apprendmento e raccolta nformazon d contesto Carcamento, controllo de dat ed ntegrazone degl archv statstc Semnar, ncontr, pubblcazon nformatve e scentfche 39 Appendce 1 Statstche descrttve 42 Appendce 2 - Materal analtc su CD-ROM 47 3 Le msure del valore aggunto Premessa Introduzone: concett present nel dbattto scolastco Le fnaltà dell struzone La crescta della conoscenza Obettv della rcerca Svluppo delle conoscenze: valore aggunto e standard Standard rferto ad un crtero o ad una norma La creazone e valdazone delle prove del post test La predsposzone delle prove d apprendmento Le prove L anals de rsultat del pretest L anals de rsultat del post test e del pre test: stme congunte Il modello d anals L effetto delle varabl soco-economche I vot ntern e rsultat del pre test e post test Trade off tra eccellenza ed equtà La prova d stora 130 Appendce 1 L anals degl tem 141 Appendce 2 L anals DIF con SCD Dgram su dat PP2 Invals 147 Appendce 3 Rsultat dell anals del pretest (PP2) 164 Rferment bblografc Concluson e prospettve 177 5

6 6

7 Captolo 1 Contesto, motvazon, obettv della rcerca d Cosmo Scagloso Gl ultm decenn del XX secolo hanno segnato al tempo stesso l affermars d un welfare d modello statalstco e la sua messa n crs con l emergere del modello socetaro, n un nuovo rapporto tra Stato e socetà cvle, n partcolare n quella vasta sfera che rguarda servz utl alla persona. Tra quest servz va collocato l sstema formatvo non solo ne sottosstem non formale e nformale, ma anche nel sottosstema formale (= sstema scolastco), cu è demandato l compto d soddsfare l comune e nelmnable drtto all educazone, perché la persona possa realzzars penamente ed essere n grado d rspondere alle sfde economche, sococultural e poltche del tempo che le è stato assegnato per vvere ed operare. Le rvoluzon nelle socetà cvl e nelle strutture educatve procedono, nfatt, d par passo, pena gl scart che portano a rotture e squlbr non solo d ordne culturale, ma anche economco e poltco. Questo spega molto delle stagon delle rforme de sstem formatv formal nella drezone d una rvstazone e d un forte cambamento de modell present. S è verfcato anche nell area europea sa nella sfera anglo-sassone nella quale, pur nelle modaltà d applcazone della legge d rforma dell nsegnamento (Educaton Act, 1988), resta presente un sstema decentrato caratterzzato da una pù o meno grande autonoma tenuto conto d un quadro generale dalle magle larghe, sa n quella caratterzzata da un sstema scolastco n qualche modo controllato dallo Stato graze ad una regolamentazone poltco-ammnstratva, un sstema centralzzato consderato sotto-prodotto socale della Rvoluzone francese e del dspotsmo napoleonco, punto d rfermento per altre rforme scolastche da Federco l Grande d Prussa a Mara Teresa e Guseppe II n Austra. Questa sfera comprende anche l Itala post-rsorgmentale e repubblcana. Qu pù che d rvstazone sembra ogg pertnente parlare d cambamento. Senza percorrere tutto l cammno computo dal sstema scolastco talano dagl ann della formazone dell Untà, s può dre che la lnea è sempre stata quella dell accentramento e della statalzzazone nel compors d un dsegno che ha portato a percors d esproprazone culturale, nel noble ntento d sostenere la lngua e la cultura nazonale, determnando d fatto process d emargnazone e d dsaffezone. Gl stess ntervent d democratzzazone del sapere e della cultura dall sttuzone della scuola meda del 1962 a quella della scuola materna statale del 1968, dalle fort pagne d rnnovamento segnate dagl Orentament per la scuola materna, da Programm per la scuola elementare e per la scuola meda, dalla sttuzone della scuola a tempo peno, dalla dscplna che regola 7

8 l nsermento de portator d handcap fno alla rforma degl esam d stato del 1969, per rcordarne alcune non hanno toccato l ordnamento ammnstratvo centralzzato con gl sttut gerarchcamente dpendent: Mnstero della Pubblca Istruzone con Mnstro / Drettor General / Provvedtor agl Stud / Ispettor central e perferc / Drettor ddattc e Presd. Né è cambata d molto la stuazone con l arrvo de Decret Delegat del 1974, nella ftta rete d ntralc tradzonal rafforzat da vncol burocratc e mentaltà consoldate che hanno mpglato anche gl nsegnant, gl stess student, gentor, la socetà cvle e mprendtorale. L mmagne pachdermca del nostro sstema formatvo nell mmagnaro collettvo l palazzone del Mnstero d vale Trastevere a Roma è data da un Centro che, utlzzando pù d un mlone d docent senza contare l personale ammnstratvo, organzza un servzo per pù d dec mlon d utent, per fermare due dat d rfermento. S può dre che esso s confgura come un agenza che dal punto d vsta organzzatvo e gestonale mostra orma la corda, senza dmentcare che la crescta quanttatva è avvenuta determnando una forte perdta d qualtà, mentre è dventato sempre pù arduo tener fede a obettv d effcaca e d effcenza, senza dmentcare noltre che s è rdotto, per non dre che è come vanfcato, l sgnfcato e la sostanza della funzone svolta. Tutto questo è aggravato dal fatto che, mentre l sstema formatvo formale, n una parola la scuola, vve n stabltà sostanzale d centralzzazone recessva pur nelle modaltà apparent che la rendono, nseme, rspetto alle sue orgn ottocentesche, rrconoscble e mutata, l sstema formatvo nformale, nella pluraltà delle opportuntà che crea, e l sstema formatvo non formale, nell agltà che lo contraddstngue, sono attraversat da profonde nnovazon e da trasformazon, gungendo a rendere centrale l loro ruolo ne process d formazone, facendo de percors formal scolastc sempre pù degl tnerar necessar ma non suffcent per le urgenze che presenta la persona, sul pano dell educazone e dell struzone, chamata a vvere e a operare nella complessa e frastaglata realtà della socetà contemporanea. La scelta centralstca e vertcstca poteva avere un senso e una gustfcazone, nell Itala post-untara dall altssmo tasso d analfabetsmo, anche per quello che rguarda l pano delle scuole secondare, tenuto conto, tra l altro, del fatto che n tutto l Paese a quel lvello c erano meno student d quant ne present ogg una nostra Provnca. Ma non va dmentcato che la scelta gà allora fu pù cauta per la cosddetta scuola d base, per la quale ancora per qualche tempo venne lascato spazo alla responsabltà e alle nzatve delle realtà local. Po, anche per la forza attrattva dell organzzazone delle scuole superor e per le mplcazon cultural e poltche present nel cammn della stora d Itala, l percorso d svluppo prese senza estazon la strada della rnunca ad ogn prospettva d autonoma locale. Il modello centralstco, allora, rgdamente statalstco non ebbe né lmt né contrappes. Le ragon d tanta sfduca e d tanto dscredto nel tempo non sono, tuttava, solo d ordne ammnstratvo, organzzatvo e ddattco-formatvo, ma toccano problem profond d legttmtà e denttà culturale La scuola, nfatt, nel denuncare l propro nterno malessere e la pressone mortfcante d una struttura 8

9 centralstca e statalstca, metteva nudo l dstacco tra mond de sgnfcat della vta e della produzone e la propra realtà come sttuzone, ncapace per altro d produrre struzone, formazone e cultura, senza dmentcare la perdta d credbltà che è andata maturando, propro mentre, da pù part, s reclama un nuovo ruolo della scuola e s avanzano nuove rcheste d formazone per far fronte alle nuove stuazon cultural, tecnologche, d produzone d consum. Così l attenzone d cu è fatta oggetto la scuola nel nostro Paese non è venuta meno. Segno scoperto questo, al d là delle spnte che tendono ad emargnarla, del fatto che la scuola contnua ad essere consderata al centro de process formatv, ma la s vorrebbe pù aperta, pù n dalogo con la socetà vcna e lontana e soprattutto meno vertcstcamente e burocratcamente organzzata. Nessuno nega le funzon fondamental della scuola e quel suo prendere per mano le nuove generazon perché crescano n abltà, conoscenze, competenza, ma della scuola nessuno è contento : sono nsoddsfatt student, gentor, mondo del lavoro, socetà cvle, ma anche gl stess docent, l personale ammnstratvo, decsor poltc, le forze sndacal. Le dffcoltà non sono solo del sstema formatvo talano, ma sono present anche altrove, dove pù, dove meno. E la va per l loro superamento è data da rforme che toccano la scuola nel suo nterno e nel suo rapporto con la socetà. Anche n Itala, con sempre pù forza, a partre dagl ann 70, vsto che l rnnovamento sperato n termn d dalogo e d partecpazone avvato da Decret Delegat s è andato sempre pù affevolendo, sono crescute, anche su sollectazone de modell present n Europa, le proposte con consens e convergenze sempre pù amp d una rprogettazone del sstema scolastco, attraverso due punt rrnuncabl e qualfcant: l rordno dell Ammnstrazone centrale e perferca e una rforma del sstema centrata sull autonoma delle untà scolastche, nel quadro d un patto socale che non può non rguardare tutt coloro che sono nteressat alla grande mpresa, dalle forze della socetà cvle, agl Ent local, a soggett del sstema formatvo. A fronte degl svlupp che s sono avut sul pano economco, poltco, socale e formatvo, sono andat defnendos nuov approcc alla organzzazone, alla gestone e al controllo del sstema d struzone e d formazone. Se, fno agl ann 70, era domnante nella panfcazone l paradgma nazonale, secondo cu s prvlegava l organzzazone d un sstema formatvo formale fortemente centralzzato e gestto centralmente, n seguto, al par d quanto andava determnandos n altr settor della vta socale e poltca, anche nell struzone e nella formazone s è assstto ad un rdmensonamento del ruolo dell Ammnstrazone centrale. Questa svolta s è avuta n Itala nel corso degl ann 90 con la scelta dell autonoma come prncpo regolatore sul pano dell organzzazone del sstema formatvo formale e su quello della gestone de servz, toccando anche l modello organzzatvo dell ammnstrazone centrale e perferca. L autonoma delle sttuzon scolastche può essere letta come una rsposta alle esgenze d una socetà orzzontale cu sono necessare poltche educatve n lnea con una realtà complessa che ha fatto parlare d polarcha sttuzonale e socale. L autonoma, nfatt, porta con sé l rafforzamento della responsabltà d soggett e d 9

10 sttuzon, l aumento della compettvtà nel caso specfco delle sttuzon educatve, lo svluppo d un sstema orzzontale (scuola, comuntà, terrtoro), nel quadro d un dsegno nazonale untaro. Il sstema formatvo formale talano è attualmente, pertanto, nteressato da tre rforme radcal: a) la legge che sttusce l autonoma delle sttuzon scolastche (art. 21 Legge 59/1997), che costtusce orma un fatto computo, tenuto conto che è entrata n vgore con l anno scolastco 2000/2001; essa ha profondamente modfcato l assetto globale del sstema scolastco con la rforma del Mnstro della Pubblca Istruzone, ogg MIUR (Mnstero per l struzone, l Unverstà e la Rcerca), con l Regolamento dell autonoma (D.P.R. n. 257 dell ) decentrando le decson e avvando l processo de controll centralzzat con la costtuzone del INValSI (Isttuto Nazonale per la Valutazone del sstema dell struzone); b) la legge delega per la defnzone delle norme general sull struzone e de lvell essenzal delle prestazon n matera d struzone e d formazone professonale (legge 53/2003), che ntroduce, nel quadro generale del sstema formatvo formale e del suo assetto, l prncpo dell alternanza scuola-lavoro e l sttuzone d un canale d struzone e formazone professonale che dovrebbe consentre, graze a un sstema d passagg e d credt, l prosegumento nell struzone post-secondara, anche a partre dalla formazone regonale (l tutto, naturalmente, accanto al canale de lce); c) la modfca del Ttolo V della Costtuzone (2001, n partcolare l art.117), cu è affdata la trasformazone n senso federalsta del sstema formatvo formale, attrbuendo allo Stato la legslazone esclusva per le norme general sull struzone, allo Stato e agl Ent regonal l captolo della legslazone concorrente sull struzone fatta salva l autonoma delle sttuzon scolastche e area dell struzone e della formazone professonale che resta alle Regon -. La questone non è ancora rsolta n quanto s è n attesa d ulteror proposte per scoglere l ambgutà del concetto d legslazone concorrente. A queste tre pagne radcal va aggunta quella della legge 62/2000, l cu ncpt fssa l sstema scolastco nazonale come un sstema costtuto da scuole statal e scuole non statal partare. Naturalmente sarebbe llusoro pensare che l sstema formatvo possa cambare fsonoma solo con queste radcal modfche affdate alle legg, anche n consderazone delle ncrostazon decennal ancora present e de punt-forza d potere e d nteress che non sarà facle cancellare. Ogn cambamento rchede temp lungh e n partcolare un clma culturale favorevole, non dmentcando gl aggustament che dottrna, rcerca ed esperenza consgleranno d operare. Intanto occorre tenere presente che la lnea è data dal superamento d un sstema 10

11 formatvo centralzzato con un elevato lvello d omogenezzazone e standardzzazone con un controllo nteramente operato ex-ante per la costruzone d un sstema formatvo formale decentrato, dalle sttuzon scolastche autonome e con un controllo operato ex-post. Centrale dventa pertanto l captolo della valutazone e della verfca. La gestone del sstema d struzone - anche n consderazone della rduzone degl nvestment dovuta alla crescta della spesa n altr settor della welfare socety - s accompagna anche ad una crescente esgenza d controllo de rsultat fnalzzata al mgloramento dell effcenza, dell effcaca e dell equtà del servzo erogato (a qualsas lvello dalle sttuzon formatve). S tratta, allora, d costrure sstem d montoraggo n grado d aumentare la conoscenza de process gestonal e de process formatv, vst anche attraverso la lente della verfca degl apprendment, per raggungere gl obettv concordat con gl stakeholder per la pena realzzazone della persona n tutte le sue dmenson. Senza verfca degl apprendment e senza valutazone l autonoma s nceppa, tenuto conto che verfca e valutazone permettono d governare l sstema, svolgendo una essenzale funzone d trasparenza e d sostegno al processo decsonale n ordne per esempo alla scelta de gentor nella drezone della scuola mglore e alla allocazone delle rsorse da parte del governo centrale. Vene chamata n causa anche la professonaltà degl nsegnant, alla luce de rsultat ottenut certfcat dalla valutazone sttuzonale, compto d un Isttuto nazonale. Con l avvo del processo d rforma centrato sul prncpo dell autonoma delle sttuzon scolastche, anche nel nostro Paese, pertanto, per la necesstà d razonalzzare e d rqualfcare le poltche scolastche prendono corpo nuov sstem d valutazone e d verfca. Anche n questo settore, n rapporto a quanto è avvenuto negl altr Paes, occorre recuperare temp e poszon, con progett e proposte operatve da spermentare e porre a regme: V è qund, n ordne allo svluppo d strument d valutazone sttuzonale della scuola un mpegno sempre crescente. Un forte momento n questa drezone è dato dalla rforma del sstema formatvo negl U.S.A., la cu fortuna è affdata alla valutazone sttuzonale delle sttuzon scolastche. La rforma, conoscuta con lo slogan No Chld Left Behnd, trova la sua forza n tre prncp base: - ntanto è un progetto sostenuto dalla maggoranza e dall opposzone; - mra a valorzzare la scuola pubblca; - utlzza la valutazone sttuzonale come fattore chave per l allocazone de contrbut pubblc e relatva consstenza. C è anche la possbltà da parte degl sttut scolastc d avere fnanzament straordnar n corrspondenza, però, d puntual valutazon delle performances tese a verfcare se sano stat raggunt o superat gl standard statal. Il sstema d valutazone fa leva su una sere d ndcator e d prove, n partcolare nell ambto della matematca, della lngua e della cultura. Il modello, tuttava, parla a favore non solo del defnto rconoscmento del ruolo dell struzone pubblca nella crescta e nella qualfcazone della vta collettva e della socetà, ma anche, se non soprattutto, del proposto d qualfcare e 11

12 valorzzare le rsorse pubblche rendendo dnamcamente flessble tutto l sstema statuntense, del quale fanno parte scuole autonome, con l ntento d offrre maggor opportuntà d scelta alle famgle. La valutazone sttuzonale degl sttut scolastc, pertanto, s confgura come strumento essenzale per le poltche educatve, regolando l autonoma delle scuole, la qualfcazone de process formatv, la professonalzzazone del personale docente. Il dscorso sulla valutazone n questa accezone senza, tuttava, essere l metro regolatore del sstema d fnanzamento era gà presente nell Offce for Standard n Educaton (OFSTED), un organo ndpendente del governo che n Inghlterra valuta le scuole fnanzate con rsorse pubblche. Samo così negl ann 90 del secolo scorso, durante qual lo svluppo de sstem nazonal d valutazone accompagna le poltche educatve nazonal lungo l processo rformatore de sstem formatv apert auspcato dalla comuntà europea prma e dall Unone europea po. Poltche educatve nazonal sempre pù legate a fnanzament pubblc con govern chamat a legttmare l crescente perso dell struzone nel blanco dello Stato, tenuto conto che le rforme sono sprate a modell a carattere orentatvo nella logca delle rollng reform e fondate sugl est de process d valutazone, mentre s è andata facendo nsstente la necesstà d rspondere alla domanda crescente d autonoma, come testmonano rapport e document dell OCDE. In questa drezone vanno la Educaton School Act per l Inghlterra (1988), la Lo d orentaton per la Franca (1989) e la Ley Organca de Ordnacon General per l sstema formatvo della Spagna (1990), che danno vta a sstem educatv n lnea con le culture d cascun Paese. Così nel caso dell Inghlterra l sstema è connotato dalla forte autonoma delle sttuzon scolastche e l organsmo d valutazone, come rcordato (l OFSTED, 1992), ha l compto d valutare le sttuzon da un lato per dare nformazon orentatve alle famgle crca la qualtà d ogn sttuzone, dall altro per rendere not cost e le scelte delle poltche educatve a tutt cttadn, rspondendo al prncpo della trasparenza e della responsablzzazone. L OFSTED, naturalmente, è ndpendente rspetto al Governo del Paese e utlzza de Rapport che vengono nvat al Department for Educaton per le decson del caso e res d domno pubblco. I Rapport sono redatt avendo a rfermento una sere d relazon d base redatte da numerose équpes composte da spettor (spettor d ruolo e spettor professonst a contratto) su modell d anals ugual per tutt e predspost. Nel caso della Franca, nvece, la valutazone fa capo alla Drecton de l Evalutaton e de la Prospectve (DEP, 1990), organsmo dpendente dal Mnstero, ma presenta un organzzazone puttosto artcolata, anche n rsposta alle esgenze maturate va va, n partcolare dalla necesstà d legare l nsegnamento al contesto, abbandonando n parte l prncpo dell unformtà nazonale a vantaggo della deconcentrazone e della decentralzzazone. Lo stesso numero de corp spettv è passato da 5 a 2, con dmenson regonal e nazonal. Gl Ent nazonal sono l Inspecton Genérale de l Educaton Natonal (IGEN) e l Inspecton Générale del l Admnstraton de l Educaton Natonal (IGAEN) l 12

13 prmo per la valutazone generale, l secondo per la valutazone del personale non docente, delle sttuzon d dretta pertnenza del Mnstero e dell ammnstrazone-; gl Ent regonal presentano gl Inspecteurs Pédagogques Régonaux Inspecteurs d Académe (IPR-IA) per l personale docente delle scuole secondare, e gl Inspecteurs de l Educaton Natonal (IEN) per gl nsegnant delle scuole prmare e professonal. In Franca vengono valutat anche sngol docent e l sttuzone scolastca nel suo nseme. Per quanto rguarda la Spagna l sstema formatvo gode dell autonoma gestonale e ddattca delle sttuzon scolastche con attrbuzone d competenze n matera educatva alle Regon autonome -, mentre la valutazone sttuzonale è affdata all Isttud Naconal de la Caldad y Evaluacon (INCE, 1993), un organsmo autonomo ma dpendente dal Mnstero. A lvello nternazonale, sono present le grand rlevazon condotte da organzzazon qual la Intrernatonal Assocaton for the Evalutaton of Educatonal Achevement (IEA), l Organzzazone per la Cooperazone e lo Svluppo (OCSE - OECD). La IEA ha condotto ndagn per rlevare l lvello degl apprendment n matematca e scenze (IEA-TIMSS The Thrd Internatonal Mathematcs and Scence Study); l OCSE s è mpegnata nel progetto PISA (Programm for Internatonal Students Assessment, ) per rlevare le competenze d lettura, matematca e scenze: la IEA ha convolto gl alunn della scuola prmara e della scuola secondara, l OCSE ragazz d 15 ann. Sono rcerche tese a costrure ndcator d performance a lvello d ogn Stato convolto nella rcerca. In un certo senso può rentrare n questo captolo la rcerca Internatonal Adult Lteracy Survey (IALS), che tocca, n un prmo momento, gl U.S.A., l Australa e l Canada, per dar conto della competenza alfabetca degl adult con un età superore a 16 ann, e, svluppata sotto l egda dell Organsaton for Economc Co-operaton and Developement (OECD- OCDE), convolge var paes tra cu l Itala tramte l Centro Europeo dell Educazone (CEDE) -: Second Internatonal Adult Lteracy Survey (SIALS 2000). E l Itala? In Itala l utlzzazone programmata d prove oggettve degl apprendment s è rsolta con la partecpazone ad alcune ndagn nternazonal, tpo quelle della IEA e dell OCSE, se s escludono alcune nzatve del CENSIS, dell ISFOL e del CEDE. La svolta s ha, però, anche n Itala con l avvo del gruppo d rforma (art. 21 della legge 59/1997), che, ntroducendo l prncpo dell autonoma nel quadro del sstema formatvo nazonale (legge 62/2000), n ordne alle esgenze d razonalzzazone e rqualfcazone delle poltche formatve, ha portato con sé, come è stato sottolneato, la realzzazone d un sstema d valutazone, del quale s parlava gà n precedenza (cfr. la conferenza nazonale sulla scuola del 1990, l art. 8 del decreto legslatvo 35/1993, la drettva n. 307/1997 che sttuva l Servzo Nazonale per la Qualtà dell Istruzone da parte del Mnstero). E possble rcostrure un quadro normatvo d rfermento: 13

14 D.L n. 29 Dsposzon rguardant la razonalzzazone delle ammnstrazon pubblche attraverso una revsone de sstem d reclutamento del personale, l ntroduzone dell obblgo del controllo d gestone nterno e del prncpo della responsabltà drgenzale e la verfca de rsultat. Per la prma volta n un contesto normatvo s parla d valutazone d sstema. Legge n. 20 Rforma l controllo esterno svolto dalla Corte de Cont orentandolo alla gestone per verfcare l effcenza, l effcaca e l economctà. Lo scopo d questa legge è d rafforzare l fondamentale prncpo della responsabltà drgenzale. D.L. 297 del (art. 603) Vengono ndcat alcun parametr d valutazone della produttvtà del sstema scolastco. D.P.C.M. del Isttusce le Carte de servz pubblc; la valutazone e l orentamento al clente ne costtuscono gl aspett pù D.P.C.M. del nnovatv. Schema generale d rfermento per la carta de servz scolastc Legge n. 273 Commuta l D.L n. 163 ( Msure urgent per la semplfcazone de procedment ammnstratv e per l mgloramento dell effcenza della Pubblca Ammnstrazone ) e nsste sulla necesstà dell ndvduazone delle responsabltà e delle procedure d verfca e controllo nell obettvo d offrre a cttadn-utent servz d qualtà. Legge n. 59 ( Legge Bassann ) Delega al Governo per l confermento d funzon e compt alle regon ed ent local, per la rforma della Pubblca Ammnstrazone e per la semplfcazone ammnstratva. L art. 21 delega la scuola n matera d gestone del servzo, d struzone, d contabltà, conferendole autonoma organzzatva e ddattca nel rspetto degl obettv del sstema nazonale d 14

15 struzone e degl standard d lvello nazonale Drettva n. 307 del Isttuzone del Servzo Nazonale per la Qualtà dell Istruzone D.P.R. n. 257 dell Regolamento sull Autonoma scolastca. All art. 10 s parla espressamente d Verfche e d modell c certfcazone del raggungmento degl obettv e degl standard d qualtà del servzo D.L. n. 258 del Trasformazone del Centro Europeo dell Educazone n Isttuto Nazonale per la Valutazone del Sstema dell struzone (INValSI) D.L. n. 286 del Rordno e potenzamento de meccansm e strument d montoraggo e valutazone de cost, de rendment e de rsultat dell attvtà svolta dalle ammnstrazon pubblche. L attenzone vene posta n partcolare sul controllo nterno alle sngole ammnstrazon che, nell ambto della loro autonoma, s devono dotare s adeguat strument d C.M. n. 18 del valutazone. Verte sull art. 41 del CCNI comparto scuola relatvo alla valutazone de cap d sttuto. D.P.R n. 313 Regolamento recante organzzazone dell Isttuto nazonale per la valutazone del sstema dell struzone attuatvo degl artcol 1 e 3 del decreto legslatvo 30 luglo 1999, n Legge 28 marzo 2003 n. 53 Nota 18 marzo 2004 del Dpartmento per l'struzone Dpartmento per la programmazone mnsterale e per la gestone mnsterale del blanco, delle rsorse umane e dell'nformazone Art. 3: valutazone degl apprendment e della qualtà del sstema educatvo d struzone e d formazone con nuove defnzon d compt per l INValSI. Gruppo d Lavoro per l'mpanto d un modello d valutazone dell'andamento gestonale del sstema scolastco. In base al decreto legslatvo n. 258/1999 vengono assegnat all INVALSI (Isttuto Nazonale per la Valutazone del Sstema dell Istruzone) compt d: 15

16 - valutare l effcenza e l effcaca del sstema d struzone nel suo complesso ed analtcamente (anche per sngola sttuzone scolastca), nquadrando la valutazone nazonale nel contesto nternazonale; - studare le cause dell nsuccesso e della dspersone scolastca, con rfermento al contesto socale e alle tpologe dell offerta formatva; condurre attvtà d valutazone sulla soddsfazone dell utenza; - fornre supporto e assstenza tecnca all ammnstrazone per la realzzazone d autonome nzatve d valutazone e supportare le sngole sttuzon scolastche, anche medante la predsposzone d archv nformatc lberamente consultabl; - valutare gl effett degl est applcatv delle nzatve legslatve che rguardant la scuola; - valutare gl est de progett e delle nzatve d nnovazone promoss n ambto nazonale; - asscurare la partecpazone talana a progett d rcerca nternazonale n campo valutatvo e ne settor conness dell nnovazone organzzatva e ddattca. Graze ad una rdefnzone successva (art. 3 comma b e comma c della legge 53/2003) all INVALSI vengono assegnat anche compt, a fn del progressvo mgloramento e dell'armonzzazone della qualtà del sstema d struzone e d formazone, d effettuare verfche perodche e sstematche sulle conoscenze e abltà degl student e sulla qualtà complessva dell'offerta formatva delle sttuzon scolastche e formatve; n funzone de predett compt vengono ndetermnate le funzon e la struttura del predetto Isttuto (comma b); noltre, l INVALSI dovrà predsporre e gestre, n occasone dell esame d Stato conclusvo de ccl d struzone, alcune prove accanto a quelle organzzate dalle commsson d'esame, sulla base degl obettv specfc d apprendmento del corso ed n relazone alle dscplne d nsegnamento dell'ultmo anno (comma c). In data 25 marzo 2004, è po stato approvato n va prelmnare, dal Consglo de Mnstr, lo schema d decreto legslatvo relatvo all'sttuzone del nuovo "Servzo nazonale d valutazone del sstema d struzone e d struzone e formazone. Il nuovo sttuto dovrebbe assumere l nome d INVALSI e assorbre l omonmo ente creato nel L sttuto, che s confgura come ente d rcerca strumentale con personaltà gurdca d drtto pubblco, è soggetto alla vglanza del MIUR e per le drettve è prevsto che vengano emanate dal Mnstro dell struzone per l sstema d struzone e da Mnstr del lavoro e dell struzone per quel che concerne l sstema d struzone e formazone. Compto dell Isttuto è quello d valutare l effcenza e l effcaca del sstema educatvo d struzone e d struzone e formazone professonale, nquadrandone la valutazone nel contesto nternazonale. Esso effettua verfche perodche e sstematche sulle conoscenze e abltà degl student e sulla qualtà complessva dell offerta educatva, culturale e ddattca delle sttuzon d struzone e d struzone e formazone professonale, anche nel contesto dell apprendmento permanente. L Isttuto predspone per l Mnstero le prove per gl esam d Stato conclusv de ccl d struzone. 16

17 Gl organ dell Isttuto saranno d nomna governatva e resteranno n carca per tre ann (rnnovabl con ulteror tre). Esso potrà avvalers, per l area tecnca della valutazone, della collaborazone degl spettor tecnc del MIUR, nonché d personale ammnstratvo, tecnco o d rcerca comandato o collocato fuor ruolo, provenente dall ammnstrazone dell struzone, dell unverstà e della rcerca, dalla scuola o da altre ammnstrazon dello Stato, dalle unverstà, da ent pubblc compres nel comparto della rcerca, dalle Regon e dagl Ent local. I comand durano un qunquenno e sono rnnovabl solo dopo un ntervallo trennale. L Isttuto potrà noltre servrs d espert, stpulando con gl stess contratt d rcerca e d prestazone d opera. Per spermentare l sstema d valutazone legato all INVALSI s sono avut due Progett-Plota (l terzo è n corso d formalzzazone sul pano de rsultat); s attendono rflesson e proposte alla luce de Progett-Plota n ordne ad una taratura de compt dell INVALSI ed eventual feed back crca le operazon svluppate e gl ntervent comput. Del resto non va dmentcato ma che sstem educatv sono classfcat come sstem a legam debol. Intanto un sstema formatvo nazonale, data la vasttà d area e le fort dfferenze present sul terrtoro nazonale tra le vare zone, non faclta le comuncazon tra centro e perfera e le stesse decson arrvano n rtardo. Senza dmentcare che l punto forte d avvo restano sempre gl operator anche per nnovare o far partre un dscorso sulla valutazone, n partcolare se cambament gungono mprovvs o non sono charamente percept motvazon, procedure e obettv. Da qu l passaggo ad attvtà d valutazone che, fermo l sstema formatvo nazonale e le stesse rcerche nternazonal, tocch un unverso pù crcoscrtto (al d là degl aspett sttuzonal, l pensero va alla Valutazone del sstema scolastco e formatvo della Provnca Autonoma d Trento) o anche le sngole untà scolastche con l obettvo d: - conoscere pù da vcno e meglo problem real legat alla gestone della scuola e alla ddattca nella loro quotdantà; - convolgere gl nsegnant nelle stesse procedure che portano alla valutazone fno ad una lettura crtca del funzonamento della scuola ne var aspett sottopost a valutazone, autandol ad elaborare ntervent e stratege ddattche att alla bsogna. La valutazone, n un sstema d autonoma, tocca un versante nterno alla scuola quella che vene chamata autovalutazone e un versante esterno, legat l una e l altra ad una verfca de rsultat, degl apprendment, ma anche a rsvolt pù var della gestone e del funzonamento. Naturalmente, mentre da pù part, fermo l dscorso sttuzonale dell INVALSI s avvano esperenze d autovalutazone e d valutazone esterna, è necessaro anche ndvduare per le scuole d ogn ordne e grado obettv nazonal d apprendmento, traguard da raggungere su cu msurare l effcaca d tutto l sstema e delle sngole sttuzon scolastche. Intanto le nzatve e le rcerche n atto potrebbero avere l compto d rlevare lvell d apprendmento, materale d rfermento da tenere presente, e d spermentare nuove metodologe e strument d approcco. 17

18 In questo quadro, ancora n movmento, la rcerca Dalla dfferenza, l equtà. Msurare gl apprendment nella scuola dell autonoma s propone d dare un contrbuto per la costruzone d un sstema d valutazone, avendo a rfermento due msure fondamental: la msura del lvello d apprendmento dello studente nelle dscplne consderate; la msura dell effetto della sngola classe e, per aggregazone meda, della scuola, su tal apprendment, calcolata come msura d valore aggunto relatvamente agl apprendment. Le msure d valore aggunto permettono d evdenzare le msurazon degl apprendment al netto de fattor che, sulla base d rsultat d molt stud nternazonal, notoramente nfluscono su lvell d apprendmento: lvello d apprendmento nzale; caratterstche soco-economche e cultural della famgla d provenenza; e d solare fattor su qual la scuola ha una dretta responsabltà: effetto de par (coè della composzone della classe); effetto dell nsegnante e delle sue eventual caratterstche (preparazone, formazone, ecc.); effetto della scuola e delle sue caratterstche. Sotto l proflo d sstema, l obettvo è quello d ndvduare le modaltà con cu lo strumento d verfca e d msurazone adottato nteragsce con la ddattca n atto nella scuola n cu lo strumento vene usato, consderata sa come campo a cu fare rfermento nella scelta degl tem, sa come campo che dagl tem stess, e dalle modaltà d sommnstrazone, vene modfcato; con dfferent lvell d valutazone che nteressano l sstema (governo della ddattca, governo dell organzzazone dell sttuzone scolastca, allocazone delle rsorse nel sstema n relazone all obettvo dell equtà, scelta degl stake-holder convolt ); nella defnzone del rapporto tra strument e strutture d valutazone, da un lato, e caratterstche ntrnseche alla professonaltà degl operator convolt n partcolare de docent, dall altro. I problem che vengono affrontat nella rcerca sono percò quell corrspondent a tre lvell su cu la rcerca s svolge. Lo strumento statstco proposto s presenta come l punto crtco della rcerca n quanto determna le modaltà con cu vengono chamate n causa le dmenson d sstema (governo n vsta dell equtà) e la dmensone della professonaltà docente, caratterzzata dalla rflessvtà. La preoccupazone per la comprensone de meccansm e delle relazon che operano all nterno del complesso mondo dell struzone sta alla base del montoraggo e della capactà d render conto de rsultat ottenut, con l obettvo d accrescerne, attraverso l mgloramento de process educatv, l effcaca al fne d raggungere rsultat sempre pù elevat n termn d conoscenze e capactà dello studente e d accesso de govan al sstema d struzone, senza, al tempo stesso, sprecare rsorse che pubblche o prvate- sempre pù devono essere 18

19 ndrzzate verso un uso effcente sprato alla massmzzazone del rsultato socale. Benché esstano ogg metodologe statstche suffcentemente flessbl e potenza d calcolo adeguata per mplementare anals mpensabl n altr temp, la comprensone de ness d causa-effetto che agscono all nterno del processo, produttvo dell struzone, è resa dffcle dalla mancanza, n molt paes, d adeguate msure standardzzate d apprendmento e d conoscenza e, anche là dove queste esstono, la gran parte degl stud hanno natura prevalentemente descrttva. Questo non sgnfca che l acquszone delle nformazon fnalzzata alla valutazone de rsultat non debba raccoglere dat anche su process. Anz, è opportuno che cò sa fatto al fne d poter mettere n relazone le caratterstche de process stess con rsultat, n modo da comprendere le ragon de buon o cattv rsultat raggunt. Ma un processo non può essere consderato buono o cattvo, effcace o neffcace a pror, senza conoscere rsultat che esso produce sugl student. La rlevanza de fattor ndvdual, soco-economc e famlar pone, per process d accountablty, notevol problem teorc e pratc: se rsultat dello studente sono profondamente nfluenzat dallo stato socale, anche ndcator relatv alle performance a lvello d scuole o dstrett scolastc rschano d rflettere soltanto dfferenze nello stato socale, per altro ben note: alla rcerca nteressa cercare d scorporare da quest fattor gl apprendment verfcat, per legarl n partcolare alla scuola e al suo ruolo e per essa al ruolo degl nsegnant nella crescta eventuale della conoscenza che s è realzzata ed è stata verfcata. Alla base resta n qualche modo la convnzone che l effcaca dell nsegnamento e dell azone della scuola non possa essere rlevata solo a partre da rsultat fnal dell apprendmento (cfr. passagg da una classe ad un altra d lvello superore), ma puttosto dalla rlevazone de dfferenzal fra una stuazone d partenza e la stuazone n cu s cogle l dato. Interessa, nfatt, anche verfcare una lnea d svluppo: questo spega perché oltre a verfcare la stuazone del soggetto e della classe n ordne agl apprendment (l area de saper rguarda la lngua talana, la matematca e, anche se con procedure dverse, la stora) con appost strument d verfca, elaborat con una certa raffnatezza e n forme dotate d un certo grado d obettvtà - e qu rsulta rlevante l apporto delle scenze statstche e l approcco elaborato da Rasch nell ottca del montoraggo dello svluppo della conoscenza -, vengono utlzzat rsultat del PP2 dell INVALSI e due dat della valutazone nterna della scuola naturalmente consderat dstntamente per area dscplnare, per allevo, per classe. S può qund sottolneare la novtà assoluta d una valutazone che guarda allo svluppo/crescta longtudnale della conoscenza e degl apprendment, nello sforzo anche d lberare questa crescta da var fattor tradzonal d natura extrascolastca, concentrando l attenzone sulla scuola e qund sugl nsegnant e sull organzzazone/funzonamento della stessa. S tratta fondamentalmente d verfche taglate su outcome cogntv non perché non s tenga conto che la scuola non s chude su obettv cogntv, ma ha la msson d puntare anche su obettv non cogntv e qund l attenzone 19

20 dovrebbe andare anche su outcome non cogntv -, ma perché prm rsultano n un certo senso d pù facle msurabltà. Samo a prm pass nella costruzone d un sstema d valutazone. Del resto le note crca le competenze chave parlano d competenze d base e d competenze d ordne pù complesso. Da document del Consglo europeo d Lsbona (2000) e da quell che segnano uno svluppo d quelle ndcazon, l quadro delle competenze parla d competenze alfabetche, matematche, scentfche, tecnologche, storche, economche, ma anche d competenze socal. Samo n lnea con gl obettv rchamat da P. Dolton con rfermento alle dverse funzon della scuola: 1. svluppare ne govan adeguate conoscenze umanstco-letterare e scentfco-matematche; 2. promuovere la loro crescta fsca ed emotva; 3. prepararl al lavoro; 4. nsegnare loro ad ammnstrare la propra salute e le rsorse materal; 5. prepararl alla partecpazone socale e poltca; 6. autare pù svantaggat a superare lmt economc, culturale e socal delle famgle d provenenza; 7. offrre un ambente lbero dalla droga e dalla volenza. La rcerca, nel fermare la sua attenzone sugl apprendment, mra a verfcare l mpegno della scuola n termn d effcaca e d valore aggunto, ma permette anche ndcazon n termn d funzonamento e organzzazone delle scuole ponendos al servzo de drgent e degl nsegnant per un eventuale mgloramento dell approcco ddattco n atto e del management dell sttuzone scolastca. S tratta d uno de captol pù controvers della rcerca sull effcaca della scuole e, qund, sulle attvtà n essa svluppate, che tocca drettamente la valutazone degl nsegnant e de drgent e non può trovare rsposta postva nella sola valutazone esterna. Del resto la rcerca guarda alla msurazone de rsultat anche nella drezone d un servzo a dsposzone del personale docente per avvare un momento d rflessone che rguarda anche l suo modo d fare scuola, ma è teso a mglorare, se necessaro, la scuola. Questa mpostazone della rcerca va vsta, noltre, non solo come uno strumento d valutazone dell effcaca delle scuole e degl nsegnant, ma anche come una metodologa a loro supporto, poché n grado d fornre nformazon utl a confrontare lvell raggunt da propr student con quell ottenut n altre class e scuole n condzon analoghe, e cò è nteressante anche nella prospettva d uno svluppo del tema della formazone degl nsegnant che attualmente s muove per lo pù secondo modell dell aggornamento e del rapporto frontale tra aggornatore-esperto e docent. Non può sfuggre come l nterazone dello strumento con l azone del docente comport degl effett sgnfcatv sulla sua professonaltà. Cò avvene nnanz tutto n quanto l punto d vsta da cu s deve porre l docente non è semplcemente quello d un attuatore d un progetto, ma anche quello d corresponsable del progetto nella sua struttura e non solo nella sua esecuzone. Inoltre la possbltà d avere degl element d verfca della propra azone ddattca, desunt non tanto dal propro campo d nsegnamento quanto dall omogeneo campo d nsegnamento d collegh della stessa o d altre scuole, gl permette un mglor montoraggo della propra attvtà anche tramte 20

21 l dentfcazone d element d contesto, non solo organzzatvo. In questo senso è evdente la spnta che l adozone dello strumento potrebbe dare ad una concezone pù partecpatva dell attvtà docente. Gl nsegnant asprano, e gustamente, a recuperare una responsabltà professonale, che trov nella funzone d docent l pù sgnfcatvo barcentro e l prncpale ttolo d legttmazone della propra collocazone anche socale. Questa rnnovata professonaltà presenta un proflo deale, così come nveste gl aspett pù quotdan dell eserczo della docenza: la prass e le scelte ddattche, l eserczo de compt d valutazone, l rapporto educatvo con l alunno, la collaborazone con collegh, l nterazone con gl altr attor del processo formatvo. Il contrbuto che la rcerca mette a dsposzone n tale prospettva consste nella possbltà d sottoporre metodcamente a rflessone e rpensamento l ordnaro svolgmento della ddattca, attraverso una metodologa d azone cooperatva fra gl nsegnant e l gruppo d rcerca: le prove d verfca sono state concepte e strutturate consderando la prass effettva d cascun docente; nsegnant sono stat chamat a collaborare, n vare modaltà, alla costruzone delle vare prove d verfca e alla correzone degl elaborat a rsposta aperta; n prospettva s rtene d grande rlevanza anche l modo n cu rsultat della verfca entreranno a far parte della conoscenza dffusa nelle scuole. In tal modo s conta d mettere a dsposzone degl nsegnant uno strumento che possa essere compreso ed eventualmente fatto propro, utlzzato come modo per esprmere responsablmente anche d fronte al corpo socale le scelte ddattche e metodologche adottate. L autonoma consente nfatt l drtto/dovere d eserctare l autonoma ddattca e metodologca e, qund, d partecpare attvamente e non passvamente anche al processo della valutazone delle scuole con una (rnnovata) competenza docmologca. Lo scopo della rcerca rsulta, pertanto, evdente: 1. ntanto una spermentazone sulla base d procedure, tecnche, strument e modaltà dverse per una verfca degl apprendment, avendo l occho agl obettv cogntv del sstema formatvo rtenut come obettv d base senza porre tra parentes gl obettv non cogntv-, non prvlegando nella verfca l captolo de process formatv, che pure hanno la loro mportanza; 2. n secondo luogo cercare d solare n qualche modo dal quadro de fattor che favorscono apprendment e crescta della conoscenza l fattore scuola-classe-nsegnante, per esaltare l azone della scuola e dell nsegnante, senza per questo cancellare le altre concause del successo/nsuccesso scolastco e formatvo. Insomma, senza dmentcare gl stud e le rcerche tese a permetrare l effcaca del sstema formatvo formale (School Effectveness = SE), s ncomnca a lavorare nella drezone del suo mgloramento (School Improvement = SI), studandone var aspett, soggett che v operano, le pagne della ddattca e le sue mplcazon. 21

22 S rpropone, lontan dagl entusasm della ventata della descolarzzazone, una nuova centraltà del sstema formatvo formale con l sttuzone scolastca fuor da ogn autoreferenzaltà e n dalogo con l terrtoro e con l mondo. 22

23 Captolo 2 Il percorso della rcerca d Alberto Ceran, Brunella Fore, Gudo Gay Premessa I captol precedent hanno ndcato tem che sono stat approfondt per arrvare a defnre delle caratterstche d un modello d valutazone dell struzone d scala regonale. E stata rchamata l mportanza dell esame delle esperenze attuate n altre regon e n altr paes europe o extraeurope. In partcolare della verfca de modell dervant dalla teora del Valore Aggunto e la loro donetà a coglere quanto nelle conoscenze e competenze acqusste dallo studente nell ambto scolastco sa l frutto delle conoscenze pregresse, delle condzon socoeconomche e famlar e dell effettvo apporto della specfca sttuzone scolastca. S è sottolneato come uno degl obettv della rcerca sa stato quello d spermentare un modello d osservazone longtudnale, da proporre alla Regone Lombarda, mpostato con caratterstche tal da poter consentre: alle famgle e agl nsegnant d ottenere delle nformazon utl alla funzone educatva; alle scuole, d ndvduare propr punt d forza e d debolezza; agl scenzat socal, d formulare modell causal da sottoporre a verfca; a responsabl poltc d ndvduare possbl scenar per l mgloramento de process educatv. La soluzone adottata per raggungere un adeguato confronto longtudnale è stata l acquszone e l ntegrazone, a posteror, de rsultat delle prove PP2 (Progetto Plota 2) effettuate nell anno scolastco 2002/2003 dall Invals con rsultat d nuove prove d apprendmento predsposte ed opportunamente valdate dal gruppo d lavoro della rcerca. Operando sul contesto d scuole lombarde che hanno partecpato al PP2 la rcerca ha ntrodotto element d conoscenza specfc ed orgnal utl a ottenere un database completo e affdable utlzzable al fne d produrre ndcator d Valore aggunto per un ampo nseme d student d scuole lombarde. Con queste premesse l processo computo s può qund nterpretare come approssmazone d un sstema d raccolta e gestone dat d scala regonale relatvo alla popolazone studentesca ed al sstema formatvo. Obettvo del captolo è quello d consderare l ntero percorso d rcerca computo e d rappresentarne fas, metod e strument utlzzat n una prospettva cronologca, seguendo l flusso delle attvtà svolte a partre dalla data d nzo formale del progetto ( ) sno alla conclusone delle attvtà d rlevazone con l rlasco degl archv statstc creat ( ). 23

24 Le successve attvtà d elaborazone de dat statstc, sostanzalmente volte ad dentfcare l metro attraverso cu msurare l lvello d apprendmento degl student nella prospettva del valore aggunto, vengono nvece descrtte dettaglatamente nel quarto captolo del volume, n cu vene anche approfondto l tema, correlato, della valdazone delle prove d apprendmento nel corso del pretest. Gl element portant del percorso d rcerca computo sono stat seguent: 1. rcerca teorca attuata con l anals della letteratura e delle esperenze rguardant la valutazone de sstem formatv ed l modello del Valore aggunto ; 2. defnzone e convolgmento attvo del campo d ntervento della rcerca; 3. acquszone de rsultat del PP2, relatvamente alle scuole lombarde selezonate; 4. progettazone delle nuove prove d apprendmento e degl strument d rlevazone correlat; 5. fase d rlevazone con sommnstrazone delle nuove prove d apprendmento e raccolta nformazon d contesto; 6. carcamento, controllo de dat ed ntegrazone degl archv statstc. Coerentemente con un mpostazone volta a valorzzare gl apport delle scuole che hanno partecpato alla rcerca, nel corso de lavor sono stat prevst dvers ncontr con gl nsegnant che a varo ttolo hanno collaborato alle attvtà effettuate. Inoltre, l gruppo d lavoro ha costantemente curato la comuncazone tramte una sere d pubblcazon scentfche e nformatve e per mezzo d un sto web espressamente mplementato. Il captolo è organzzato secondo l seguente schema: nel prmo paragrafo vengono presentat gl element essenzal delle attvtà d rcerca effettuate all nterno delle macrofas summenzonate; nel secondo damo conto degl aspett d supporto allo svluppo della rcerca, con partcolare rfermento al convolgmento delle scuole tramte ncontr, pubblcazon a stampa e sul sto web della rcerca; completano l captolo due appendc, una contenente le statstche descrttve relatve alle scuole e agl student convolt nella rlevazone, l altra che rporta la lsta de materal pubblcat sul CD-ROM allegato al presente rapporto fnale. L ntero percorso è rappresentato nella fgura 1. 24

25 Fgura 1 Fas della rcerca Dalla dfferenza, l equtà dall nzo formale del progetto ( ) sno alla conclusone delle attvtà d rlevazone con l rlasco degl archv statstc creat ( ) FASI DELLA RICERCA 1. Rcerca teorca 2. Defnzone e convolgmento campo d ntervento 3. Acquszone rsultat PP2 scuole lombarde 4. Progettazone nuove prove d apprendmento 5. Rlevazone "core nformaton" della rcerca 6. Carcamento, controllo statstco e ntegrazone archv Esperenze nternazonal Defnzone GTO Rchesta formale a Invals e Isttut Raccolta dat sulla ddattca d sttuto Stampa e dstrbuzone prove Scansone e controllo Modello del Valore aggunto Indvduazone Isttut e Referent Seconda parte Base dat student Archvo prove Sommnstrazone Correzone prove "Stora" Scale d Rash Dat d contesto student Pretest Rlevazone nformazon contesto delle prove Terza parte Base dat student Metod per prove strutturate Avvo prma parte Base dat student Versone defntva delle prove 25

26 2.1 Attvtà realzzate per fas della rcerca RICERCA TEORICA ATTUATA CON L ANALISI DELLA LETTERATURA E DELLE ESPERIENZE RIGUARDANTI LA VALUTAZIONE DEI SISTEMI FORMATIVI ED IL MODELLO DEL VALORE AGGIUNTO In questa fase sono stat verfcat modell nternazonal pù promettent n matera d valutazone de sstem nformatv e poste le condzon per una applcazone nella scala regonale lombarda de modell d anals basat sul Valore aggunto e sulle scale d Rasch. Il senso d questo mpegno teorco e applcatvo derva dalla constatazone che rsultat fnal dell apprendmento dscplnare ne sstem formatv non rappresentano d per se stess un ndcatore esaurente, dal momento che ess dpendono n larga msura dalle condzon d partenza. Alcune scuole nfatt raccolgono un'utenza culturalmente e socalmente pù garantta, altre nvece fanno rfermento a un contesto svantaggato o problematco. Per poter nterpretare la msurazone assoluta tenendo conto dell'nput è necessaro comparare rsultat fnal con valor nzal. Solo con una corretta comparazone potrà dars l caso d scuole o class da rsultat apparentemente modest dove però gl alunn sono pervenut ad un lvello d suffcenza partendo da grav defct, e scuole o class apparentemente pù produttve, ma che n realtà partvano da condzon nzal ben pù favorevol. Ma come procedere e con qual metodche a confront tra rsultat fnal e valor nzal? A tentare d rspondere a questo nterrogatvo s è dedcata la fase teorca della rcerca. Partendo dalla banale evdenza del fatto che sstem scolastc non operano nelle stesse condzon ambental e possono presentare una dfferente composzone qualtatva degl student (condzone soco famlare e background scolastco), le anals s sono concentrate su ndcator possano servre ad una adeguata comparazone tra sstem stess e alla comprensone de loro progress. Il problema dventa pù rlevante quanto pù l lvello s sposta da una nazone o una regone alle sngole scuole, spece n stuazon caratterzzate da lbera scelta degl sttut da parte delle famgle e dalla possbltà d poltche d selezone all accesso da parte delle scuole. Gl ndcator possono essere classfcat, a grand lnee, n due categore: ndcator per qual l untà che genera l nformazone è l allevo (dropout, rsultat scolastc n test standardzzat, rpetenza ecc.); ndcator per qual l untà che genera l nformazone è costtuta dall sttuto stesso (numero d nsegnant, class, fnanzament ecc.). E soprattutto per prm che rsulta necessara una rflessone sul modo e sulle metodologe attraverso cu l ndcatore vene costruto. E noto nfatt che molt de rsultat del processo formatvo relatv al sngolo studente (partecpazone, 26

27 successo, lvello d conoscenze-competenze posseduto ad un certo stante del percorso formatvo) sono frutto dell azone ed nterazone d tre fattor fondamental: 1. l background d conoscenze-competenze dervante dalla scuola precedentemente frequentata e la condzone soco economco - culturale della famgla d provenenza (oltre che altre eventual condzon d handcap psco-fsco); 2. la struttura e composzone della classe n termn d capactà e caratterstche de compagn ( effetto de par ); 3. le rsorse materal ed mmateral messe a dsposzone della classe (qualtà e numero d nsegnant), l organzzazone ddattca ed l clma della scuola. L effetto de fattor 2 e 3 su rsultat dello studente vene defnto Valore Aggunto e costtusce la msura d maggore nteresse per la comprensone de punt d debolezza de process formatv, anche attraverso prass d autovalutazone d sttuto e per la scelta da parte delle famgle 1. Sono state ndvduate n letteratura numerose evdenze della rlevanza d tal fattor nello spegare la varabltà osservata de rsultat ottenut dagl student n test standardzzat e alcune promettent metod utl pù done d altr per trattare queste evdenze prma d manpolare acrtcamente dat dervant da test sommnstrat agl student, oltre che qualsas altro dato relatvo alle loro performance, è fondamentale. Questo obettvo comparatvo può essere perseguto attraverso lo strumento statstco del "valore aggunto" e le scale d Rasch, che, per essere calcolato, presuppone l'esstenza d almeno due msurazon a dstanza d tempo. Questa è la ragone per cu le class osservate sono state estratte tra quelle che, n Lombarda, hanno partecpato nel marzo 2003 al Progetto Plota 2 dell'invalsi, d cu la presente rcerca costtusce n qualche modo anche amplamento e ntegrazone. Document teorc prodott a seguto della fase 1 CRISP, IReR, IRRE Lombarda, Dalla dfferenza, l'equtà. Msurare gl apprendment nella scuola dell'autonoma M.G. Fornarol P. Gelmett, Le prove strutturate d Italano. Presuppost e caratterstche E. Gor, Valore Aggunto. Ultma moda o ultma spagga nell'oceano della valutazone?, Dpartmento d Scenze Statstca - Unverstà d Udne CTS Invals E. Gor, L. Grassett, D. Vdon, Poltche regonal per l struzone e l drtto allo studo e nformazon d supporto e montoraggo: rapporto fnale, IReR e Unverstà d Udne E. Gor - F. Crema - G. Cttadn, Valutazone dell'effcaca nell'struzone e mgloramento della scuola: nuove prospettve dalla rcerca nternazonale, Unverstà d Udne E. Gor, G. Plazz, La Item Response Theory e l modello d Rasch per la msurazone d varabl latent E. Gor, P. Euseb, Dfferental Item Functonng 1 Cfr. Raudenbush S. W., Wllms J. D. (1995) The Estmaton of School Effects, Journal of Educatonal and Behavoral Statstcs, Vol. 20, No. 4, pp

28 E. Gor, G. Vttadn e D. Vdon, Combnazone anals d Rasch e modell d crescta. Svluppo d una metodologa d applcazone del valore aggunto Sangorgo, Dalla dfferenza, l'equtà. I test: condzon e strutture E. Scagloso e F.E.Crema, Svluppo d una metodologa ad hoc per l convolgmento del corpo docente F. Tornagh, Dalla dfferenza, l'equtà. Preparazone delle prove d matematca DEFINIZIONE E COINVOLGIMENTO ATTIVO DEL CAMPO DI INTERVENTO DELLA RICERCA Questa fase d lavoro ha ndvduato: gl operator d area; gl sttut scolastc lombard - elementar, mede e superor - convolt nella spermentazone sulla base de partecpant al PP2, tramte accord drett con le scuole nteressate alla spermentazone; referent d sttuto; le nformazon necessare alla rcerca relatve alle scuole nteressate. In partcolare: a) gl element dentfcatv della scuola; b) l elenco degl student scrtt nell anno scolastco 2003/2004; c) le votazon fnal dell anno 2002/2003 n talano, matematca e stora d) codc per assocare nomnatv degl student con l codce studente predsposto dall Invals nell ambto del PP2. S è trattata d un operazone nzale fondamentale, volta a porre le bas per una collaborazone fattva delle sttuzon scolastche e degl nsegnant, che ha comportato la creazone d un artcolata struttura d supporto operatvo a lvello d scuola (referent d sttuto) e d coordnamento per grupp d scuola (operator d area - GTO). Le attvtà operatve relatve alla costruzone dell anagrafca degl student hanno rchesto un complesso trattamento manuale d lste eterogenee fornte dalle scuole e s è protratta con una lunga coda d lavoro molto oltre termn nzalmente prevst, senza per altro pregudcare le attvtà operatve a valle. L attvtà d collegamento manuale con codc PP2, nzalmente non esplctamente prevsta, è rsultata molto complessa e non sempre possble perché le scuole partecpant talvolta non avevano conservato le necessare nformazon. Al termne delle operazon descrtte s è reso dsponble un archvo anagrafco, posto a base della successva fase d sommnstrazone delle prove, d student potenzalmente convolgbl, d cu n scuole elementar, n scuole mede e n sttut superor. Tabella 1 - Numero student potenzalmente convolgbl per tpo d scuola Ambto Frequenza Percentuale Elementare ,4 Meda ,3 Superore ,3 Totale ,0 28

29 Quanto alla dstrbuzone per tpo d sttuto gl student convolgbl rsultavano suddvs n 38 elementar, 40 scuole mede e 66 superor. S deve notare che a queste 144 untà, defnte sulla base delle ndcazon del PP2, corrspondono un numero nferore d sttuzon scolastche, essenzalmente perché alcune d queste ultme ncludono nello stesso sttuto (comprensvo) pù lvell scolastc. Tabella 2 Dstrbuzone degl student potenzalmente convolgbl per tpo d scuola Ambto Frequenza Percentuale Elementare 38 26,4 Meda 40 27,8 Superore 66 45,8 Totale ,0 Cronologa fase 2 Luglo costtuzone del gruppo d docent che ha condotto le fas operatve della rcerca (GTO = Gruppo Tecnco Operatvo) Tra docent che nel passato hanno collaborato con tre ent convolt nella rcerca e n base a specfche competenze nel settore, vengono selezonate le persone che affancheranno l gruppo d rcerca nella conduzone delle fas operatve della rcerca stessa. Consderando che le suddette fas convolgeranno Isttut Scolastc varamente dstrbut nel terrtoro lombardo sono stat adottat crter d referenzaltà geografca degl operator. Inoltre, per la prevsone d convolgere scuole elementar, mede e superor e d sottoporre a verfca le dscplne d lettere, matematca e stora, un ulterore crtero d scelta ha rguardato la rpartzone tra lvell scolastc e dscplne nsegnate. In una sere d ncontr vengono charte fnaltà e fas della rcerca al fne d rendere omogeneo l gruppo d lavoro. Settembre Indvduazone degl Isttut Scolastc da convolgere nella rcerca Tra tutt gl Isttut Scolastc Lombard che nel 2002 hanno partecpato al Progetto Plota d valutazone 2, promosso dall'invalsi, s avvano le procedure d selezone delle scuole da convolgere nella rcerca. I crter d scelta tengono conto della dstrbuzone terrtorale degl sttut corrspondente ad una loro connotazone soco-economca. Le aree d rfermento sono la provnca d Bergamo, la Branza, l area Lod-Pava-Crema, la provnca d Bresca, l area Mlano Nord, Mlano Sud e la lnea del Sempone. Gl operator che terranno contatt con sngol Isttut, organzzat n grupp d lavoro, scelgono le scuole da contattare facendo rfermento a crter d selezone che l gruppo d rcerca ha posto come vncol determnat dall'mpostazone della rcerca stessa. Gl operator effettuano un prmo contatto con gl Isttut prescelt per verfcare la loro dsponbltà a partecpare al progetto. 29

30 Tabella 3 Isttut nzalmente selezonat per area geografca Ambto Rferment terrtoral Isttut selezonat Area 1 Provnca d Bergamo 21 Area 2 Branza 17 Area 3 Lod-Pava-Crema 14 Area 4 Provnca d Bresca 16 Area 5 Mlano Nord 18 Area 6 Mlano Sud 16 Area 7 Lnea del Sempone 18 Totale 120 Tabella 4 - Aree terrtoral, Responsabl d area e Operator d Area Responsable per l rapporto con le scuole Franco Petracch Area 1 - Bergamo Responsable dell'area Patrza Gelmett Operator d Area. Rta Costantn, Patrza Gelmett,. Lucano Martnol, Gancarlo Sala,. Nora Terzol,. Paolo Zara Area 2 - Branza Responsable dell'area Slvo Restell Operator d Area. Govann Acqustapace, Antonella Barletta,. Slva Beretta, Antona Colombo, Slvo Restell, Sandra Ronch Area 3 - Lod-Pava- Crema Responsable dell'area Crstna D Chrco Operator d Area. Carolna Alquant, Flavo Arpn. Franco Camsasca, Renzo De Vecch,. Crstna D Chrco Area 4 - Bresca Responsable dell'area Mara Paola Negr Operator d Area. Govanna Buonanno, Mara Paola Negr. Tzana Pedrzz, Emla Salucc, Marco Taroll Area 5 - Mlano Nord Responsable dell'area Franco Petracch Operator d Area. Andrea Caspan, Mara Graza Fornarol. Franco Petracch, Renato Rzz. Gorgo Taglett, Franco Tornagh Area 6 - Mlano Sud Area 7 - Lnea del Sempone Responsable dell'area Roberto Ddon Responsable dell'area Rosa D Rago Operator d Area. Laura Bertolott, Nunza Bonanno. Gulana Borvan, Roberto Ddon. Mara Graza Ferrante, Danela Notarbartolo. Gorgo Taglett Operator d Area. Govann Acqustapace, Mchele De Nucco. Rosa D Rago, Petro Negr. Guseppe Ngro, Patrza Rappezzo, Elena Vaj Settembre Contatto con le Scuole Gl operator d'area, dopo aver partecpato a due gornate (2 settembre e 18 settembre 2003) ntensve d brefng per progettare e preparare gl ntervent nelle Scuole, s recano negl Isttut Scolastc per llustrare al Drgente Scolastco le fnaltà della rcerca e l'mpegno rchesto a docent e agl student che verranno convolt. In questa fase, ottenuto l consenso, s è chesto ad ogn Isttuto d ndvduare un propro referente per l 30

31 ruolo d rapporto prvlegato tramte cu l'operatore potrà comuncare con soggett convolt nelle fas operatve. L'operatore d area consegna al Drgente una lettera sulla garanza d prvacy de dat che verranno rchest e una lettera che, protocollata dall'isttuto, permetterà al gruppo d rcerca d poter rchedere all'invalsi dat relatv a rsultat ottenut dagl student ne test PP2 del Infne vene rchesto d conoscere n temp brev nomnatv de docent che partecperanno alle prove, dvs per dscplna e vene consegnata all'sttuto una brochure che llustra gl aspett pù sgnfcatv della rcerca. Fgura 2 Brochure Dalla dfferenza, l equtà Ottobre Raccolta de dat d contesto sugl allev Per rendere "sensble al contesto" l sstema d valutazone costruto dalla rcerca, l'operatore ha chesto al referente d sttuto d poter accedere ad una sere d document che rappresentano un ndcatore del sstema d valutazone propro dell'sttuto. I document rchest sono stat: nomnatv degl allev (scrtt nell'a.s. 2003/04) suddvs per class; rsultat fnal, relatv alle dscplne convolte da test, degl stess student, ma nell'a.s. 2002/03; codc PP2 assocat agl student (a.s. 2002/03) qualora sano n possesso della scuola. Novembre-Dcembre Predsposzone d una banca dat Vene generata una banca dat che dovrà contenere tutte le nformazon relatve agl student de var sttut convolt nel progetto. L'archvo, oltre a conservare tutt dat d contesto raccolt dagl operator e dat che verranno nvat dall'invalsi, sarà predsposto per la regstrazone de rsultat delle prove a cu saranno sottopost gl student nel mese d aprle Sulla base d tutte queste nformazon verrà qund calcolato, tramte approprate elaborazon statstche, l Valore aggunto che rappresenta l'ndcatore la cu valdtà e sgnfcatvtà rappresenta l'obettvo della rcerca n atto. In questa fase la banca dat c permetterà d automatzzare la stampa delle prove che verranno dstrbute, gà ntestate, a sngol sttut per sottoporle agl student. 31

32 ACQUISIZIONE DEI RISULTATI DEL PP2, RELATIVAMENTE ALLE SCUOLE LOMBARDE SELEZIONATE Nell anno scolastco 2002/2003 sono state sommnstrate a student delle scuole talane le prove del Progetto Plota 2 dell Invals. Il gruppo d lavoro, soppesate dverse alternatve, ha concordato con l Invals l utlzzo de loro rsultat analtc, per un gruppo d scuole lombarde, come prox d una msura d apprendmento nzale. Utlzzando dat PP2 è stato possble comprmere questa rcerca n un tempo contenuto, con una sostanzale abbattmento de cost rspetto all alternatva, pure consderata, d partre a prato verde con un programma plurennale d prove d apprendmento rpetute. La scelta, non senza qualche controndcazone se s consdera che alcun studos hanno duramente crtcato l PP2 [2], ha rchesto, a valle delle attvtà d acquszone d cu s da conto n questo captolo, un attenta anals volta a mglorare, tramte opportune tecnche statstche d cu s da conto nel quarto captolo, la confrontabltà de rsultat de test ne due ann. Cronologa fase Invo lettera d rchesta delle nformazon elementar PP2 all Invals Rcezone lettera dell Invals che ndcava le procedure formal da segure per l acquszone de dat. L Invals ha fornto la lsta delle scuole lombarde che hanno partecpato al PP2, rchedendo che le scuole partecpant alla rcerca, selezonate tra le precedent, dovessero autorzzare espressamente per scrtto l Invals stesso a fornre dat rchest. Inoltre, a dfferenza d quanto nzalmente prevsto, è stato escluso d poter fornre la corrspondenza tra l codce studente predsposto dall Invals ed l nome e cognome dello studente stesso Rchesta dat Acquste dalle scuole partecpant alla rcerca le autorzzazon e le lste d raccordo tra nomnatv ed codc studente Invals, vene formulata la rchesta de dat ne termn prevst da Invals Rcezone de dat rchest S conclude la fase d rcezone de dat dall Invals con controllo e rsoluzone dubb nterpretatv (sempre n collaborazone con Invals). Complessvamente, per quanto accennato, solo n cas è stato effettvamente possble rcostrure l codce studente, necessaro per le anals longtudnal. 32

33 Tabella 5 - Numero student con codce PP2 non mancante, per tpo d scuola Ambto Frequenza Percentuale Gruppo d rfermento nzale Elementare , Meda , Superore , Totale , PROGETTAZIONE DELLE NUOVE PROVE DI APPRENDIMENTO E DEGLI STRUMENTI DI RILEVAZIONE CORRELATI La preparazone degl strument d lavoro è stata l attvtà pù artcolata effettuata nell ambto della rcerca, non solo per l ampa gamma d strument mess a punto ma anche per la scelta progettuale d convolgere attvamente le scuole nella costruzone delle prove d apprendmento. Complessvamente sono stat predspost seguent strument d rlevazone: 1. prove d apprendmento d talano, matematca e stora, dstnte per lvello e tpologa scolastca; 2. scheda per gl nsegnant nelle matere testate per valutazon dell nsegnante sulle domande delle prove d apprendmento e manuale per la complazone; 3. scheda student (breve questonaro sullo studente e la sua famgla). Mentre la scheda nsegnant e quella student sono state progettata e predsposte autonomamente dal gruppo d lavoro responsable della rcerca, le prove d apprendmento sono state predsposte con una metodologa artcolata che ha comportato l seguente percorso d lavoro: raccolta, tramte opportune schede, d nformazon sugl argoment trattat nelle scuole partecpant alla spermentazone; anals de materal così raccolt da parte d un gruppo d dscplnarst che hanno così prodotto una prma versone de test; pretest delle prove n alcune scuole e loro contestuale valdazone; predsposzone delle prove nella loro versone fnale. Rmandando al quarto captolo per gl aspett statstc e d msura delle procedure d valdazone de test effettuate, d seguto vengono sntetzzat prncpal passagg operatv del percorso d lavoro delneato. Cronologa fase 4 Settembre Raccolta de dat sulla ddattca n atto Una delle caratterstche del sstema d valutazone che la rcerca vuole mettere n atto è stata quella d rendere "sensble al contesto" l calcolo dell'ndce d valutazone del sngolo sttuto scolastco. Cò vuol dre tener conto non solo della collocazone socoeconomca e terrtorale della sngola scuola, ma anche consderare le scelte e le stratege ddattche propre de suo docent. Per quest motv l gruppo d rcerca ha espresso la necesstà d conoscere non solo gl argoment della sngola dscplna nsegnata, ma anche 33

34 ndcazon su meccansm e contenut su cu nel sngolo sttuto s basa la msurazone e valutazone dello studente. E stato qund rchesto ad ogn docente convolto ne var sttut, tramte l operatore d area: d dare ndcazon su contenut del programma scolastco che effettuerà; d proporre una sere d test che normalmente egl propone a propr allev. Queste prove, asseme a tutte quelle degl altr Isttut, servranno come punto d partenza per creare la battera de test da proporre agl student nel mese d aprle. Quest element sono stat raccolt e consegnat ad espert dscplnar che hanno successvamente messo a punto sngol test che successvamente valdat presso alcun sttut plota. Dcembre 2003-Febbrao 2004: Creazone d un archvo d prove valdate A partre dalle prove d valutazone che docent de sngol sttut hanno consegnato al gruppo d rcerca, s crea un archvo d test valcat, all'nterno del quale sceglere sngol tem che comporranno la prova fondamentale della rcerca prevsta per aprle Dopo aver suddvso tutt questonar per dscplna e per lvello scolastco, gl operator, coaduvat da alcun espert dscplnar, effettuano un prmo trattamento dat con l'obettvo d effettuare uno studo delle regolartà con cu gl argoment vengono rpropost ne programm ddattc. Questo prmo ntervento ha permesso a espert d generazone test a rsposta multpla d lavorare con materale gà organzzato per generare prove coerent con programm segnalat dalle scuole. Febbrao Predsposzone d una scheda per la raccolta d dat d contesto Per ntegrare dat d contesto, come prevsto dal metodo per l calcolo del valore aggunto, vene predsposta una scheda fnalzzata a conoscere alcun element relatv al rendmento de sngol student nell'anno scolastco n corso e alcune nformazon sul contesto famlare. Tale scheda verrà successvamente consegnata ad ogn studente delle scuole convolte nel progetto per essere complata Fgura 3 Scheda studente 34

35 12-13 gennao - Sommnstrazone de pretest Le battere d test così costrute vengono sottoposte a class d sttut plota per verfcarne l'attendbltà e la loro valdtà. Dopo la verfca test sono entrat nella fase d redazone fnale, stampa e preparazone della dstrbuzone agl sttut d rfermento. Fgura 4 Esemp d prove d apprendmento. Italano per l trenno Fgura 5 Esemp d prove d apprendmento. Matematca per l trenno 35

36 FASE DI RILEVAZIONE CON SOMMINISTRAZIONE DELLE NUOVE PROVE D APPRENDIMENTO E RACCOLTA INFORMAZIONI DI CONTESTO Il perodo d tempo che va dal 15 al 22 aprle 2004 è stato desgnato dal gruppo d rcerca per l effettuare le prove d apprendmento d lettere, matematca e stora nelle class degl Isttut convolt nella rcerca. In questa fase è stato necessaro escludere alcune scuole perché non compatbl col test (ad esempo quelle che s presentavano con un programma d stora antca) Tutte le scuole ne gorn precedent hanno rcevuto l materale cartaceo per poter effettuare test e tante cope del manuale quant sono docent convolt per sommnstrare le prove con una sere d precauzon standardzzate per tutt soggett convolt. Ogn sttuto è stato nvtato a procedere n condzon d autonoma per organzzare temp e metod per la sommnstrazone delle prove nell'arco degl otto gorn ndcat, con l'unca precauzone d sottoporre la stessa prova contemporaneamente a tutt gl student d un certo lvello scolastco. La prova d matematca poteva essere eseguta n un gorno dverso dalla prova d lettere, ma tutt gl student. (Ad esempo consderate le class quarte superor d un sttuto, gl student dovevano svolgere la prova d matematca nella stessa ora dello stesso gorno). Inseme sono state rlevate nformazon d contesto relatve agl student e a docent. Cronologa fase 5 Marzo - 7 aprle Stampa e dstrbuzone La stampa, confezonamento e dstrbuzone delle prove d apprendmento relatva a student nelle scuole partecpant alla rcerca ha comportato le seguent attvtà: selezone socetà ncarcata della stampa e della dstrbuzone de materal; acquszone de fle contenent le dverse tpologe d prove d'apprendmento d talano e matematca; acquszone del fle contenente la scheda rsposte student ; acquszone del fle contenente l test d stora a rsposta aperta ; acquszone del fle contenente la scheda per l nsegnante della matera testata (valutazon dell nsegnante sulle domande delle prove d apprendmento); acquszone del fle contenente la scheda studente (breve questonaro sullo studente e la sua famgla); acquszone del fle contenente le Indcazon per la sommnstrazone ; produzone de materal nformatc personalzzat; coordnamento delle attvtà d stampa, confezonamento e dstrbuzone de materal alle 173 untà d dstrbuzone, enttà scolastche caratterzzate da materal d prova unform e un ndrzzo d dstrbuzone unvoco. Le attvtà s sono svolte a partre dal e s sono concluse con l nvo de materal confezonat alle untà d dstrbuzone entro l , n tempo utle per lo svolgmento delle prove d apprendmento. 36

37 Nota sulle untà d dstrbuzone Le untà d dstrbuzone così defnte non corrspondono necessaramente ad un sttuto scolastco o ad altra defnzone ammnstratva, ma possono rappresentare semplcemente un sotto nseme d class all nterno d un sttuto scolastco. S possono dare seguent cas: n un sttuto comprensvo caratterzzato da un ndrzzo d dstrbuzone unvoco potranno essere present pù untà d dstrbuzone; scuole con dvers ndrzz (es tecnc) possono avere pù untà d dstrbuzone S not po che l ndrzzo d dstrbuzone non vene consderato unvoco se la scuola è artcolata n sed n comun dvers. In quel caso sono state defnte dal gruppo d lavoro responsable della selezone delle scuole untà d dstrbuzone dverse. S not nfne che questa nozone d scuola come untà d dstrbuzone è dversa sa da quella d scuola partecpante alla rcerca che da quella adottata dall Invals. Aprle al 22 aprle Sommnstrazone de test alle class S concretzza la fase d sommnstrazone agl student degl sttut selezonat delle prove d apprendmento. Vene anche sommnstrato un breve questonaro per raccoglere una sere d nformazon d "contorno" e a docent vene rchesto d complare una semplce scheda nformatva. Termnata questa fase d sommnstrazone vene rchesto al referente d sttuto d raccoglere tutt test organzzandol per classe e per dscplna. Il rtro d tutto l materale cartaceo è stato computo a cura dell'operatore del gruppo d rcerca ttolare de contatt con lo specfco sttuto CARICAMENTO, CONTROLLO DEI DATI ED INTEGRAZIONE DEGLI ARCHIVI STATISTICI La fase s è caratterzzata per una sere d attvtà fnalzzate a garantre la qualtà de dat e la produzone del data base fnale rchesto dal processo della rcerca per l applcazone de modell d msurazone del valore aggunto. A conclusone s sono regstrate alcune varazon rspetto alle sttuzon scolastche convolte. Su 173 untà d dstrbuzone delle prove (sngol pless o sed scolastche) a cu sono stat nvat materal, 169 l hanno resttut almeno parzalmente, mentre d 4 non rsultano nformazon dsponbl. Il numero d student nella lsta d rlevazone s rduce pertanto da a Il numero d class che hanno resttuto materal nelle 169 untà d dstrbuzone rsulta par a 840, mentre nelle stesse scuole rsultano 859 class. Il numero d student nelle 840 class d cu s hanno nformazon è par a nella lsta d rlevazone, mentre l numero d schede complate, relatvamente alla scheda student, è par a , con una dfferenza par a 817 student. S tenga presente che dat rlevat sulla numerostà delle class erano relatv all nzo dell anno mentre la rlevazone è stata effettuata a fne aprle, con una dmnuzone d student per trasferment e rnunce. La dstrbuzone degl student, relatvamente alla scheda student, per tpo d scuola è rappresentata dalla tabella seguente. 37

38 Tabella 6 - Numero student osservat a fne rcerca per tpo d scuola Ambto Frequenza Percentuale Gruppo d rfermento nzale Elementare , Meda , Superore , Totale , Cronologa fase 6 Maggo 04 - Scansone e controllo delle nformazon Sono state effettuate le seguent attvtà: selezone della socetà ncarcata della scansone ottca de materal d prova cartace complat; acquszone de materal d prova cartace complat, raccolt e sstematzzat a cura del gruppo d lavoro ncarcato della gestone operatva delle attvtà d feld; scansone del test d stora ; acquszone delle struzon per la correzone della prova aperta ; nvo della lsta de codc studente assocat ad ogn test d stora al gruppo d lavoro ncarcato d predsporre crter per la dstrbuzone de test a correttor. Ogn test è stato corretto da due correttor, secondo un allocazone de test ndvduata dal ctato gruppo; produzone d 37 CD-ROM (uno per ogn docente correttore) contenent le mmagn scansonate de test d stora, seguendo le ndcazon del gruppo d lavoro ncarcato d predsporre crter per la dstrbuzone de test a correttor, format d resttuzone de gudz nonché le struzon per correttor; scansone tramte OCR della scheda rsposte student, scheda student, e scheda nsegnante ; acquszone tramte e-mal de gudz formulat da correttor d stora; controllo de dat scansonat relatvamente a materal cartace; produzone d system fle SPSS relatv alle rsposte de student alle prove d talano e matematca, la scheda student, le valutazon degl nsegnant sulle domande delle prove d talano, matematca e stora, gudz test d stora. L attvtà d selezone della socetà ncarcata per la scansone è stata effettuata entro l Acqust materal d prova cartace, sono stat nvat alla socetà ncarcata della scansone entro l che ha proceduto, come da ndcazon, alla scansone de test d stora. Le attvtà d controllo e produzone de 37 CD-ROM s sono completate, con l nvo a correttor, entro l La scansone degl altr materal d prova è stato effettuata entro l , con la consegna de materal su supporto magnetco e resttuzone de materal cartace. Le attvtà d controllo de materal scansonat e la loro rspondenza rspetto a dat cartace è stata effettuata, su base camponara, entro l L acquszone de gudz formulat da correttor d stora, per la rnunca d uno de correttor ncarcata, è stata completata entro l , con la produzone fnale d un CD-ROM ntegrato, consegnato al gruppo d lavoro ncarcato dell elaborazone delle nformazon statstche prodotte. 38

39 Aprle/Maggo 2004: Correzone delle prove aperte d stora Nel quadro della rcerca "Dalla dfferenza, l'equtà" è prevsta la sommnstrazone agl student del penultmo anno delle superor d una prova aperta d stora. Il test presenta una sere d argoment tra qual l sngolo studente ne scegle due da trattare rmanendo n un massmo d vent rghe. Queste prove vengono po corrette da quaranta nsegnant d stora sulla base d una grgla costruta appostamente. La correzone prevede che ogn sngola prova venga corretta due volte da nsegnant dvers. In questa fase vene attvata una scrzone on lne per reclutare quaranta nsegnant fra tutt coloro che offrranno la propra dsponbltà nell'ambto d alcun vncol. 2.2 Semnar, ncontr, pubblcazon nformatve e scentfche La rcerca ha mrato, coerentemente con l mpostazone adottata, a convolgere scuole e nsegnant nello svolgmento della rcerca. Numerose attvtà allocate nella fase 2 sono state prevste e attuate a tale scopo. Questa partecpazone, oltre all apporto fornto n fase d costruzone delle prove d apprendmento, s è sostanzata n alcun moment d condvsone e dscussone de rsultat n tnere. I pù rlevant sono stat semnar d brefng del 2 e del 18 settembre 2003; semnar general del marzo Inoltre, l gruppo d lavoro ha costantemente curato la comuncazone tramte una sere d pubblcazon scentfche e nformatve e avvalendos d due st web espressamente mplementat: uno a carattere operatvo costruto da IRRE per l coordnamento degl operator d zona e de referent d sttuto, l secondo con carattere d sto uffcale della rcerca curato da IReR. Cronologa Settembre Semnar d brefng I docent nteressat allo svolgmento della rcerca sono convolt n due sesson d studo per approfondre mpanto teorco, rferment metodologc e percorso operatvo della rcerca. Nel corso del semnaro vengono dstrbut document specfc curat dal gruppo d rcerca. Ottobre Predsposzone d un sto web rservato Vene predsposto un sto nternet ( con accesso rservato agl operator della rcerca e a tutt coloro che nelle sngole scuole collaborano al progetto. 39

40 Fgura 6 Home page sto operatvo della rcerca a cura d IRRE L'obettvo del sto è quello d: creare uno spazo per rendere trasparent tutte le attvtà connesse con le fas rcheste dalla rcerca; generare un canale prvlegato per comuncare tempestvamente le operazon da espletare e relatv document d supporto. Vene anche predsposta la casella d posta elettronca valoreaggunto@rre.lombarda.t tramte la quale è possble comuncare drettamente con l gruppo d rcerca. Novembre Predsposzone del sto uffcale della rcerca Vene realzzato l sto nternet ( uffcale della rcerca. Fgura 7 - Home page sto operatvo della rcerca a cura d IReR 40

41 Marzo 2004: Organzzazone d gornate d studo Consderato che uno degl obettv della rcerca è quello d favorre l drtto/dovere degl nsegnant d eserctare una consapevole autonoma ddattca e metodologca anche relatvamente a problem della valutazone, l comtato tecnco-scentfco organzza un semnaro d stud allo scopo d approfondre la natura e gl obettv della rcerca. Poché l numero de potenzal docent nteressat supera le 1400 untà, s decde d replcare l semnaro nelle gornate d: martedì 16, mercoledì 17, martedì 23 e venerdì 26 marzo Le gornate d studo s svolgono presso l'itt Gentlesch d Mlano con la partecpazone dretta dell'equpe d progetto. Programma de lavor: Mattna ( ) - Problem metodologc della rcerca. Presentazone d La scuola che funzona. Teore e pratche per la valutazone d sstema, Armando, edto per approfondre tem legat alla nostra rcerca. Copa del testo vene consegnata ad ogn partecpante. Pomerggo ( ) - Confronto a grupp su problem e prospettve della rcerca. Presentazone del sto d rfermento, per l accesso a tutt document che la rcerca sta producendo, a dat numerc, agl strument operatv. 41

42 Appendce 1 Statstche descrttve Le tabelle sono relatve all archvo anagrafco de student scrtt nell anno 2003/2004 nelle scuole elementar, mede e superor lombarde convolte nella rlevazone. Tabella 7 - Numero student per scuola (codce meccanografco) Codce scuola Numero student Codce scuola Numero student Codce scuola Numero student BG1E COPS02000A 290 MIMM BG1M01800G 27 CR1E MIMM66900Q 191 BG1M02400V 47 CRMM MIMM67200G 175 BGEE07200R 126 CRMM MIMM BGIC81000B 87 CRPC01000Q 316 MIPC BGIC81400P 181 CRPS01000V 241 MIPC10500T 193 BGIC CRRC01000B 45 MIPC23500E 56 BGIC83500Q 175 CRRC MIPL15500R 35 BGIS00900B 321 LC1M05000X 72 MIPM03000T 129 BGIS01700A 139 LCEE00500E 102 MIPS01500P 31 BGIS LCMM MIPS10000T 377 BGMM LCTD02000X 48 MIPS13000N 48 BGPL04500P 49 LCTD05000Q 406 MIPS BGPM04000T 49 LO1M03000C 31 MIPS BGPS02500P 152 LOMM00700V 95 MIPS BGPS LOMM01600N 24 MIRI04000L 148 BGRC LOPC MISL04500B 74 BGTA LOPS MITD20000E 179 BGTD01500X 16 LOTF02000X 95 MITD BGTD02000B 61 MI1E00554C 43 MITF BGTD MI1E02929Q 25 MITF BGTF MI1E03004Q 74 MITF BGTF04000V 45 MI1E MITF09000E 374 BS1E10502Q 36 MI1E MITF11500N 235 BS1M01000D 37 MI1M06400X 21 MITF14000A 94 BSEE MI1M08000T 87 MITF20000R 181 BSEE MI1M MITF28000N 249 BSEE09300A 159 MI1M PV1M BSIC81300B 161 MIEE03400L 161 PVEE00400E 135 BSIC82400T 115 MIEE11200L 136 VA1M01000D 99 BSMM MIEE19000T 74 VAEE BSMM08900N 95 MIEE33700P 79 VAEE00400P 41 BSPC01000A 226 MIIC81700R 237 VAEE00600A 78 BSPM MIIC VAIC BSPS05000X 170 MIIC83900N 227 VAIC BSRC02000L 57 MIIC VAMM31000G

43 BSRH02000T 276 MIIC8AF VAPM04500D 105 BSRI01000P 285 MIIC8B700B 42 VAPS01000D 52 BSTD01500C 115 MIIC8CE00A 314 VARC11000V 339 BSTF01000G 45 MIIC8CW VARIO4000E 395 CO1M01800A 44 MIIC8CZ00E 238 VASL COIC MIIS00100B 101 VATD COIC MIIS VATD12500X 20 COPM02000B 400 MIMM VATF Totale Tabella 8 - Numero class per scuola (codce meccanografco) Codce scuola Numero class Codce scuola Numero class Codce scuola Numero class BG1E COPS02000A 13 MIMM BG1M01800G 1 CR1E MIMM66900Q 9 BG1M02400V 2 CRMM MIMM67200G 8 BGEE07200R 6 CRMM MIMM BGIC81000B 5 CRPC01000Q 15 MIPC BGIC81400P 8 CRPS01000V 10 MIPC10500T 9 BGIC CRRC01000B 2 MIPC23500E 5 BGIC83500Q 9 CRRC MIPL15500R 2 BGIS00900B 16 LC1M05000X 3 MIPM03000T 6 BGIS01700A 7 LCEE00500E 6 MIPS01500P 2 BGIS LCMM MIPS10000T 17 BGMM LCTD02000X 2 MIPS13000N 2 BGPL04500P 4 LCTD05000Q 17 MIPS BGPM04000T 2 LO1M03000C 2 MIPS BGPS02500P 6 LOMM00700V 4 MIPS BGPS LOMM01600N 1 MIRI04000L 9 BGRC LOPC MISL04500B 3 BGTA LOPS MITD20000E 9 BGTD01500X 1 LOTF02000X 4 MITD BGTD02000B 3 MI1E00554C 2 MITF BGTD MI1E02929Q 1 MITF BGTF MI1E03004Q 3 MITF BGTF04000V 2 MI1E MITF09000E 21 BS1E10502Q 2 MI1E MITF11500N 8 BS1M01000D 2 MI1M06400X 1 MITF14000A 4 BSEE MI1M08000T 4 MITF20000R 8 BSEE MI1M MITF28000N 12 BSEE09300A 8 MI1M PV1M BSIC81300B 8 MIEE03400L 7 PVEE00400E 6 BSIC82400T 6 MIEE11200L 6 VA1M01000D 4 BSMM MIEE19000T 4 VAEE BSMM08900N 4 MIEE33700P 4 VAEE00400P 3 43

44 BSPC01000A 11 MIIC81700R 11 VAEE00600A 4 BSPM MIIC VAIC BSPS05000X 8 MIIC83900N 11 VAIC BSRC02000L 3 MIIC VAMM31000G 11 BSRH02000T 13 MIIC8AF VAPM04500D 4 BSRI01000P 14 MIIC8B700B 2 VAPS01000D 2 BSTD01500C 7 MIIC8CE00A 15 VARC11000V 15 BSTF01000G 2 MIIC8CW003 8 VARIO4000E 21 CO1M01800A 2 MIIC8CZ00E 12 VASL COIC MIIS00100B 4 VATD COIC MIIS VATD12500X 2 COPM02000B 18 MIMM VATF Totale 873 Tabella 9 - Numero student osservat per ordne d scuola Ambto Frequenza Percentuale Elementare ,4 Meda ,3 Superore ,3 Totale ,0 Tabella 10 - Numero student osservat per natura gurdca della scuola Ambto Frequenza Percentuale Scuola statale ,4 Scuola non statale ,6 Totale ,0 Tabella 11 - Numero student osservat per area geografca Ambto Frequenza Percentuale BERGAMO ,3 BRESCIA ,7 BRIANZA ,2 LO-CR ,7 MIL-NO ,7 MIL-SUD ,4 SEMPIONE ,1 Totale ,0 44

45 Tabella 12 - Numero student osservat per genere Ambto Frequenza Percentuale Masch ,8 Femmne ,9 Totale ,7 Mancant 58 0,3 Totale ,0 Tabella 13 - Numero student per classe, per lvello e statale/non statale Lvello Statale/non statale Meda N Devazone std. Elementare statale 19, ,064 non statale 21, ,704 Totale 19, ,067 Meda statale 22, ,453 non statale 22, ,479 Totale 22, ,449 Superore statale 21, ,053 non statale 20, ,775 Totale 21, ,451 Totale statale 21, ,055 non statale 20, ,669 Totale 21, ,275 Tabella 14 - Numero student per classe, per lvello e area Lvello Codce area Meda N Devazone std. Elementare BERGAMO 18, ,488 BRESCIA 19, ,807 BRIANZA 18, ,104 LO-CR 21,50 8 4,811 MIL-NO 21, ,609 MIL-SUD 20, ,805 SEMPIONE 18, ,828 Totale 19, ,067 Meda BERGAMO 23, ,436 BRESCIA 20, ,817 BRIANZA 21, ,517 LO-CR 22, ,845 MIL-NO 21, ,608 MIL-SUD 22, ,268 SEMPIONE 24, ,835 45

46 Totale 22, ,449 Superore BERGAMO 21, ,932 BRESCIA 21, ,623 BRIANZA 21, ,066 LO-CR 21, ,828 MIL-NO 22, ,521 MIL-SUD 19, ,589 SEMPIONE 21, ,175 Totale 21, ,451 Totale BERGAMO 21, ,227 BRESCIA 20, ,268 BRIANZA 21, ,370 LO-CR 21, ,887 MIL-NO 22, ,968 MIL-SUD 20, ,036 SEMPIONE 21, ,942 Totale 21, ,275 46

47 Appendce 2 - Materal analtc su CD-ROM Document Data Codce Denomnazone documento Soggetto fle 17 aprle 1 Lettera d accordo Regone-IReR (solo cartaceo) IReR 5 gugno 2 Relazone sull attvtà d controllo della lsta Invals (Azone IReR A-IReR-01) 26 gugno 3 Incontro gruppo d lavoro (sntes de lavor) ATS 8 luglo 4 Incontro gruppo d lavoro (sntes de lavor) ATS 25 luglo 5 Costtuzone d assocazone temporanea d scopo (ATS) (solo ATS cartaceo) 25 luglo 6 Rpartzone delle attvtà e budget (solo cartaceo) IReR 29 luglo 7 Rsposta Invals a rchesta elench IReR 3 8 Incontro gruppo d lavoro (sntes de lavor) ATS settembre 4 9 Atto d adesone (solo cartaceo) settembre 2 10 Comuncazone avvo progetto (IRRE) IRRE settembre 8 11 Comuncazone d avvo alla Regone(solo cartaceo) IReR settembre 9 12 Busness plan ATS settembre 9 13 Pano d prevsone IReR settembre 9 14 Pano delle attvtà del prmo trmestre IReR settembre Incontro gruppo d lavoro (sntes de lavor) ATS settembre Rchesta d nformazon antmafa settembre Incontro gruppo d lavoro (sntes de lavor) ATS settembre In lnea 3 verson del sto IReR settembre Elenco scuole (ancora n fase d completamento) IRRE-IReR settembre Creazone sto per gl operator e gl nsegnant IRRE settembre Incontro gruppo d lavoro (sntes de lavor) ATS settembre Allegato sntes d lavoro 30 settembre ATS: Azon CRISP CRISP settembre fno al 30 settembre Valore Aggunto:ultma moda o ultma spagga nell oceano CRISP settembre della valutazone? Power-Pont 1* brefng - Gor (Azone B-CRISP-01) Specfcazone della natura della CRISP settembre rcerca: ntroduzone (Azone B-CRISP-01) Istruzone e formazone professonale CRISP settembre fra gestone ammnstratva e pubblco servzo d De Carl 30 settembre 26 (Azone B-CRISP-01) Obettv della rcerca Dalla dfferenza, l equtà - Gor Vttadn Crema Scagloso Vdon CRISP 47

48 30 settembre 27 (Azone B-CRISP-01) Rassegna a lvello nternazonale d altre attvtà d rcerca /spermentazon che abbano ndagato gl stess camp - Gor Vttadn Vdon CRISP 1 ottobre 28 Protocollo per l trasfermento de document CRISP 1 ottobre 29 Crter scelta scuole (Document) codfcato come B-IReR-02 CRISP azone de consulent CRISP 1 ottobre 30 Scheda AeB per nsegnant (Document) CRISP 1 ottobre 31 Scheda C (elaborazone argoment) (Document) CRISP 1 ottobre 32 Brochure pdf per l sto (Document) CRISP 1 ottobre 33 Power pont brochure (Document) CRISP 1 ottobre 34 Power pont Brefng 2 (Document) Gor CRISP 1 ottobre 35 7 fle Excel suddvs per area(document) CRISP 1 ottobre 36 Istruzone complazone scheda C (Document) CRISP 1 ottobre 37 Lettera a presd per autorzzazone dat (Document) IRRE 1 ottobre 38 Lettera prvacy (Document) IRRE 8 ottobre 39 Incontro gruppo d lavoro (sntes de lavor) ATS 15 ottobre 40 Incontro gruppo d lavoro (sntes de lavor) ATS 23 ottobre 41 Incontro gruppo d lavoro (sntes de lavor) ATS 23 ottobre 42 Allegato ncontro gruppo d lavoro 4 novembre 43 Progettazone dell archvo ammnstratvo de materal (Azone B-IReR-01) della rcerca prodott da partner dell ATS IReR 5 44 Incontro gruppo d lavoro (sntes de lavor) ATS novembre Progetto esecutvo IRRE (Azone B-IRRE-01) IRRE novembre Progetto esecutvo CRISP CRISP novembre Pubblcazone sto nternet uffcale IReR novembre Rchesta a Invals de dat relatv a rsultat delle prove IReR novembre Incontro gruppo d lavoro (sntes de lavor) ATS dcembre Allegato ncontro gruppo d lavoro ATS:Azon Crsp al 12 CRISP dcembre dcembre Elenco scuole (modfcato fno al 5 febbrao) (Azone D- IReR dcembre IReR-01) Scheda d avanzamento del secondo trmestre (Document) IReR dcembre CD Rom con prove PP2 IReR gennao Nota su codc assegnat IReR gennao Attvtà d creazone lste student 2003/2004 (Azone D- IReR gennao IReR-01) 2 febbrao 56 Elenco student (modfcato fno al 25 febbrao) (Azone D- IReR IRer-02) 2 febbrao 57 La Item Response Theory e l modello d Rasch per la CRISP msurazone delle varabl latent Gor Plazz 2 febbrao 58 Dfferental Item Functonng - Gor - Euseb CRISP 6 febbrao 59 Incontro gruppo d lavoro (sntes de lavor) ATS 6 febbrao 60 Allegato ncontro gruppo d lavoro ATS:Azon Crsp al 6 CRISP Codc per le tpologe delle scuole (Azone E-Crsp-05) CRISP 48

49 febbrao Consegna della codfca codce e tpologa delle scuole (mal CRISP febbrao consegna codc tpologa test) Questonaro studente CRISP febbrao Scheda nsegnante CRISP febbrao Scheda rsposte CRISP febbrao 10 marzo 66 Invo stato d avanzamento del progetto a DG F.I. e Lavoro IReR (solo cartaceo) 9 marzo 67 Lettera d nvto a semnar del marzo CRISP 68 Una scuola che funzona d D. Vdon e CRISP D.Notarbartolo,Armando Edtore Semnar per sommnstrator CRISP 23 marzo 29 marzo 70 Indcazon per la sommnstrazone (Azone F-Crsp-03) CRISP 31 marzo 71 Presentazone alle scuole d Power Pont semnar marzo CRISP Gor 29 aprle 72 Incontro gruppo d lavoro (sntes de lavor) ATS 29 aprle 73 Allegato all ncontro gruppo d lavoro ATS:Azon Crsp al CRISP 29 aprle maggo 74 Valutazone dell effcaca dell struzone e mgloramento CRISP della scuola: nuove prospettve della rcerca nternazonale (Azone E-Crsp-01) d Power Pont - Gor Chav de test CRISP maggo Artcol d bblografa da nserre nel sto IReR (da Gor) CRISP maggo 18 maggo 77 Combnazone anals d Rasch e modell d crescta. (Azone B-Crsp-03) Svluppo d una metodologa d applcazone del valore aggunto - Gor-Vttadn-Vdon CRISP 78 Relazone su Lavoro d stampa e d correzone delle prove IReR (Azone G-IReR-01/09) 79 Elenco de correttor d stora CRISP 18 maggo 25 maggo Istruzon per la correzone delle prove d stora (F-CRISP-03) CRISP maggo Relazon de correttor delle prove d stora CRISP gugno Fle del pretest CRISP gugno 9 gugno 83 Sntes d anals de test CRISP 9 gugno 84 Protocollo Pretest CRISP 9 gugno 85 Multfacet Power Pont CRISP 9 gugno 86 Aspett teorc e metodologc per la costruzone d Accountablty dell struzone Gor 9 gugno 87 Msure oggettve e valutazone della qualtà della scuola: nuove prospettve d rcerca - Power Pont - Gor 18 gugno 88 Bblografa sugl tem 18 gugno 89 Regole per la preparazone d Test a Rsposta multpla power pont CRISP CRISP CRISP 18 gugno 90 Pretest prospetto class per tpologa CRISP 49

50 18 gugno 91 Protocollo per la preparazone delle buste prove IReR 18 gugno 92 Verbal per gl ncontr per la preparazone de test e de CRISP pretest (Azone E-CRISP gugno 93 Allegat Azone E-CRISP-02-04, Pretest CRISP 18 gugno 94 Istruzone per la sommnstrazone de pretest CRISP 18 gugno 95 Parzal est e valdazon de pretest CRISP 18 gugno 96 Stora nformazon fnal sulle scuole mancant CRISP 18 gugno 97 Note del gruppo sulla preparazone degl tem CRISP 1 marzo Fle test defntvo, fle test stora 22 gugno 99 Incontro gruppo d lavoro (sntes de lavor) ATS 22 gugno 100 Allegato ncontro gruppo d lavoro ATS: Azon Crsp al 22 CRISP gugno gugno 101 Verbal per gl ncontr per la preparazone de test (Azone E- CRISP CRISP gugno 102 Allegat Azone E-CRISP-05-06, Predsposzone de test CRISP defntv 28 gugno 103 Lettera alle scuole sullo stato della rcerca IRRE 29 gugno 104 Relazone su scansone prove chuse, breve questonaro IReR (Azone J-IReR-01) 29 gugno 105 Fle dat matematca (Azone J-IReR-01) IReR 29 gugno 106 Fle dat talano (Azone J-IReR-01) IReR 29 gugno 107 Economa dell struzone De Carl2 7 luglo 108 Nota sntes relazon 7 luglo 109 Relazone fnale A- IReR IReR 7 luglo 110 Relazone fnale B IReR IReR 7 luglo 111 Relazone fnale C- IReR IReR 7 luglo 112 Relazone fnale D- IReR IReR 7 luglo 113 Relazone fnale G- IReR IReR 7 luglo 114 Relazone fnale H- IReR IReR 7 luglo 115 Relazone fnale J- IReR IReR 7 luglo 116 Assentesmo student IReR 14 luglo 117 Defnzone dell'utlzzo de rsultat (Azone B-CRISP-08) CRISP 14 luglo 118 Recent evdenze sugl effett de sstem d verfca CRISP (Azone B-CRISP-08) Hanushek Raymond 14 luglo 119 Scelta correttor prove d stora (tabella con codc) CRISP 14 luglo 120 Valutazon correttor d stora CRISP Incontro gruppo d lavoro ATS settembre Programma convegno 16 settembre IReR settembre Sldes d presentazone provvsora de rsultat fnal - Gor CRISP settembre Comuncazone alle scuole IRRE settembre 30 settembre 125 Data base MISURE CRISP 50

51 Captolo 3 Le msure del valore aggunto d Enrco Gor, Gorgo Plazz, Paolo Euseb, Danela Notarbartolo 3.1 Premessa Autonoma e Valutazone costtuscono orma un bnomo nscndble nel mondo della Scuola. Questo è vero un po per tutt paes, al d là delle dfferenze negl assett sttuzonal che caratterzzano sstem d struzone. Queste dfferenze rguardano essenzalmente l dverso grado d ngerenza dello Stato n alcun aspett fondamental che caratterzzano l struzone 2 : a) Lbertà d scelta; b) Obettv formatv (cosa le Famgle e soggett socal desderano per govan); c) Temp e tass d crescta (a che età s entra a scuola e quale è l rapporto tra temp e contenut) d) Strument (currcula, percors formatv, lbr d testo, nsegnant ecc.); e) Standard fnal (n termn d CC conoscenze, competenze e abltà, acquste); f) Sstema d segnalazone all esterno del lvello d tal CC. L ngerenza dello Stato è gustfcata sulla base d due element: 1. Obettv Socal: lo Stato deve avere la necessara attenzone per l raggungmento d cert obettv d nteresse comune (alfabetzzazone d base, creazone d captale umano adeguato al mondo del lavoro, equtà socale); 2. Asmmetra Informatva: ndpendentemente dalla presenza/assenza d obettv d nteresse generale la produzone d Servz alla Persona come l Istruzone, è caratterzzata da asmmetra nformatva 3, che lo Stato dovrebbe cercare d rmuovere, n quanto alla base delle neffcenze nel sstema d struzone e pù n generale a lvello economco e socale. Nel caso specfco dell Istruzone l Asmmetra Informatva s sostanza:. nella dffcoltà per l Cttadno/Utente e per lo Stato d ndvduare la qualtà delle scuole e degl nsegnant, n un regme d 2 Servzo che ha conseguenze fondamental sull ndvduo e sulla socetà poché, oltre che soddsfare esgenze d Consumo delle famgle, è anche alla base della creazone del Captale Umano. 3 Ved Moramarco (1999) e Gor e Vttadn (1999). 51

52 produzone ampamente caratterzzato da una relazone Prncpale Agente;. nella dffcoltà per Dator d lavoro d dsporre d nformazon sul lvello del Captale Umano degl asprant lavorator n uscta dal sstema d struzone;. nella dffcoltà per gl Insegnant de grad successv d capre l lvello d CC possedute dal ragazzo. In Itala la crescente attenzone per Autonoma e Valutazone s accompagna alle seguent trasformazon nell ngerenza dello Stato: a) Lbertà d scelta: s rconosce l ruolo delle scuole prvate (legge sulla Partà), s favorsce la partecpazone de gentor nelle scuole, s dà alle scuole e alle famgle la possbltà d sceglere propr obettv formatv; b) Obettv formatv: da quell della rforma Gentle s passa a quell delle raccomandazon d Lsbona 4 ; c) Temp e tass d crescta: vene ntrodotta una maggore flessbltà agl estrem del processo 5 per quanto rguarda età d entrata ed uscta, noltre vene rpensato l rapporto temp/contenut passando da obettv annual ad obettv bennal; d) Strument: scompare (almeno n teora) l currculum (come sequenzaltà d argoment attraverso cu svolgere la formazone dscplnare) lascando l posto ad obettv bennal, noltre l ntroduzone dell Autonoma fa sì che ogn scuola sa lbera d sceglere la strada che rtene pù opportuna ed effcace; e) Standard fnal: lo Stato contnua a fssare lvell d conoscenze, competenze e abltà, che s presuppone ogn studente debba avere acqusto alla fne d cascun benno e perodo formatvo; f) Sstema d segnalazone all esterno del lvello d tal CC: da un esame d maturtà, caratterzzato da Commsson Esterne 6, s passa ad un Esame d maturtà tutto nterno, noltre vene rbadto l concetto che la valutazone nel corso dell anno e alla fne de dvers perod ddattc è affdata agl nsegnant ntern, la qual cosa non rsolve l problema dell nformazone per gl nsegnant successv ma lo complca. 4 Il Consglo d Europa ha ndcato come competenze chave («key competences») da svluppare nell ambto dell Obettvo strategco 1: Lettura, scrttura e calcolo; Competenze d base n matematca, scenze e tecnologa; Lngue stranere; Competenze nel settore delle TIC e uso della tecnologa; Apprendere ad apprendere; Competenze socal; Sprto d mpresa Cultura generale. 5 A che età s entra e a che età s esce (dall unverstà s può uscre con età dverse n relazone a credt acqust). 6 Che le rcerche dell INVALSI hanno mostrato essere non prvo d dstorson e soggettvtà nell assegnazone de puntegg fnal. 52

53 In termn de due element evdenzat che gustfcano l ngerenza dello Stato: 1. Obettv Socal: l nteresse comune vene tutelato e defnto. attraverso la crescta dell obblgo scolastco,. la focalzzazone su ben determnat e lmtat obettv (quell della EU),. l rconoscmento che Lbertà d scelta da parte delle Famgle è un bene d per sé oltre che un drtto, v. l affermazone che l Autonoma ne Process 7 può essere un bene per l mgloramento del sstema a patto che venga accompagnata da un controllo de rsultat (negl obettv.) adeguato; 2. Asmmetra nformatva:. contnua a persstere la dffcoltà per l Cttadno/Utente d ndvduare la qualtà de dvers agent (scuole/nsegnant);. la dffcoltà per Dator d lavoro d avere nformazon sul lvello del Captale Umano degl asprant Lavorator n uscta dal sstema d struzone aumenta n relazone alle trasformazon ntrodotte;. aumenta o permane la dffcoltà per gl nsegnant de grad successv d capre l lvello d CC possedute dal ragazzo. Pertanto per l prmo aspetto (Obettv Socal) la stuazone mglora, mentre peggora sotto l secondo (Asmmetra Informatva). Parlare d Valutazone ogg sgnfca essenzalmente defnre requst e le forme d un sstema nformatvo capace d rendere conto de rsultat ottenut alle Famgle e allo Stato, d segnalare all attenzone delle scuole, nell ambto del loro processo d Autovalutazone, element d conoscenza n grado d ndrzzarne obettv e process al fne dello del peno svluppo delle potenzaltà ndvdual e, n prospettva, d segnalare l valore del captale umano conseguto attraverso l struzone al mondo delle mprese. 3.2 Introduzone: concett present nel dbattto scolastco V sono alcun concett che serpeggano da tempo nel mondo della scuola. Sono quell dell Effcenza, Effcaca, Eccellenza ed Equtà. Quest s accompagnano a quell d Autonoma e Valutazone. Quest concett vengono usat nel dbattto d ogn gorno, con pù o meno enfas, da questo o quel rcercatore e da questa o quella parte poltca che spesso ne accentua qualcuno a scapto degl altr con grave danno all untaretà del problema che, n ultma anals, è quello del mglore uso possble delle scarse rsorse a dsposzone per garantre uno svluppo adeguato ed equlbrato degl ndvdu e della socetà attraverso 7 Indpendentemente dal tpo d propretà e gestone (pubblca o prvata) de mezz d produzone del servzo (aule, nsegnant ecc.) 53

54 l struzone e per mezzo della scuola. Spesso, nfatt, la maggore accentuazone d alcun n contrapposzone ad altr genera luogh comun e preconcett che mpedscono una serena consderazone delle vere queston n goco: ad esempo, parlare d effcenza ed eccellenza è spesso assocato ad un atteggamento d destra, mentre l concetto d equtà sarebbe pù d snstra. Il concetto d effcaca appare nvece meno poltcamente segnato poché sarebbe stupdo non rconoscere che un metodo d nsegnamento effcace è mglore d uno neffcace, a prescndere dal colore poltco d ch ne fa uso. Cerchamo pertanto d defnre a somm cap tal concett, da un punto d vsta ntutvo e con rfermento alle queston dell struzone e della scuola, al fne d svluppare attorno a quest concett una rflessone crtca e a tutto campo. Effcenza L effcenza rnva al problema dell uso corretto d rsorse scarse. La scarstà delle rsorse a dsposzone ha da sempre affltto l umantà: un uso mproduttvo delle rsorse s confgura come uno spreco che sarebbe opportuno evtare. Quante volte c sarà captato d effettuare un acqusto che po s è rvelato nutle, o d mpegare l nostro tempo n manera nadeguata rspetto a nostr fn. Allo stesso modo può captare che gl organsm costtut da pù ndvdu (azende, assocazon, stato ecc.) mpeghno rsorse n manera non ottmale rspetto alle loro fnaltà. Qu è mportante sottolneare che se l effcenza è correttezza dell uso delle rsorse, un gudzo sulla correttezza rchede n prmo luogo la charezza delle fnaltà per le qual le rsorse stesse vengono utlzzate e dstolte da altr us. Poché nel caso dell struzone le fnaltà sono molteplc, può captare che non v sa comprensone tra le part nteressate: n rapporto a certe fnaltà, nfatt, alcun potrebbero rtenere (a ragone) che l uso delle rsorse sa corretto, ma tale uso potrebbe non essere corretto n rapporto a fnaltà rtenute pù mportant da altr. In tal stuazon la questone dell effcenza può essere rsolta solo per approssmazon successve: ad esempo ndvduando poch obettv su cu s possa trovare un vasto consenso e concentrando l attenzone sull uso corretto delle rsorse n rapporto ad ess. Effcaca L effcaca rnva al problema d ndvduare se un certo modo d operare possa ottenere, a partà d rsorse mpegate, rsultat mglor n rapporto agl obettv dell attvtà posta n essere: come nel caso d un nuovo trattamento farmacologco capace d ottenere mglorament della salute superor a quell che s possono ottenere con un veccho farmaco d par costo. Nell struzone, supposto ad esempo che gl apprendment sano uno degl obettv su qual s possa raccoglere un ampo consenso, l effcaca d un metodo d nsegnamento rspetto ad un altro, o d un docente rspetto ad un altro, o d una organzzazone del processo educatvo rspetto ad un altro, sono tutt aspett che hanno a che fare con l effcaca. L effcaca, a dfferenza dell effcenza che guarda all ammontare delle rsorse n rapporto a rsultat, ha qund pù a che fare con la qualtà e le dverse tpologe d fattor produttv e d process che, attraverso le rsorse, possono essere mobltat per lo scopo. 54

55 Eccellenza L eccellenza rguarda l lvello (pù o meno elevato) de rsultat che vengono raggunt con le rsorse mpegate e con la data qualtà d fattor produttv utlzzat: qu bsogna dstnguere però tra l lvello raggunto da sngol ndvdu ne confront de qual s attua l processo d struzone ed l lvello raggunto dalla socetà d cu gl ndvdu fanno parte che, per semplctà, potremmo dentfcare con la meda de lvell de sngol ndvdu. Per fssare le dee, se l obettvo fondamentale dell struzone fosse l apprendmento (n termn d conoscenze, competenze ed abltà), l lvello d apprendmento d cascun studente msura l grado d eccellenza raggunto, mentre la loro meda costtusce l grado d eccellenza per la socetà d cu fanno parte. Ovvamente l eccellenza rnva alla necesstà d raggungere lvell l pù possble elevat n rapporto all obettvo (ad esempo conoscenze, competenze ed abltà). Dre che l paese X ha ottenuto mglor rsultat n una data dscplna sgnfca che quel paese eccelle nell obettvo dello svluppo degl apprendment n quella dscplna e che molto probablmente, nella popolazone d ndvdu a cu tale meda s rfersce, v sono molt che presentano elevat lvell d conoscenza-competenza-abltà. Equtà L equtà è un aspetto che presenta una molteplctà d sfaccettature tale per cu non è facle dare una defnzone unvoca. Inoltre, poché l struzone è un processo che modfca le condzon degl ndvdu nel tempo, l equtà è un concetto che va nquadrato nella sua evoluzone temporale lungo tutto l arco della vta. Per venre a capo della questone occorre andare per grad. Se tutt gl ndvdu fossero n partenza ugual e s comportassero esattamente nello stesso modo durante l loro percorso formatvo, l equtà potrebbe essere vsta come l eguaglanza ne punt d arrvo. Tuttava gl ndvdu dfferscono tra loro per punt d partenza e le ragon possono essere dverse: l estrazone socale, le condzon rspetto ad eventual handcap psco-fsc, l ndole ed l talento naturale che caratterzza cascuno. Durante l loro percorso gl ndvdu ncontrano condzon educatve pù o meno favorevol (un ambente scolastco pù stmolante o meno stmolante, un nsegnante capace d farl crescere pù o meno velocemente ecc.). Alcun s perdono per la strada e abbandonano l processo educatvo, altr raggungono nvece lvell d eccellenza elevat e cò determna una sempre maggore dverstà, che a volte può essere anche superore alla dverstà nelle condzon d partenza. Per effetto d tutto cò le condzon d arrvo (ad esempo all età d 30 ann) possono essere dsegual e tutte le socetà moderne s pongono l obbettvo d rdurre l lvello d tale dsuguaglanza. Qu però, la dnamctà del processo mpone qualche ulterore rflessone su mezz che possono essere usat effcacemente per rdurre tale dsuguaglanza, nfatt stanzare borse d studo per l accesso all unverstà se da un lato può autare prv d mezz con dploma medo superore, dall altro non può far nulla per coloro che abbano abbandonato gl stud prma della conclusone della scuola secondara. Spesso tale abbandono è frutto d scars lvell raggunt nella scuola prmara che, a loro volta, possono dpendere dalle condzon soco-economche e 55

56 cultural della famgla d orgne. Una poltca mrata al raggungmento dell equtà ne punt d arrvo, poché l struzone è un processo dnamco, non può esmers dall affrontare la questone dell equtà ne punt d partenza, attraverso adeguat ntervent fn da prm ann d vta. Ma, propro perché l processo è dnamco, non basta cercare d rdurre le dverstà ne punt d partenza, ma è necessaro che la socetà (la scuola) sa n grado d montorare lo svluppo d cascuno n modo da correre a rpar allorquando s manfest un rtardo tale da far presagre rsch d nsuccesso e d dropout scolastco che, nevtablmente, comporterebbero, oltre ad un aumento delle dsuguaglanze, anche l nutltà ed neffcaca (comunque una mnore utltà ed effcaca) degl ntervent successv (tpo le borse d studo per l accesso all unverstà). Il nesso tra le quattro E E forse propro con rfermento alla questone dell equtà che s cogle meglo l nesso tra le quattro E con cu la scuola s trova ad avere a che fare. Infatt, se le rsorse fossero llmtate s potrebbe pensare a poltche d equalzzazone del reddto che ponessero, almeno da quel punto d vsta, n condzon ugual tutt bambn. Resterebbero tuttava le dfferenze ne lvell cultural delle famgle d orgne che, forse, potrebbero essere rdotte con poltche d formazone de gentor, le qual tuttava oltre a rchedere ulteror rsorse, non è certo che possano avere gl effett sperat: è dffcle (n effett è mpossble) colmare le dfferenze cultural tra un gentore laureato ed uno con la sola lcenza elementare. D fatto, poché le rsorse sono lmtate, sarebbe necessaro sceglere quanto nvestre ne prm ann d vta per rdurre le dfferenze nelle condzon d partenza e soprattutto qual azon ntraprendere con tal rsorse. E qu s apre la questone dell effcaca delle dverse poltche: è meglo nvestre nella formazone de gentor o fornre alle famgle pù svantaggate l opportuntà d mandare propr fgl n età precoce a scuole materne n grado d sopperre alle carenze cultural delle famgle d provenenza? Sccome s è detto l attenzone allo svluppo de ragazz deve essere contnuo, sarebbe necessaro capre cosa fare per recuperare eventual dslvell che s manfestassero durante l percorso scolastco successvo alla scuola materna, noltre s porrebbe la delcata questone se gl aut dovrebbero rguardare solo bambn che provengano da famgle svantaggate o puttosto non debbano essere estes a tutt ndpendentemente dal reddto e dall estrazone socale della famgla d provenenza: se le colpe de padr non possono rcadere su fgl perché condannare all nsuccesso un bambno solo perché la sua famgla è partcolarmente agata? Una scuola attenta allo svluppo de propr student non dovrebbe avere dffcoltà a prenders cura d tutt. Indstntamente. Una soluzone a quest problem può consstere nel rchedere alla scuola che tutt ragazz, ne dvers lvell, raggungano degl standard mnm d svluppo tal da garantrne l successo ne futur grad d struzone e nel mondo del lavoro. Tal standard non possono consstere semplcemente nel garantre a tutt l pezzo d carta (lcenza, dploma, maturtà, laurea) a costo d svuotare d sostanza tal traguard, ma devono concretamente rguardare l raggungmento d lvell d svluppo (delle conoscenze - competenze ed abltà) mnm, attraverso una 56

57 mglore organzzazone della scuola e un mpego effcace delle rsorse scarse per venre ncontro alle dffcoltà d svluppo de pù bsognos, ndpendentemente dalle condzon d partenza. Tra le quattro E tuttava è necessaro fare una dstnzone molto netta tra mezz e fn: l effcenza e l effcaca non hanno d per sé una valenza assoluta, ma solo n relazone alle fnaltà che s desderano raggungere; eccellenza ed equtà costtuscono nvece de fn da raggungere, qualunque sano gl obettv che s assegnano all struzone e alle scuole. 3.3 Le fnaltà dell struzone Come è gà stato sottolneato, l accordo sugl obettv è d fondamentale mportanza. Tale accordo s costrusce attraverso l ndvduazone d tutt gl obettv potenzal e attraverso una precsa ndcazone delle prortà. Scheerens (1999, 2000) rleva che nella scuola gl obettv possono essere defnt n termn d rsultat cogntv e non cogntv ottenut dagl student alla fne del perodo scolastco (o altra untà d tempo adeguata). Per esempo l grado d conoscenza acqusto n determnate dscplne fondamental, o l abltà nel rsolvere problem d complesstà elevata, sono esemp d obettv d tpo cogntvo. Cheng (1996) llustra dfferent categore d obettv educatv con rfermento a dverse funzon della scuola (tecnca, economca ed educatva); Dolton (2002) ne ha d recente rchamato una pluraltà 8 : 1. svluppare ne govan adeguate conoscenze umanstco - letterare e scentfco-matematche; 2. promuovere la loro crescta fsca ed emotva; 3. prepararl al lavoro; 4. nsegnare loro ad ammnstrare la propra salute e le rsorse materal; 5. prepararl alla partecpazone socale e poltca; 6. autare pù svantaggat a superare lmt economc, cultural e socal delle famgle d provenenza; 7. offrre un ambente lbero dalla droga e dalla volenza. Anche l UE ha enuncato, nell ambto de document scaturt dall ncontro d Lsbona 9, alcun obettv che n gran parte rcalcano quell d Dolton, con qualche ulterore specfcazone per quanto rguarda quell cogntv d base - nell ambto d dscplne fondamental (matematca, lngua madre, lngue stranere, ICT ecc.) ma anche d competenze d ordne pù complesso (appendere ad apprendere, capactà mprendtorale ecc.). Quello che accomuna tutt quest obettv è l fatto che ess comportano degl effett su govan (e su meno govan nel caso dell educazone degl adult), ma anche sull ntera socetà. Per questo s parla dell struzone come d un servzo d pubblca utltà alla persona 10. Presa 8 Cfr. Dolton P. (2002) Improvng Educaton Qualty: How Best to Evaluate Our Schools? A Dscusson. 9 Cfr. Councl of Europe - Communcatons (2002). 10 Questa peculartà gustfca l attenzone da parte de govern che hanno mplementato sstem d Accountablty tes a verfcare lo stato del sstema ed ndvduare strument per mglorarne le performance, possblmente contenendone cost. 57

58 coscenza, dunque, della molteplctà d obettv che caratterzzano la scuola, al momento, quell cogntv costtuscono forse quell pù mportant, almeno secondo le ndcazon de govern e dell Unone Europea. Prma d affrontare l problema dell effcenza, effcaca, eccellenza ed equtà nel loro raggungmento è opportuno rflettere sulla portata d tale lmtazone. La fgura 1 rappresenta schematcamente l sstema d struzone nel suo complesso. Come s può vedere rquadr a destra mettono n evdenza che rsultat (obbettv) educatv, n termn d accesso, lvello raggunto e apprendmento sono n relazone dretta con rsultat economc a lvello ndvduale e socale: stato occupazonale, reddto, mobltà socale. Illustreremo questo nesso con alcun esemp tratt dalla rcerca sul captale umano (cfr. Gor, 2004). Fg. 1 Il sstema d struzone Fattor macrosttuzonal Condzon nazonal Assett sttuzonal Influss d carattere globale Domanda Offerta Famgla Stato soco-ecoculturale Struttura Scuola Input Process Organzzazone Comuntà Rsultat educatv Accesso Lvello Apprendmento (competenze-conoscenze) Rsultat economc Stato occupazonale Reddto Struttura Mobltà socale Rsorse La fgura 2 rporta la relazone osservable tra lvello d struzone raggunto e probabltà d occupazone ( dat s rferscono al Canada ma n ogn paese è possble osservare un andamento pù o meno smle). Come s rleva all aumentare del grado d struzone raggunto aumenta la probabltà d occupazone, e questo è vero n partcolare per le femmne che, attraverso l struzone rescono a rdurre l loro svantaggo relatvo rspetto a masch, evdenzando come l struzone costtusca una potente leva per l raggungmento della partà (equtà) tra sess. Nella fgura 3 è evdenzato noltre l nesso tra salar e lvello d struzone: pù elevato l lvello maggore l salaro. 58

59 Fg. 2 Il nesso tra lvello d struzone e occupazone Femmne Quota d occupat Canada 2000 Masch Total Total Grd 0-8 Some HS HS Grad Some PS Cert Bach M.A./Ph.D Grd 0-8 Some HS HS Grad Some PS Cert Bach M.A./Ph.D Fg. 3 Il nesso tra lvello d struzone e salaro Femmne Salaro oraro Canada 2000 Masch Total Total Grd 0-8 Grd 0-8 Some HS Some HS HS Grad HS Grad Some PS Some PS Cert Cert Bach Bach M.A./Ph.D M.A./Ph.D 0.0 Grd 0-8 Some HS HS Grad Some PS Cert Bach M.A./Ph.D Qu s pone la domanda se sa l pezzo d carta (dploma, laurea ecc.) a consentre quest rsultat oppure sa qualcosa d altro. La rsposta vene n parte dalle fgure 4 e 5. La fgura 4 evdenza l nesso tra la % d govan n età

60 scrtt alla scuola secondara (n rapporto alla popolazone 15-19) e l voto medo n matematca conseguto nelle ndagn nternazonal TIMSS all ottavo anno d struzone, ovvero a 13 ann per l Itala (prmo grafco n alto a snstra): come s vede all aumentare del voto medo conseguto a 13 ann dagl student de paes consderat aumenta la probabltà d essere scrtt alla scuola secondara. Una relazone analoga esste tra lvell d apprendmento alla scuola secondara e la probabltà d accesso e d successo all unverstà. Ovvamente anche l reddto nflusce sa su rsultat consegut (evdenzando l nesso tra condzon famlar e rsultat scolastc rappresentato nel quadro centrale della fgura 1) che sulla probabltà d accesso all struzone secondara, ma l modello d regressone tra tale probabltà da un lato, ed l reddto e l lvello d apprendmento n matematca a 13 ann evdenza che l ruolo d queste due varabl è partetco: n sostanza è possble sopperre a carenze d reddto con pù elevat lvell d conoscenza. Fg. 4 Relazone tra % d govan n età scrtt alla scuola secondara e alcune varabl sgnfcatve (ann ) % scrtt % scrtt Voto n matematca 13 ann Reddto procapte Voto n mat. 13 ann Reddto procapte Rsultat della regressone multpla Varabl logt(p15-19) Costante (0.122) std(math 8th 1999) (0.175) std(ln(gn ppp)) (0.140) R loglke n. osservazon 21 Voto n mat. 8^ grado: fonte TIMSS Reddto procapte: fonte Unesco % student su pop. In età: fonte Unesco La fgura 5 evdenza noltre l nesso tra lvell d apprendmento n matematca e stpend negl USA: maggor lvell d apprendmento s accompagnano a salar pù elevat. 60

61 Fg. 5 Relazone tra stpend e lvell d apprendmento n matematca (ann ) Stpend med n rapporto a lvell d conoscenza della matematca $45,000 $40,000 $35,000 $30,000 $25,000 $20,000 age age age age Stpendo con voto par alla 1.0 s.d. reform meda + 1 sgma Stpendo d coloro che hanno conseguto un voto par alla meda Il fatto che n un dato paese queste relazon non sano così fort può sgnfcare due cose: o che meccansm n essere nel mercato del lavoro non sono n grado d rconoscere l valore del ttolo d studo e del lvello degl apprendment (ad esempo se le raccomandazon hanno un effetto superore al valore dell ndvduo n termn d apprendment), oppure che ttol d stud rlascat non hanno un effettvo valore. Una bassa correlazone tra rsultat scolatc e rsultat estern può anche dervare dal fatto che le valutazon espresse sono affette da elevat grad d errore, n questo senso non è un caso che le correlazon pù fort s rlevno propro n que paes che presentano sstem d valutazone degl student d tpo standardzzato. In tutt cas s tratta d dstorson che devono essere rmosse. Queste evdenze sottolneano tuttava la vsone che l struzone è un processo dnamco come afferma l premo Nobel Heckman (2003). Il suo lvello ad un determnato stante nflusce sulle possbltà d successo nel mondo del lavoro, ma anche sulla possbltà d acquszone d ulteror conoscenze - competenze e abltà, ad esempo, n un lvello d struzone successvo. In questo senso gl obettv dell accesso e della possbltà d raggungmento d elevat lvell d struzone per tutt sono n un certo senso subordnat al raggungmento d determnat lvell d conoscenza ne lvell d struzone precedent. Per questo concentrare l attenzone su lvell d conoscenza è prortaro poché pregudzale al raggungmento d lvell d studo pù elevat a meno che non s facca una scellerata poltca che prvleg l pezzo d carta pù che la sostanza delle conoscenze competenze e abltà che tale pezzo d carta dovrebbe certfcare. 61

62 3.4 La crescta della conoscenza Tutto cò porta a sottolneare che quello che veramente conta è l fatto d garantre a tutt la possbltà d svluppare nel tempo conoscenze, competenze ed abltà sostanzal. La fgura 1 evdenza che su tale crescta nfluscono essenzalmente quattro fattor: l assetto sttuzonale secondo cu è organzzato l sstema d struzone; la famgla la scuola l contesto locale. Da recent anals de dat raccolt attraverso le ndagn nternazonal (TIMSS, OCSE e NAEP) l assetto sttuzonale de sstem educatv (forme d drezone e controllo, grado d autonoma delle scuole, ruolo delle famgle e delle organzzazon sndacal, sstem d valutazone del proftto degl student e valutazone d sstema, ecc..) emerge come uno de fattor rlevant a fn del mgloramento della qualtà dell struzone msurata attraverso lvell d conoscenze competenze e abltà (CC) raggunt dagl student. La rcerca su fattor che nfluscono sulle CC degl student è assa vasta e spaza dal campo della School Effectveness (che s è svluppata sull onda delle polcy basate sull Accountablty ovvero Valutazone d sstema), a quello della School Improvement (fnalzzat all autovalutazone e mgloramento della scuola) 11, ma l ruolo de fattor sttuzonal è stato ndagato solo d recente. Il punto d partenza n questo senso è rappresentato dalle anals d Woessmann (2001) su dat dervant dalle rcerche nternazonal (TIMSS e PISA) sull apprendmento degl student nell ambto delle CC tpo dscplnare (matematca, scenze, capactà lngustche). Successvamente Bshop e Woessmann (2002) hanno nquadrato l problema nel contesto della teora economca del prncpale-agente 12, fornendo un supporto teorco per l nterpretazone n termn d causa effetto delle correlazon emprche osservate tra aspett e caratterstche degl assett sttuzonal, da un lato, e lvello degl apprendment, dall altro. La sntes de loro rsultat è rportata nella tabella 1. Nel caso specfco dell Itala, la maggoranza de fattor sttuzonal evdenzat come rlevant presenta un assetto opposto a quello che sarebbe opportuno 13 per favorre lo svluppo de lvell d apprendmento. 11 Per una rassegna s veda Gor (2003). 12 Cfr. su questo punto anche Gor e Vttadn (1999). 13 Ad esempo come la presenza d esam centralzzat che, d recente, sono passat d fatto nelle man delle commsson nterne; l nfluenza de sndacat e degl nsegnant sul carco d lavoro e sulle decson organzzatve; la scarsa presenza del settore prvato. 62

63 Tab. 1 Fattor sttuzonal che possono nflure sul lvello degl apprendment nell ambto delle conoscenze (matematca, scenze, capactà lngustche) (da Bshop e Woessmann, 2002) Fattor sttuzonal Tpo d effetto(*) Central examnatons + Centralzaton of standard and control decsons + School autonomy on budget School autonomy n process and personnel decsons + Intermedate admnstraton (relatve to local/central) (+) Teachers' nfluence on teachng methods + Teachers' scrutny of student assessment + Teachers' nfluence on work-load Teacher unons' nfluence Parents' nfluence + Prvate schools + (*) + = l fattore n questone tende ad accrescere le CC, = l fattore n questone tende a rdurre le CC Una componente relatvamente nuova dell assetto sttuzonale de sstem educatv è costtuta dall Accountablty (Valutazone d Sstema) (cfr. Gor, 2003). Non molt paes hanno mplementato ancora questa componente. Per tale ragone gl stud nternazonal TIMSS e OCSE non consentono ancora d valutarne gl effett, ma l lavoro d Hanushek e Raymond (2002), basato su evdenze raccolte negl Stat Unt, mostra che l ntroduzone d sstem d Accountablty che pongono al loro centro la valutazone degl apprendment nelle dscplne fondamental possono portare a un sgnfcatvo e reale mgloramento nella qualtà dell struzone. Un rsultato che, all opposto, poltche d aumento delle rsorse (come la rduzone del numero d student per classe) non hanno mostrato d potere ottenere con certezza fno ad ogg. Stud sntetzzat da Hanushek (2001) hanno dmostrato nfatt la mancanza d una relazone sstematca tra rsorse e performance degl student negl USA, ne paes n va d svluppo e negl altr paes del mondo 14. Una vasta letteratura sulla relazone tra rsorse e rsultat dmostra noltre che, ad ogn lvello d spesa, un ulterore ncremento della stessa non porta generalmente a un aumento delle performance scolastche degl student. Come osserva Hanushek (2003) t's not entrely surprsng that we don't see student performance gong up when we spend more, because none of our polces and organzaton n schools pays attenton to output or performance. L autore, dopo lungh ann d stud ed esperenze, è gunto alla conclusone che l aspetto pù mportante per gl apprendment è costtuto dagl nsegnant e, soprattutto, dalla qualtà degl nsegnant. 14 Performance che nvece sono correlate con tass d svluppo economco (cfr. Hanushek e Km, 1995) e pertanto sono da consderare msure d captale umano pù adeguate rspetto alla teora economca dello svluppo. Ma se l lvello degl apprendment è una msura d captale umano, se non esste relazone tra rsorse mpegnate nell struzone e apprendment è comprensble come per questo sa stata abbandonata la strada d msurare l captale umano attraverso le rsorse mpegate nell struzone (Barro, 1991). 63

64 Fn dal Rapporto Coleman (1966), gl stud che hanno cercato d msurare l effetto del processo educatvo sugl apprendment, separandolo dalle condzon socoeconomche della famgla e dagl nevtabl error d msura de test, sono andat ncontro a rsultat molto deludent, trovando che una percentuale molto lmtata della varabltà degl apprendment poteva essere attrbuta alle scuole e alle class (Rowan et al., 2002). Questa evdenza, charamente contro ntutva, ha frustrato per molto tempo l tentatvo d msurare l Valore Aggunto a lvello d scuole e class, al fne d legare tal msure ad ncentv (sul versante della School Effectveness) o per capre qual fattor (nsegnant, currculum, caratterstche della classe ecc.) potessero condurre ad un ncremento de lvell d apprendmento (sul versante della School Improvement) (Gor, 2003). Recentemente Rowan et. al. (2002) hanno dmostrato che è possble ottenere msure d valore aggunto delle scuole e delle class molto pù convncent dal punto d vsta teorco nonché dell evdenza emprca 15, dando così speranza alle poltche d crescta della qualtà basate sulla valorzzazone degl nsegnant (cfr. Gor, 2003). Molt fenomen caratterzzant l ndvduo presentano un evoluzone temporale, tra quest l peso, l altezza, ma anche l lvello d conoscenze, lo svluppo morale, la evoluzone della probabltà d atteggament antsocal ecc.. Con rfermento agl apprendment la fgura 6 llustra l concetto: l lvello dell apprendmento (conoscenze), ad un determnato stante, è l rsultato d un processo d crescta che vede l nterazone tra l ndvduo, con l suo background culturale e socale e l attvtà della scuola. Il lvello ad ogn stante è determnato, n partcolare, dallo stato nzale e da percors p1-p2-p3-p4-p5 (per l ndvduo p= A, B, C) che cascun ndvduo ntraprende - pù o meno casualmente o coscentemente. Da quest stud emerge che, se da un lato la scuola (o la classe) d appartenenza spega una parte molto lmtata della varabltà degl apprendment osservata ad un certo stante d tempo (ndcatore d stato) 16, e questa varabltà rsulta spegata per gran parte dalle condzon socal d partenza, vceversa rsulta che la varabltà delle dervate del lvello d conoscenze (le pendenze delle curve d crescta) sono n gran parte spegate dalla classe d appartenenza e, qund, dagl nsegnant 17, anche se non rsulta ancora charo qual sano meccansm sottostant tal dfferenze. In partcolare alcun autor hanno evdenzato esplctamente tale meccansmo 18 : S rleva emprcamente che n ogn anno scolastco, gl student possono venre 15 Crca l 70% della varabltà della crescta delle conoscenze n Matematca sarebbe da attrbure agl nsegnant che lo studente ncontra lungo la sua carrera. 16 Le rcerche d tpo nput-output condotte n ambto nternazonale, nel tentatvo d valutare l'ncdenza su rsultat d varabl del sstema scolastco che n va d'potes sembravano n grado d nfluenzarl (come la spesa per alunno, l rapporto alunn/docent, la formazone e l grado d'esperenza degl nsegnant, ecc.), hanno mostrato che nessuna d esse, alla prova de fatt, presentava una stable correlazone con l lvello d apprendmento degl student msurato medante test oggettv e con altre varabl rtenute ndcator d successo formatvo (Hanushek,1986). 17 Goldhaber, D. (2002), The Mstery of Good Teachng. Educaton Next Sprng 2002,

65 devat sgnfcatvamente n alto o n basso - rspetto alla lnea meda d crescta degl apprendment - n ragone della partcolare classe n cu sono stat assegnat, tal autor hanno noltre osservato che pur non essendo gl effett da un anno all altro partcolarmente apprezzabl tuttava se cert student hanno la sfortuna d essere assegnat n sequenza a class n cu vengano a subre un rallentamento nella crescta degl apprendment, mentre altr vengano assegnat a class n cu tale tasso d crescta è superore alla norma, alla conclusone della scuola elementare s vengono a produrre dfferenze d rlevo sugl apprendment fnal. Il modello esplcatvo sopra delneato, propro attraverso meccansm, pù o meno casual, della scelta d questa o quella traettora (classe), contrbusce a dare una spegazone scentfca alla varabltà degl apprendment e alla crescta tendenzale d tale varabltà (non equtà) nel corso del tempo. Fg. 6 Curve d crescta del lvello d conoscenze TIMSS OCSE-PISA Lvello conoscenze A5 A4 B5 A B C A1 B1 C1 A2 B2 C2 A3 B3 C3 B4 C4 C5 1e 2e 3e 4e 5e 1m 2m 3m 1s 2s 3s 4s 5s Elementar Mede Superor Lvello Età Una breve rflessone su meccansm nst nel modello descrtto n fgura 6 possono fornre una soddsfacente spegazone d questo fenomeno. A tal fne s consder la fgura 7. Con rfermento alla fgura 7a, un ndvduo che parta dalla stuazone A0, può rtrovars, alla fne della scuola elementare, a seconda della classe n cu sa collocato, n uno de lvell Ae1, Ae2 o Ae3 (s supporrà che v sano solo tre possbl traettore: e1, e2 ed e3); successvamente, n relazone alle possbl sezon alternatve nelle scuole mede (m1, m2 o m3) egl potrà rtrovars ad un lvello che vara da Am1 ad Am9, e così va fno ad arrvare al lvello fnale 65

66 d conoscenze nella dscplna consderata, al termne delle mede superor, che può varare tra As1 ed As27. Se ora s estende l ragonamento ad una potetca popolazone d tre ndvdu, la fgura 7b llustra come, la varabltà degl apprendment possa aumentare n vrtù del meccansmo descrtto: per effetto delle scelte effettuate l ndvduo B resce a superare, alla fne, l lvello d conoscenze dell ndvduo A che rsultava avvantaggato fno all età d 14 ann. Questo meccansmo d crescta, suffragato da recent stud ctat, pone l problema dell equtà sotto una luce dfferente, n quanto rsulta abbastanza evdente che al fne d rdurre la dsuguaglanza ne lvell d apprendmento, non solo sarebbe necessaro collocare gl student pù svantaggat ne percors pù effcac, ma, molto probablmente sarebbe necessaro ndrzzare gl ndvdu pù avvantaggat verso percors meno effcac, l che appare decsamente un controsenso anche perché questo produrrebbe nevtablmente una rduzone del lvello d eccellenza. Alla luce d quest rsultat sembra opportuno andare a rdefnre l concetto d equtà, svncolandolo dal mero calcolo della varanza degl apprendment per affrontare quello che rsulta essere l vero nodo, coè quello della dsuguaglanza socale d lungo perodo. Come gà evdenzato, poché è possble potzzare un meccansmo (quantomeno d tpo probablstco) del tpo: bass lvell d apprendment -> nsuccesso scolastco -> nsuccesso socale (lavoro e reddto) l problema dell equtà va rformulato con rfermento alla fgura 8, che evdenza come, da lvell d conoscenze nferor ad una determnata sogla possano (anche se non necessaramente) dervare conseguenze negatve per l ndvduo nonché un aumento delle dsuguaglanze socal. Fg. 7 Effetto della collocazone nella classe sullo svluppo dell apprendmento 7a 7b Lvello conoscenza As1 s1 Lvello conoscenza A0 e1 e2 e3 Ae1 Ae2 Ae3 Am1 m1 m2 m3 m1 m2 m3 Am9 s2 s3 s1 s2 s3 As27 Lvello fnale A B C Lvello fnale Età Età 66

67 Fg. 8 Le dsuguaglanze socal come conseguenza d bass lvell d apprendmento TIMSS OCSE-PISA Lvello conoscenze Elevato reddto atteso Alta probabltà d lavoro Lvello mnmo Alta probabltà d laurea Alta probabltà d dropout A B C Alta probabltà d dsoccupazone Basso reddto atteso 1e 2e 3e 4e 5e 1m 2m 3m 1s 2s 3s 4s 5s Elementar Mede Superor Lvello Età A questo punto l nesso tra problem d natura macroeconomca, conness all eccellenza e all equtà, e gl aspett d natura mcro, concernent l attvtà svolta ogn gorno all nterno delle scuole e delle class, rsulta assa pù charo. Inoltre è abbastanza mmedato capre qual leve sa necessaro utlzzare a lvello dell attvtà d base (educazone all nterno delle class) per raggungere pù elevat lvell d eccellenza ed equtà. La fgura 9 llustra l dea. 67

68 Fg. 9 Modell d crescta ed ntervent per la rduzone delle dsuguaglanze e la crescta dell eccellenza TIMSS OCSE-PISA Lvello conoscenze Lvello mnmo C* C19 A B C 1e 2e 3e 4e 5e 1m 2m 3m 1s 2s 3s 4s 5s Elementar Mede Superor Lvello Età Operatvamente s tratta d ndvduare, per l ndvduo C, un percorso alternatvo a quello che, per effetto della vgente organzzazone potrebbe condurlo al lvello C19 (che rsulta nferore al lvello mnmo), n modo da asscurargl una collocazone fnale che s attest, ad esempo, attorno al lvello C*. Come rsulta ovvo l passaggo dal lvello C19 al lvello C* (ferme restando le stuazon degl altr ndvdu) ha due effett: quello d accrescere l lvello medo (aumento dell eccellenza) e quello d rdurre la varabltà. La costtuzone talana afferma che deve essere asscurata la possbltà d raggungere pù elevat lvell d struzone a capac e a mertevol (anche se prv d mezz). La recente rcerca nternazonale evdenza che non è tanto l pezzo d carta (l lvello d struzone) quanto l effettvo lvello d conoscenze competenze e abltà raggunt che contano sa a fn del prosegumento degl stud che a fn lavoratv. Pertanto una rlettura del dettato costtuzonale alla luce d queste evdenze suggerrebbe che la scuola e la socetà debbano garantre lo svluppo d tal conoscenze competenze e abltà. Cosa sgnfch questo non è ancora charo n termn d conseguenze per l organzzazone scolastca, ma è charo che l ntervento dello Stato dovrà favorre la creazone d nformazone adeguate non solo per msurare l raggungmento d adeguat lvell d conoscenze per tutt, ma anche per mettere le scuole ed docent n grado d capre con suffcente antcpo se un dato studente present dffcoltà d svluppo nelle sue conoscenze, sa che s tratt d uno studente con dffcoltà d apprendmento, sa 68

69 che s tratt d uno studente (capace e mertevole) con potenzaltà superor alla norma. Questo affnché s possano raggungere oltre che lvell d equtà maggor anche lvell d eccellenza che pongano l nostro paese n grado d competere sulla scena nternazonale. Non è possble pensare che la patra d Galleo Galle, Leonardo da Vnc ed Enrco Ferm sa costretta, n futuro, a produrre soltanto pzze, spaghett e servz turstc. 3.5 Obettv della rcerca La rcerca s pone l obettvo d msurare l valore aggunto dalla scuola alle conoscenze degl student nell ambto d alcune dscplne fondamental, nell arco d un anno, tenuto conto delle conoscenze pregresse, del background famlare e della classe d appartenenza. Nonché d affrontare la questone del legame tra tale aspetto che msura l Effcaca e l Eccellenza ed Equtà. Incdentalmente sarà anche possble ottenere nformazon sull Effcenza con rfermento al problema dell effetto sulle performance ndvdual del numero d student n classe. A questo scopo per tutt gl student partecpant al progetto sono state acquste le seguent nformazon: Rsultat del test PP2 (pre test) Rsultat del test predsposto dal gruppo d lavoro (post test) Varabl caratterzzant l background famlare Inseme a quest nformazon sono state noltre rlevate le seguent: Voto espresso dagl nsegnant ne confront dello studente n concomtanza de due moment d sommnstrazone de due test Gudzo degl nsegnant su sngol tem del post test ( scheda nsegnant ). Come vedremo d seguto queste ulteror nformazon sono utl per produrre msure de lvell d apprendmento pù affdabl (meno soggette ad errore) attraverso la sntes de rsultat de test con vot espress dagl nsegnant, e per ndvduare possbl stuazon n cu l post-test non rspecchasse contenut effettvamente svolt nelle class. Rchameremo adesso brevemente le dee fondamental che stanno alla base della rcerca n modo da collocare n questo quadro le dverse nformazon rlevate. Conoscenze, competenze e abltà In prmo luogo occorre dstnguere tra Conoscenze da un lato e Competenze e Abltà dall altro. In questo senso samo partt dall dea che le Competenze ed Abltà potrebbero essere vste come la capactà d rsolvere problem concret attraverso l uso delle Conoscenze acquste n dvers ambt dscplnar e attraverso l esperenza nella loro applcazone. La scuola cerca d creare tal Competenze ed Abltà attraverso la svluppo d Conoscenze ne sngol ambt dscplnar che sono, n genere, responsabltà d sngol e dfferent docent: l tempo che lo studente trascorre a scuola è sostanzalmente suddvso tra docent delle dverse dscplne. S è pertanto rtenuto necessaro formulare delle prove mrate a msurare l abltà raggunta da cascun studente nelle dverse dscplne. Cò non togle che potrebbero essere formulate prove d Competenza o Abltà che 69

70 servano a saggare la capactà d mettere n pratca lvell d Conoscenze acqust nelle dverse dscplne, ma questo potrà rguardare una fase futura dopo che sano state svluppate adeguate msure a lvello d Conoscenze dscplnar. Il test ed l currculum Per cascuna dscplna c samo post l obettvo d costrure una scala d msura de lvell d abltà raggunt, che fosse n grado d comparare lvell degl student nel pre test e nel post test. Propro come se s trattasse d una enttà come l peso, o l altezza. Questa dea, trova gustfcazone nel fatto che lo svluppo delle conoscenze nell ambto d una dscplna è d tpo sequenzale, ovverosa le conoscenze acquste ad un certo stante sono fondamental per l acquszone d conoscenze successve d ordne superore. Cò sgnfca che, n uno svluppo delle conoscenze ben congenato, le conoscenze d ordne superore rassumono n sé anche quelle d ordne nferore. E questo anche se lo studente può, sul momento, sbaglare domande relatve a conoscenze d lvello nferore per ragon legate ad alla dstanza temporale e problem d memora. Se lo studente rsponde correttamente (e non casualmente) a conoscenze d lvello superore necessaramente deve essere passato per l acquszone d quelle d lvello nferore. Questo ha condotto, nelle fas preparatore della rcerca, a raccomandare agl nsegnant che suggervano le prove nelle schede, l mportanza d segnalare domande relatve a part del programma n sequenza tra loro. Successvamente, dall anals delle schede, gl espert che hanno predsposto test, hanno ndvduato gl argoment e le domande pù frequent, e hanno provveduto a stlare de quest che fossero rappresentatv quantomeno d quella parte del currculum n cu presumblmente la stragrande maggoranza degl student sarebbero stat mpegnat ne mes precedent la sommnstrazone del test. Cò non ha evtato l rscho che test predspost sano rsultat, n cert cas, troppo facl o troppo dffcl, come segnalato dagl nsegnant stess. Dovendo, per motv organzzatv, lmtars ad un numero d domande, non è stato possble rsolvere del tutto questo problema, che potrebbe nvece essere superato attraverso test sommnstrat per va nformatca sulla base d una banca d tem che possa coprre ntervall pù vasto del currculum. La fgura 1 descrve la stuazone. 70

71 Fg. 1 Currculum, dffcoltà degl tem, abltà degl student e copertura del test Currculum Abltà degl student Dffcoltà degl tem studente7 studente6 studente5 studente3 e 4 Parte del currculum non coperta dal test Item6 Item5 tem2 Item3 e 4 Parte del currculum coperta dal test studente2 studente1 tem1 Parte del currculum non coperta dal test A destra, con un pallno, sono ndcat gl tem, a snstra con un quadratno le abltà degl student nella dscplna. Il fatto che l tem 3 e 4 sno allo stesso lvello ndca che, pur essendo dfferent, ess presentano la stessa dffcoltà. Allo stesso modo due student 3 e 4 presentano la stessa abltà. In generale avremo che lo studente 6 è n grado d rspondere a tute o quas tutte le domande, mentre lo studente 2 potrà rspondere solo all tem 1 o ad tem d analoga dffcoltà. Come s evdenza l test rappresentato n fgura copre solo una parte del currculum. Questo comporta nevtablmente che alcun student, come lo studente 1, trovno troppo dffcl tutte le domande, e all opposto che lo studente 7 le trov tutte facl. Se n una classe trovamo molt student del tpo 1 cò comporta che l test è troppo dffcle per quella classe. Cò vuol dre che n tale classe, probablmente, s è rusct a coprre (ad esempo a causa d lvell d partenza troppo medocr degl student, o per altr motv) solo una parte del currculum precedente a quella per la quale l test è stato predsposto. Stesso ragonamento vale nel caso d class n cu s osservno molt student d tpo 7: qu evdentemente, per var motv, la parte del currculum che è stata effettvamente svolta è successva a quella coperta dal test. In tutt quest cas, dal punto d vsta emprco, s è d fronte a così dett perfect score ovvero 0% (studente 1) e 100% (studente 7) d rsposte esatte, che pongono qualche problema agguntvo per quanto rguarda la stma dell abltà dello studente. 71

72 Qu s rleva che, qualora fosse dsponble una banca dat d tem e c fosse la possbltà d sommnstrare attraverso uno strumento nformatco l test, sarebbe possble effettuare l operazone descrtta nella fgura 2. Nel caso dello studente 7, non appena s evdenza che le sue capactà sono superor al test predsposto, è possble estrarre dalla banca d tem alcun adeguat alla sua abltà: n questo caso le sue rsposte non saranno esatte al 100%, addrttura egl potrebbe sbaglare parte delle rsposte agl tem pù dffcl, ma la sua abltà verrà valutata come superore poché egl è n grado d rspondere a domande pù dffcl degl altr student. Lo stesso s può fare per lo studente 1. Allo stesso modo sarà possble, rafforzare l test al suo nterno, colmando buch nel range d dffcoltà coperte dal test che, dalla fgura 1 rsultavano, ad esempo, present tra l tem 5 e l tem 6, ma anche tra gl altr tem. Fg. 2 Il rafforzamento mrato del test n rapporto alle abltà degl student Currculum Abltà degl student Dffcoltà degl tem studente7 studente6 Item6 studente5 studente3 e 4 Item5 Item3 e 4 tem2 studente2 tem1 studente1 La concatenazone tra test dfferent nella stessa dscplna La rcerca parte da un pre test e da un post test relatv al currculum dscplnare n due dvers stant d tempo. La fgura 3 rappresenta la stuazone. Abbamo la necesstà d creare una un unca scala d msura (l rghello rappresentato n fgura 3, a snstra) che consenta d capre quanto le domande del pre test sano pù facl d quelle del poste test. A questo fne la va che s è seguta è stata quella d creare 72

73 un post test che contenesse anche alcune delle domande del pre test ( palln banch), n modo da capre quanto queste fossero pù facl d quelle del post test. Fg. 3 La concatenazone tra pre test e post test Currculum Post test Pre test A D C E B Per ottenere qund msure comparabl s è proceduto a formare un database unco contenente rsultat del pre test e del post test come descrtto nella fgura a destra che rappresenta la matrce de dat da due test, che sulle rghe ha gl student e nelle colonne le rsposte a dvers tem, n partcolare: A è la matrce delle rsposte per l pre test, con esclusone d quell comun a due test B è la matrce delle rsposte per l post test, con esclusone d quell comun a due test C è la matrce delle rsposte per gl tem comun a due test D ed E sono matrc vuote In questa manera l algortmo d stma delle abltà che verrà successvamente utlzzato, assegna a cascuno degl tem comun un'unca stma della dffcoltà, rportando pre test e post test su un unca scala (l rghello a snstra). La scelta degl tem per l raccordo s è ndrzzata verso quegl tem del pre test (PP2) che rsultavano da un lato pù dffcl e con un buon ndce d adattamento secondo la teora d Rasch, e dall altro costtuvano de prerequst conosctv per la corretta soluzone degl tem del post test. Tal tem, dffcl nel pretest, dovrebbero rsultare pù facl nel confronto con quell del post test che è tarato nvece su un currculum successvo. Per questo le verson fnal del post test contengono anche alcun tem del pretest n numero varable tra 8 e

74 3.6 Svluppo delle conoscenze: valore aggunto e standard E qu opportuno llustrare ulterormente le fnaltà della rcerca al fne d charre le dfferenze tra questo tpo d mpostazone e quella data dall INVALSI. Come vedremo non s tratta d due mpostazon alternatve ma che s completano a vcenda. Inoltre dscuteremo l dfferente valore nformatvo che scatursce dalle due rcerche, a fn della auto valutazone d sttuto. L dea che muove la rcerca è che la conoscenza dello studente n un partcolare ambto dscplnare s evolve nel tempo, e generalmente, se lo studente ha una carrera regolare, essa tende a crescere. Nell arco d tale evoluzone, allo stato attuale della rcerca, no abbamo due sole osservazon: una relatva al pre test e l altra relatva al post test, concatenate tra loro come descrtto. Non abbamo nvece nformazon sulla evoluzone della conoscenza prma del pre test: non sappamo n qual scuole è avvenuta la formazone precedente, né qual caratterstche avevano le class attraverso cu lo studente è transtato nel passato (ad esempo n termn d composzone delle class, loro numerostà ecc.). Tal nformazon sono nvece dsponbl nell ntervallo tra l pre test ed l post test (ammesso che lo studente non camb classe, cosa che vale per la maggoranza degl student osservat). Questo porta a dstnguere charamente tra due perod, anche al fne dell anals, come rappresentato nella fgura 4 dove la lnea tratteggata rappresenta l evoluzone della conoscenza dello studente, punt pen rappresentano lvell al momento del pre test e del post test, e quell vuot altr lvell non osservabl al par della lnea tratteggata. Fg. 4 L evoluzone della conoscenza dello studente Stora passata Intervallo d osservazone Futuro Post test Pre test t t t + t 74

75 Nella fgura 5 è rappresentato l concetto d standard così come formulato n ambto mnsterale. Le aree n gallo, alla fne d cascun benno (o all nzo d quello successvo) rappresentano porzon del currculum nello svluppo della conoscenza dscplnare consderata: secondo l dea che vede gl standard come lvell che dovrebbero essere raggunt da tutt o dalla stragrande maggoranza, ogn studente dovrebbe avere una abltà che s colloca n tale aree o nella parte superore. Ad esempo, lo studente evdenzato n fgura non l raggunge, quantomeno ne prm due benn. Qu emerge anche un altro fatto connesso alla defnzone degl standard: test che l mnstero produce attraverso l INVALSI sono tpcamente test che prevedono un ampo range d dffcoltà come evdenzato n fgura 6. Poché un test cogle una parte delle abltà è ovvo che una percentuale par a zero d rsposte esatte sgnfca che lo studente ha abltà che stanno al d sotto della meda della dffcoltà prevsta dal test, all opposto dcas per uno studente con una percentuale d rsposte esatte par a 100, ma, mano a mano che tal percentual s avvcnano al 50%, possamo dre che gl student rentrano nella zona galla. Anche ammesso che la dffcoltà meda del test sa ben calbrata rspetto allo standard dettato dalla normatva, dato che l test presenta un ampo range d dffcoltà sarebbe necessaro stablre una sogla (l trattno rosso) oltre l quale lo standard s possa rtenere soddsfatto. Fg. 5 Gl standard mnsteral 2 ann 2 ann Standard mnsteral t t t + t La mancata defnzone d tale sogla fa sì che test de progett plota pù che standard rappresentno una parte del currculum entro la quale, probablmente, è contenuto lo standard, che resta tuttava non defnto. Cosa dversa sarebbe se test presentassero un range molto rstretto d dffcoltà, attorno alla lnea orzzontale rossa, ma questo non s osserva quas ma. Il problema s può rsolvere 75

76 emprcamente ponendo la sogla par alla dffcoltà meda del test, o ad un altro ndcatore (l 25esmo percentle delle dffcoltà de dvers tem, ad esempo) oppure defnendo una banda attorno a tale ndcatore. Fgura 6 Il problema della sogla standard Test PP 2 ann 2 ann Standard mnsteral t t t + t standard Tenuto conto d questo, l nformazone per le scuole che derva dall INVALSI è defnta e crcoscrtta: essa c dce che lo studente, n funzone della sua stora passata, è gunto, nel momento del test nazonale a cert lvell e non altr. Il problema che s deve porre la scuola n rapporto agl obettv nazonal è: come è possble ntervenre sugl student che non raggungono gl standard affnché n futuro raggungano quell prevst alla fne del benno successvo? Questa è la ragone per cu, test nazonal vengono sommnstrat agl nz de benn prevst dalla rforma. Accanto a questo obettvo mposto, che n regme d autonoma può essere raggunto con qualsas mezzo la scuola rtenga opportuno, la scuola può pors altr obettv, ad esempo come ottenere alla fne del benno successvo (o alla fne del percorso scolastco d competenza) anche: una abltà meda degl student pù elevata della meda nazonale (Eccellenza) una dstrbuzone delle abltà non troppo dseguale (Equtà) S rleva qu per ncso che la fssazone d standard contrbusce mplctamente ad nnalzare la meda ma non è detto che rduca la varanza delle abltà. Inoltre l eventuale spostamento n alto d tal standard dovrebbe spngere al mgloramento contnuo de rsultat. Tuttava, al d là della segnalazone del lvello d abltà raggunto dallo studente, le nformazon de progett plota non possono darne altre, soprattutto n termn del ruolo che la scuola e la classe hanno avuto e potranno avere nello svluppo dello studente. I tentatv d correlare lvell med delle abltà degl student con 76

77 le caratterstche delle scuole e delle class per trarne ndcazon a fn d revsone de process ntern sono nfatt destnat al fallmento sa dal punto d vsta concettuale che emprco: un esempo per tutt è quello del test relatvo agl student d I meda nferore. Se l test, come dovrebbe, è sommnstrato agl nz dell anno e potrebbe rappresentare d fatto lvell n uscta dalla 5 elementare, come s può pensare che v sa una relazone d causa effetto tra tal lvell e la scuola e classe d appartenenza al momento del test? Se una classe ha student d I meda pù brav e un altra meno brav l nformazone fnsce necessaramente lì. Ogn tentavo d correlare tale dato con altre varabl a lvello d scuola o classe, nevtablmente coglerà correlazon dervant dalle scelte che sngol student e le loro famgle hanno fatto, tenuto conto de lvell d apprendmento maturat nelle elementar. Ma tal correlazon sono spure, e non possono dre nente sull effetto che la classe e la scuola ha avuto sullo studente. Ogn ndcatore costruto n questo senso dall INVALSI, ad esempo mettendo n relazone rsultat de test con quell del questonaro d sstema che cogle le caratterstche ed l comportamento della scuola, è del tutto prvo d fondamento scentfco. Un problema analogo, pur se meno evdente, s pone anche rspetto a valutazon condotte durante l perodo scolastco d competenza d una data scuola o classe. Infatt, nel caso n cu rsultat de test s rferssero, ad esempo e tanto per fssare le dee, alla 3 meda superore, è vero che lo studente ha generalmente passato un trenno all nterno della scuola o della classe n cu attualmente s svolge l test n questone, ma non bsogna dmentcare, come evdenzato dalla fgura 4, che l lvello raggunto n 3 meda superore, è frutto della stora passata. La fgura 7 evdenza l problema. Il punto blu rappresenta l lvello raggunto da due student (A, B), oppure da due class n termn d lvello medo d conoscenze degl student partecpant al test. L nformazone che abbamo è che due student (o le due class) hanno sostanzalmente lvell analogh. Ma come s evdenza dalla dverse curve d crescta, la stora degl student è completamente dversa: lo studente B è probablmente gunto alla scuola secondara n cu po verrà sottoposto a test n 3^, con lvell molto pù alt dello studente A, l quale è ruscto a recuperare l notevole gap d conoscenze che lo separava dallo studente B. Se ora c s basa sulla mera ndcazone del test n 3^ meda superore le due scuole hanno esattamente la stessa nformazone e, nella loro autonoma, potranno decdere quello che preferscono. Ma è molto probable che, essendo l nformazone uguale, anche gl stmol saranno gl stess. Se nvece s dsponesse d una rlevazone precedente, ad esempo n 2^ meda superore (o al lmte n 1^ meda superore) le due scuole dovrebbero trarre concluson molto dfferent crca l loro operato e probable effetto sulla crescta dello studente (valore aggunto) che nel caso A è decsamente pù elevata. Qu s evdenza tutta la dfferenza tra l nformazone dervante da test nazonal e quella dervante dal tpo d rcerca n atto, la quale mra propro a fornre l nformazone sul valore aggunto dalla scuola. 77

78 Fg. 7 Il problema del valore aggunto B A 2^ meda superore 3^ meda superore 3.7 Standard rferto ad un crtero o ad una norma Rspetto a quanto sopra evdenzato, va noltre sottolneato che l tpo d mpostazone attualmente data alla creazone de test e trattamento de dat ne progett plota fa sì che l raggungmento degl standard sa un concetto abbastanza dverso da quello evdenzato sopra n fgura 5 e 6. Infatt, test non vengono fnalzzat, pur essendo dcharatamente d tpo dscplnare, alla creazone d una scala d msura oggettva delle abltà e dffcoltà dalla quale s potrebbe rcavare, ad esempo, l lvello corrspondente alla lnea rossa (standard), magar determnata sulla base d evdenze che correlno tal lvell con le performance ne successv grad d struzone o nel lavoro (per l unverstà e l struzone professonale 19 ). Una volta ndvduato tale standard ogn scuola potrebbe effettuare autonomamente de test rappresentatv della la parte del currculum ntorno a tale lvello per valutare quant student s collochno sotto o sopra 20. Invece test vengono estes obblgatoramente a tutte le scuole e noltre vene creato un campone probablstco che consenta d ottenere una stma de lvell med d conoscenza nel paese con cu confrontare lvell della sngola scuola, classe o del sngolo studente 21. La ragone dell mposzone del test a tutte 19 S veda l lavoro d Gor (2004) L nvestmento n captale umano attraverso l struzone 20 Se, come traspare dalle ndcazon mnsteral quest rsultat devono servre solo all auto valutazone nterna, basterebbe mporre che test vengano effettuat nel rspetto degl standard prefssat. Se c s fda della complazone n una stuazone quas coerctva perché non c s dovrebbe fdare nel caso d test delegat ad ogn scuola? 21 Campone che rsulta necessaro n presenza d una rlevazone parzale, ma che anche n una stuazone d rlevazone esaustva sarebbe comunque necessaro poché, se s voglono stmare lvell med con suffcente affdabltà occorre porre sotto controllo la sommnstrazone nelle scuole campone onde evtare dstorson che s sono effettvamente verfcate e nevtablmente s 78

79 le scuole (o a un campone) sta nel fatto che le metodologe utlzzate dall INVALSI sono d tpo comparatvo e non assoluto. La stma del lvello medo nazonale (o regonale) è n questo tpo d ottca mprescndble perché, se da un lato test sono adeguat a rappresentare lo standard d conoscenze prevsto per ogn benno, dall altro l soddsfacmento d tale standard, venendo a mancare una scala d msura e qund anche l lvello costtuto dalla lnea rossa, può essere valutato a lvello d sngolo studente o d sngola scuola solo n rapporto alla meda nazonale o altro rfermento costruto sulla medesma popolazone. E questa la caratterstca d tutte le valutazon così dette rferte ad una norma che n sé contengono appunto questo aspetto d tpo crcolare, secondo cu l gudzo sul raggungmento dello standard dpende dal comportamento della popolazone d appartenenza che contrbusce a defnre appunto la norma. Questo modo d operare comporta un rscho, ovvero che la scuola non possa concretamente capre se sta mglorando o meno. Infatt, nel corso degl ann, una scuola potrebbe d fatto peggorare le propre performance assolute, ma se nelle altre scuole queste peggorassero n msura maggore, l confronto rspetto alla meda evdenzerebbe comunque mglor rsultat anche se la stuazone stesse peggorando. Per questa ragone sono stat ntrodott confront rfert ad un crtero, ovvero s stablscono degl obettv d apprendmento costant nel tempo e s cerca d valutare come la scuola s comport rspetto a quest: se nello stesso test, nel corso del tempo, la scuola osserva un aumento delle rsposte corrette può pensare ad un mgloramento (fatt salv gl aspett d crtctà conness alla valutazone dello stato pù che del valore aggunto). Tuttava, poché test non possono essere sempre gl stess 22, s pone la questone d come predsporre test dvers ma d dffcoltà e contenut analogh, aspetto che per l momento non è stato affrontato n Itala. 3.8 La creazone e valdazone delle prove del post test Il gruppo d rcerca è partto n prmo luogo dalla defnzone del costrutto da sottoporre a test. La scelta è stata quella d sprars a contenut effettvamente svolt nelle scuole. A questo scopo è stato rchesto ad ogn docente convolto ne var sttut, tramte l operatore d area: d dare ndcazon su contenut del programma scolastco che avrebbe effettuato fno al momento della sommnstrazone del post test, attraverso la segnalazone d 3 argoment che spazassero dall nzo alla fne del currculum svolto e che avessero l requsto d essere l uno propedeutco all altro; d proporre 3 domande per cascuno de 3 argoment propost che normalmente egl avrebbe utlzzato per valutare le conoscenze de propr allev. Questo ha permesso agl espert del gruppo d lavoro d generare test a rsposta multpla coerent con programm segnalat dalle scuole. Ovvamente, poché lo verfcheranno nel futuro., che andrebbero ad nfcare lo standard d rfermento: la meda nazonale appunto. 22 Con passare del tempo un test usato pù volte va ncontro a rsch ben not d segretezza. 79

80 strumento d supporto del test (cartaceo) avrebbe obblgato a formulare un numero d domande lmtato (30-40), gl espert hanno selezonato, per ogn lvello e matera, all nterno degl argoment segnalat dagl nsegnant, quell pù frequent avendo cura d preservare la sequenzaltà dello svluppo de programm n modo che le domande pù dffcl fossero quelle che presupponevano la conoscenza degl argoment precedent (pù facl), tenendo conto delle ndcazon fornte dagl nsegnant. E subto emerso che nell ambto delle scuole mede superor programm rsultavano a volte dfferent e questo ha costretto a formulare prove n parte dfferent a seconda del tpo d scuola meda superore. Sono stat prodott a questo scopo 12 test descrtt n tabella 1. Per ogn test (post test) l gruppo d lavoro ha formulato un numero d domande (tra 40 e 60) che sono state sottoposte nel mese d Gennao a valdazone su un gruppo d scuole non facent parte della rcerca. Ovvamente questo s è reso necessaro al fne d tenere segrete le prove stesse. La valdazone ha rsentto pertanto d due problem: le class utlzzate per valdare test potevano svolgere programm dfferent da quell dcharat dalla class partecpant al progetto; poché la valdazone è stata fatta a Gennao questo poteva rendere problematca la valdazone degl tem che rappresentavano part del programma che sarebbero state svolte tra Gennao e Aprle, momento d sommnstrazone del test. Tenuto conto d cò la valdazone ha permesso d ndvduare per ogn test un sottogruppo d tem (20-30) che da un lato mostravano un comportamento coerente con la teora d Rasch (generalmente quell pù facl), mentre per quanto rguarda gl tem pù dffcl, a cu presumblmente gl student sarebbero stat n grado d rspondere solo dopo avere svluppato l ntero currculum (fno a Aprle), gl espert del gruppo hanno selezonato quell che dal punto d vsta currculare rsultavano successv rspetto agl tem pù facl che è rsultato possble valdare n quanto meglo tarat sul currculum svolto fno a Gennao. Così facendo la valdazone degl tem pù dffcl è stata rnvata alla fase successva alla sommnstrazone del post test, nella quale è ancora possble elmnare dal test fnale quegl tem che mostrno un cattvo adattamento, senza nfcare troppo la bontà della stma delle abltà degl student. Tab. 1 Descrzone de test del post test Codce test Matera Lvello Tpo d scuola 1 Italano 5 elementare 2 Italano 2 meda nferore 3 Matematca 2 meda nferore 4 Italano 2 meda superore Tecnco Professonale 5 Italano 2 meda superore Lce e Magstero 6 Matematca 2 meda superore Tecnco Professonale 7 Matematca 2 meda superore Lce e Magstero 8 Italano 4 meda superore Tecnco Professonale 9 Italano 4 meda superore Lce e Magstero 10 Matematca 4 meda superore Tecnco Professonale 11 Matematca 4 meda superore Lceo Classco 12 Matematca 4 meda superore Lceo Lng., Magstero e Scentfco 80

81 Quest problem potranno essere rsolt solo n una prospettva d lungo perodo a condzone che s vengano a creare banche d tem attraverso la sommnstrazone d tem adeguat al currculum effettvamente svolto. 3.9 La predsposzone delle prove d apprendmento Uno degl aspett spermental della rcerca consste nel valdare la possbltà d costrure le prove d apprendmento a partre dalla ddattca n atto. Come gà detto, agl nsegnant delle class testate è stato chesto nel mese d ottobre qual argoment avrebbero svolto da lì al mese d aprle, e all nterno d quest d selezonarne tre consderat partcolarmente mportant (scheda A), nseme a tre quest cascuno (scheda B), post n ordne crescente d dffcoltà (requsto necessaro per la msurazone con l metodo statstco adottato). S tratta, approssmatvamente, a seconda della rsposta ndvduale o collettva degl nsegnant, d 380 proposte d argoment (1140 quest) per le elementar, 423 (1269) per talano alle mede, 486 (1458) per matematca, 717 (2151) per talano al benno (cumulando tecnc e lce), 633 (1899) per la matematca, 615 (1845) per l talano al trenno, 534 (1602) per la matematca, nfne 600 (1800) per la stora. Tale materale, dopo una prma revsone e rorganzzazone per macroargoment fatta dagl operator della rcerca, è stato affdato a dscplnarst per la predsposzone degl tem e de test. Gl espert Il gruppo de docent ncarcat della predsposzone delle prove d apprendmento è stato gudato dal prof. Enrco Gor (comtato scentfco della rcerca, comtato scentfco INValSI). I docent dscplnarst sono: per talano elementar e mede Laura Bertolott (docente scuola meda, gruppo tecnco operatvo della rcerca); per matematca alle scuole mede Paolo Pontello (docente scuola meda); per talano al benno superore Mara Graza Fornarol (docente scuole superor, collaboratrce IRRE Lombarda, gruppo tecnco della rcerca); per matematca al benno superore Franco Tornagh (docente scuola superore, gruppo regonale INValSI, gruppo tecnco della rcerca); per talano al trenno superore Patrza Gelmett (drgente scuola superore, rcercatrce IRRE Lombarda, gruppo tecnco della rcerca); per matematca al trenno superore Banca Sangorgo (docente scuola superore, autrce d manual scolastc). Il gruppo è stato coordnato da Danela Notarbartolo (rcercatrce CRISP, docente d scuola superore, SSIS Unverstà Cattolca). Il metodo I crter per la preparazone degl tem fanno rfermento all esperenza consoldata a lvello nternazonale per le prove strutturate e a requst legat alla metodologa statstca adottata. S tratta d prove tutte costrute ad hoc, che hanno come punto d partenza non tanto l sapere sstematcamente codfcato a lvello 81

82 della rcerca scentfca, o un lvello mnmo defnto dal programma mnsterale, bensì l sapere nsegnato, con quel che questo comporta n termn d assunzone dell uno e dell altro da parte degl nsegnant. Tale ndagne ha permesso tra l altro d verfcare sul campo, al d là delle affermazon programmatche sul quel che s dovrebbe fare, o su saper consderat nodal, cosa vene percepto effettvamente dagl stess nsegnant come passaggo fondamentale n ogn segmento scolastco all nterno delle matere; e anche la maggore o mnore omogenetà del canone relatvo alle class testate, per es. le assenze o le concentrazon. Per fare un esempo, n un campo quale l talano al benno, dove notoramente v è una possbltà ampa d organzzazone autonoma del currcolo, da dat delle schede A s è rlevato un sostanzale rspetto de programm mnsteral, che n entramb gl ordn d scuola (tecnco e lceale) appaono comunque nterpretat e rlett alla luce d esgenze d pratca ddattca; l'esstenza d un sostrato comune d carattere lngustco, caratterzzato da una forte ncdenza della teora della comuncazone, dell'anals testuale e della narratologa; la netta preferenza accordata n entrambe le tpologe d scuola alla centraltà del testo. In ogn lvello (dalle elementar al trenno) è nvece scarsamente rappresentato un lavoro sulla organzzazone logco-semantca del testo e sulle competenze relatve alla lngua scrtta. All nterno qund d un certo campo d opzon, dscplnarst hanno selezonato n base alle frequenze pù alte l cosddetto campo medo degl argoment, che avesse come caratterstca quella d coprre al massmo possble tutte le class testate. La corrspondenza d tal scelte alla realtà effettva è stata verfcata a posteror dalle schede nsegnant, dstrbute contestualmente al test. La dstrbuzone percentuale degl argoment è stato nzalmente anche uno de crter per la composzone del test nel suo complesso, nonostante non sa sempre stato possble mantenere tal proporzon nel test defntvo, dopo la valdazone de sngol tem. A partre dal benno superore s è tenuta presente la dstnzone de due ordn d scuola, motvata da un lato dalla dverstà d programm (specalmente per la matematca), dall altro da ulteror consderazon. Per l talano al benno s è notata ne tecnc una buona frequenza d test straner, mentre ne lce rsulta la centraltà del testo letteraro talano; le domande d grammatca presentavano ne lce una maggore sottolneatura per le categore pù coerent con l'apprendmento delle lngue classche, come per esempo una peculare attenzone per le etmologe, mentre ne tecnc s presentavano maggormente strutture della lngua d'uso. Nella formulazone d tem grammatcal s è prvlegata la grammatca normatva, come peraltro emergeva dalle schede de docent, evtando d rcorrere a categore grammatcal pù nnovatve, ma meno condvse. Per la matematca nel trenno delle superor, la notevole dfferenzazone fra gl argoment trattat ne dvers ordn d scuola, e fra dvers ndrzz nello stesso ordne, ha reso necessaro la preparazone d tre dfferent test, con la conseguente necesstà d attrbuzone specfca degl stess alle dverse class. Un test preparato orgnaramente per testare l ndrzzo d PNI è po confluto per alcun specfc 82

83 tem nel test 12, che presenta qund un numero d argoment agguntv n coda. Anche n questo caso la scheda nsegnant consente d non consderare errore la mancata rsposta a tal tem. Ancora per l talano, l opzone d msurare le conoscenze e le capactà specfche currcolar, e non la capactà d lettura come ndcatore del proftto scolastco complessvo come accade nelle prove nternazonal, ha comportato l adozone d un modello n parte dverso rspetto a quello del PP1 e PP2 (testo puttosto artcolato con molte domande). I bran scelt hanno una lunghezza meda ndvduata allo scopo d evtare un dspendo d tempo nella lettura rspetto alla competenza da verfcare, e n alcun cas s è rtenuto meglo non utlzzare un testo gà scelto n altro tem per rendere pù unvoca la possbltà d rsposta gusta. Inoltre, tenuta presente l opportuntà d verfcare la capactà d rsposta dell allevo e non la sua abltà a comprendere la domanda, sono stat scelt bran d facle comprensone. Da notare che nelle schede predsposte da docent contenut tematc (le conoscenze n forma d macro-argoment) appaono fare rfermento ad un campo abbastanza condvso, con un pù alto grado d omogenetà alle elementar e alle mede e un panorama pù varegato nella scuola superore e maggormente nel trenno. Per esempo, nel caso pù eclatante, l programma d matematca svolto n seconda meda è omogeneo al punto che 5 argoment scelt per gl tem vengono trattat da percentual sgnfcatve, dal 95% al 65%. Dove nvece v sono le maggor dfferenze è nel grado d approfondmento, negl obettv e metod delle verfche, che appaono a volte dscordant. A conferma d cò l fatto che esercz o quest classfcat come dffcl da alcun nsegnant sono rtenut facl da altr. L mpegno de dscplnarst (a parte l caso della prova aperta d stora d cu s drà pù avant) è stato quello d trasformare quest propost dagl nsegnant (scheda B), espress n forma d problema per la matematca oppure dscorsva per l talano (analzza, commenta, llustra caratter fondamental d ), n tem a rsposta multpla. Cò comporta da un lato la scomposzone d macro-argoment n sngol passagg e n competenze ben focalzzate, dall altro soprattutto l ndvduazone della sngola dffcoltà e la verfca d sngol element d conoscenza o d competenza e capactà (d ordne logco, conosctvo, procedurale), e noltre la loro traduzone n nput da affrontars n un lasso d tempo medo d tre mnut, senza ma banalzzarlo, o renderlo d meccanca rsoluzone o, vceversa, troppo dffcle. Rspetto alle proposte de docent, dunque, generalmente affdant l grado d dffcoltà alla lunghezza dell esecuzone o alla molteplctà de passagg logc (svluppo argomentatvo, calcol,), tale operazone s è rvelata partcolarmente nteressante e produttva anche dal punto d vsta della rflessone sulle logche dscplnar. Per la matematca, per esempo, da parte de collegh stess non è mancata la rchesta d defnzon, oppure d esercz sulla la capactà d collegare aspett algebrc e aspett geometrc. Partcolare attenzone è stata data alla creazone de dstrattor, consderat come l campo dell errore plausble, quello che secondo l esperenza scolastca plurennale de docent estensor avrebbe avuto probabltà d presentars, 83

84 relatvamente al lvello de dvers ordn d scuola, nel tentatvo d dentfcare pù frequent "percors errat" d ragonamento e presentandol come rsposte. Potrebbe anz essere nteressante analzzare qual dstrattor sano rsultat pù effcac. Nella fase della valdazone, tutt gl tem sono stat sottopost a verfca emprca rguardo all aspetto della unvoctà e della effcaca. Da notare che n seguto al test d valdazone n gennao, anche l grado d dffcoltà presunta potzzato da dscplnarst è stato verfcato emprcamente con la metodologa d Rasch. Sono stat confermat anche aspett d fattbltà, specalmente nella scuola prmara, come la trascrzone su un foglo rsposte predsposto per la scannerzzazone delle rsposte date sul fasccolo-domande, pensato come elemento ndpendente per consentre alle scuole d trattenerlo e d avere un rscontro mmedato dell esto della prova. A questo punto sono stat predspost test defntv: a) utlzzando gl tem valdat; b) selezonando, n base al doppo crtero d essere prerequst d tem present nel test e d essere valdat con la stessa metodologa d Rasch una quota d tem (da 5 a 10) provenent dal PP2 qual tem d lnkage per la msurazone del valore aggunto; c) curando che n ogn test fossero present anche alcun tem d lnkage per la comparazone de test fra d loro (per esempo fra tecnc e lce). La composzone fnale de test, per dvers aspett d complesstà cu s è accennato, rsulta nella sua nterezza dalla tabella rassuntva comprendente le dverse tpologe d tem present n ogn test. Il cosddetto ndce d dscrmnazone, per scelta metodologca, doveva essere l pù ampo, dovendo consentre la msurazone de molto brav e de molto scadent. Il grado d dffcoltà del test nel suo complesso è stato tarato ulterormente n seguto alla prova della valdazone n gennao: per esempo nel caso delle elementar e dell talano alla mede, essendos le prove rvelate troppo semplc rspetto alle abltà degl student, test sono stat sfrondat della fasca d tem pù facl e rnforzat a ttolo d espermento con ulteror tem del PP2 propost nel lvello superore (2 tem della prma meda per la quarta elementare, 3 tem della prma superore per la seconda meda). L esto d questo lavoro è stato la predsposzone d 12 test dvers, con un numero varable d tem da 28 a 45, da svolgers n un ora per talano, n due ore per matematca: oltre a test d talano alle elementar (test 1) e alle mede (test 2), e d matematca alle mede (test 3), sono stat predspost due dvers test per talano (test 4 e 5) e matematca al benno (test 6 e 7) e talano al trenno (test 8 e 9), dstnguendo sttut tecnco-professonal da lce, e tre dfferent test per matematca al trenno (test 10: sttut tecnco-professonal; test 11: lceo classco; test 12: altr lce). La sequenza delle domande all nterno de test è per blocco d argoment: solo all nterno d questo è ascendente dalla pù facle alla pù dffcle. La prova d stora a forma aperta, spermentata solo nel trenno delle superor e caratterzzata dalla doppa correzone, è fornta d caratter d spermentaltà, sotto l proflo sa della tpologa sa della procedura per la correzone comparata. S trattava d sceglere due tra otto argoment propost e d svolgerl n un ora, n uno spazo strutturato e n un numero lmtato (20) d rghe. 84

85 Quanto alla tpologa questa prova non è stata concepta, secondo l canone valevole ordnaramente per prove semstrutturate svolte n contest scolastc specfc, con domande-stmolo crcoscrtte e rsposte-crtero unvocamente determnate, bensì al contraro con un nput puttosto ampo (sulla cu formulazone è possble attuare una mglore taratura) e una gamma altrettanto ampa d rsposte accettabl, carattere necessaro per salvaguardare la notevole varetà non tanto degl argoment quanto delle mpostazon metodologche relatve all nsegnamento della stora emerse dalle schede (événementelle, economco-socale, delle dee, ). Cò ha reso necessara una grgla d correzone (v. 5.5) quanto pù possble unvoca nella sua nterpretazone, che è stata dscussa e condvsa da correttor, e rsultava formulata n modo tale che gl ndcator s presentassero n ordne crescente d dffcoltà, secondo crter mpost dalla metodologa statstca scelta. Inoltre, sulla dversa severtà de correttor la metodologa stessa era n grado d portare le necessare correzon. Anche lo schema predsposto per la rsposta, suddvso n presentazone de dat e svolgmento dscorsvo, là dove è stato utlzzato nelle sue potenzaltà ha consentto agl student d strutturare l andamento della rsposta secondo un certo ordne Le prove (Tranne che per stora, s segnalano qu solo gl argoment present ne test e le relatve percentual, determnate n relazone alla frequenza rscontrata nelle schede degl nsegnant) ITALIANO Elementar (test 1) Testo narratvo: anals e comprensone 40,9% Anals del verbo: modo e tempo 21,6% Anals logca: la frase mnma 18,2% Testo descrttvo: anals e produzone 11,4% Dffcoltà ortografche 7,9% Mede (test 2) Sntass frase semplce 29,2% Testo poetco 27,3% Testo narratvo: la forma del daro 20,4% Sntass della proposzone: complemento dretto e ndrett 11,9% Anals del verbo 11,1% Benno Tecnc (test 4) Grammatca 28 % Testo poetco 14,50 % Testo narratvo 12 % Testo argomentatv 10, 30 % I Promess Spos 9,3 % 85

86 Lce (test 5) Testo poetco 31 % I Promess Spos 17 % Grammatca 15,5 % Genere epco 4,6 % Testo narratvo 4,2 % Trenno Tecnc (test 8) Foscolo, l rapporto con l età napoleonca, l sstema flosofco, le 27,17% opere (Sonett, Sepolcr, Graze) Illumnsmo (genes, nuov ruol ntellettual, gener, l senssmo) 24,10% Goldon, la rforma, maschere e caratter, lo stle 13,33% Galleo (rapporto scenza/fede, nascta della prosa scentfca) 13,33% Il pensero poltco del 500 Machavell e Guccardn 11,28% Il Romantcsmo (la genes, la polemca classco-romantca, 10,76 % nuov gener) Lce (test 9) Poema epco-cavalleresco (Arosto e Tasso) 24,09 % Cultura del 600 Manersmo Barocco - Marno % Illumnsmo- Parn Ruolo dell ntellettuale - Verr 16,26 % Trattatstca - Machavell (e Guccardn) Prncpe Lettera al 15,06 % Vettor Galleo 9,63 % Goldon La rforma del teatro La locandera 9,03 % Dante: Purgatoro 7,83 % MATEMATICA Mede (test 3) Msurazone 6 % Geometra pana 6 % Area d polgon 23,3 % Frazon 20 % Teorema Ptagora 13,3 % Radc 13,3 % Rapport e proporzon 16,6 % Benno Tecnc (test 6) Equazon e problem d prmo grado 23 % Sstem 16 % Dsequazon d prmo grado 13,5 % Frazon algebrche 13,5 % Equazon d secondo grado 13,5 % Rette 20,5 % Lce (test 7) Equazon e problem d prmo grado 25 % Equazon e dsequazon d secondo grado 25 % 86

87 Polnom e scomposzon 25 % Radcal 25 % Trenno Tecnc (test defntvo) (test 10) Funzon e domn d funzon 26,6% Equazon e dsequazon esponenzal 13,2% Lmt d funzon 23,2% Dervate 17,7% Grafc d funzon 20% Lceo classco (test 11) Rette e fasc d rette 16,6% Equazon e dsequazon algebrche 12% Parabola 26% Grafc 19% Crconferenza 14,2% Iperbole ed ellsse 12,2% Altr lce (test 12 comprendente alcun tem dell ex-13) Equazon e dsequazon trgonometrche 30% Grafc d funzon 10% Applcazon d teorem su trangol 10 % Funzone logartmca ed esponenzale 32,5% Conche 17,5% Fasc d rette 2,5 % Trasformazon geometrche 5 % Matrc 7,5% STORIA Per poter proporre un test unco, gl argoment mmess dovevano coprre sa le class che seguono la scansone tradzonale del programma ( ) sa quelle che seguono la rforma Berlnguer ( ). Le percentual sono n questo caso relatve alle class coperte e non al test e s rferscono noltre alla somma de lce e degl sttut tecnco-professonal. L assolutsmo n Franca o n Europa 17% la formazone della monarcha costtuzonale n Inghlterra 16% la prma rvoluzone ndustrale 38% la rvoluzone francese 50% la formazone degl Stat Unt d Amerca 15% l 1848 n Itala o n Europa 16% la seconda rvoluzone ndustrale 3,5% L età golttana 0,5% 3.11 L anals de rsultat del pretest S è proceduto qund ad analzzare rsultat relatv a due test. Per quanto rguarda l pre test (PP2) dat fornt dall INVALSI, relatv alle rsposte degl 87

88 student nel test, sono stat analzzat con la metodologa d Rasch e s è provveduto n prmo luogo a elmnare tutt quegl tem che mostravano un cattvo adattamento n termn d curve caratterstche (ICC: s veda l appendce). Dall anals sono emers seguent ndcator d sntes per quanto rguarda l affdabltà delle stme delle dffcoltà e delle abltà (varanza de valor ver/ varanza de valor ver + varanza dell errore d msura), l adattamento degl tem al modello d Rasch, e l adeguatezza del test n rapporto alle abltà degl student. In generale la stma degl tem presenta un grado d affdabltà elevato ntorno ad 1, quella delle abltà è pù bassa ma comunque compresa nell ntervallo La ragone d cò sta nel fatto che, mentre per stmare le dffcoltà degl tem s hanno a dsposzone molt student, per stmare l abltà del sngolo studente l numero d osservazon utl a tale scopo è par al numero d tem (ntorno a 30), con l ulterore problema che solo tem che presentano una dffcoltà comparable con l abltà dello studente apportano una nformazone adeguata. Per accrescere l affdabltà delle stme delle abltà sarebbe necessaro sottoporre lo studente ad un elevato numero d domande tarate n relazone alla sua abltà, operazone che rsulta possble solo nell ambto d una sommnstrazone automatzzata de test medesm che, attngendo tem da una banca dat preesstente d cu s conoscano le dffcoltà, consenta d sottoporre allo studente, n relazone alle rsposte che egl dà, tem pù dffcl nel caso n cu tenda a rspondere correttamente a domande d meda dffcoltà, o pù facl nel caso n cu tenda a rspondere n manera errata a domande d meda dffcoltà. test Tab. 2 Indcator d sntes del pre test Nr tem Nr student Item scartat (*) Affdabltà degl tem Reale Affdabltà student (non estrem) Meda abltà rspetto meda tem % rsposte esatte IV elementare (talano) > 62% IV elementare (matematca) > 68% I meda (talano) > 57% I meda (matematca) = 50% I superore (talano) > 54% I superore (matematca) > 56% III superore (talano) > 53% III superore (matematca) = 50% (*) ndce d nft o outft non compreso nell ntervallo (data l elevata numerostà d student è opportuno rferrs agl ndc non standardzzat) Per quanto rguarda l adattamento degl tem s evdenza che crca un 25% degl tem non soddsfano la teora d Rasch e presentano evdentemente problem d 88

89 formulazone o d nadeguata specfcazone n rapporto al currculum, con punte del 40% per l test d matematca n I meda superore. Gran parte d quest tem sono stat esclus dal pre test n fase d stma delle abltà nzal. S osserva nfne che solo 2 test presentano una dffcoltà meda comparable alla abltà meda degl student (Matematca I meda e III superore), mentre gl altr, n partcolare quello d talano e matematca per la 4 elementare, rsultano relatvamente facl per gl student qual mostrano una abltà meda superore alla dffcoltà del test, mentre un solo test, quello d matematca per la 3 meda superore, rsulta relatvamente dffcle n rapporto alla abltà degl student. Qu è opportuno rbadre un fatto ovvero che, quando s creano per la prma volta de test, ad esempo da sommnstrare ad un certo mese x per un dato lvello, se la valdazone degl tem deve essere effettuata nel medesmo anno n cu test verrà applcato, nevtablmente s è costrett a sommnstrare test ad un campone d student c mes prma, per cu un test adatto per l mese x verrà sottoposto a student con una preparazone currculare adeguata al mese x-c. In questo caso può succedere che, anche se gl tem sono pensat per l mese x n cu l test verrà sommnstrato, non c saranno student n grado d rspondere agl tem pù dffcl, l che ne mpedrà la valdazone e la possble esclusone, con l rsultato che l test che verrà sommnstrato al tempo x non conterrà quegl tem (pù dffcl) per qual, nel frattempo, gl student possono avere svluppato adeguate abltà. Con la conseguenza che l test rsulterà troppo facle. Questo è l problema che è stato osservato, come accennato, anche n fase d valdazone del post test. Il problema potrà essere rsolto, come detto, solo nel lungo perodo, ovvero quando s sa n grado d sommnstrare nel mese x, de test che sano valdat sulla base d un campone d student nello stesso mese ma n ann precedent: cosa che, data l urgenza, non è stato possble fare né nell ambto del pre test (PP2), né del post test L anals de rsultat del post test e del pre test: stme congunte D seguto s rportano alcun ndcator d sntes dervant dall adattamento del test e del post test consderat conguntamente come descrtto n

90 Tab. 3 Indcator d sntes del pre test e del post test lnkat Test Nr tem PP2 Nr tem DE Nr tem comun Item scartat (*) Nr student Affdabltà degl tem Reale Affdabltà student (non estrem) Meda abltà rspetto meda tem % rsposte esatte elementare (talano) > 64% meda (talano) > 60% meda (matematca) = 51% superore benno (talano) A > 56% superore benno (talano) B > 56% superore benno (matematca) - A < 53% superore benno (matematca) - B < 53% superore trenno (talano) A > 53% superore trenno (talano) B > 56% superore trenno (matematca) - A < 48% superore trenno (matematca) - B < 49% superore trenno (matematca) - B < 46% (*) ndce d nft o outft non compreso nell ntervallo (data l elevata numerostà d student è opportuno rferrs agl ndc non standardzzat) Come s rleva l affdabltà del test è alquanto elevata. S evdenzano comunque alcun problem d taratura delle stme delle abltà n quanto cert test appaono relatvamente facl rspetto all abltà degl student. Questo n parte è dovuto al fatto che, per consentre la concatenazone s è stat costrett ad nserre alcun tem del pretest che generalmente rsultano facl per gl student al momento del post test. D seguto s rportano grafc n cu s comparano le stme delle abltà e la dffcoltà degl tem. In blu sono evdenzat gl tem del post test (sgla DE). In grassetto quell d lnk, n formato normale gl tem del pre test (sgla PP2). Evdenzat n vola gl tem elmnat per cattvo adattamento. L elmnazone degl tem è stata gudata n parte anche alla anals del DIF rportata n altra parte del rapporto. Cert tem presentavano nfatt uno sblancamento verso certe scuole o class: n quest cas la teora suggerrebbe che tal tem vengano utlzzat solo per tal class o scuole. Non è stato possble effettuare n questa sede tale operazone dato l notevole carco d calcolo che cò avrebbe comportato. Ma n futuro questo sarà possble con adeguata organzzazone. S evdenza comunque che l nsermento d tem partcolar scuola per scuola o classe per classe non modfca tanto la stma delle abltà, quanto puttosto l grado d precsone delle stme stesse. In alcun cas, come nel test 04 e 08, e 09 s evdenza una forte sovrapposzone tra tem del pre test e del post test n termn d dffcoltà. Questo è senza dubbo 90

91 ndce d una dverso costrutto sottostante due test, gà evdenzato nel paragrafo dedcato alla descrzone de contenut, e che s verfca soprattutto per l talano. In tale stuazone non è possble ovvamene calcolare un valore aggunto secondo la metodologa qu adottata, la quel presuppone una comparabltà del costrutto. Sarà tuttava possble n una fase successva effettuare anals d valore aggunto secondo altre metodologe qu non consderate. 91

92 TEST 01 INPUT: 5655 Persons, 53 Items MEASURED: 5531 Persons, 53 Items, 106 CATS Persons MAP OF Items <more><rare> 4.### +..## 3. + T.##.#### I46 PP2 B6 I20 DE 20.####### 2 +T ##### S.### I21 DE 21.######### I12 DE 12 I39 PP2 A9.#####.######### I15 DE 15.##### I40 PP2 A10 I51 PP2 B12 1.###### +S I24 DE 24.############ M I17 DE 17 I32 DE 32.############ I25 DE 25 I5 PP2 A14 - DE 5 I52 PP2 B13.#### I13 DE 13 I31 DE 31 I53 PP2 B14 I6 PP2 A15 - DE 6.########## I23 DE 23 I47 PP2 B7 ########## I18 DE 18 I4 PP2 A12 - DE 4.######### I49 PP2 B9 I7 PP2 B2 - DE 7 I8 PP2 B11 - DE 8 0.######## +M I33 PP2 A1.###### I27 DE 27 I28 DE 28 I44 PP2 B4 I45 PP2 B5.# S I1 PP2 A6 - DE 1 I19 DE 19 ##### I16 DE 16 I30 DE 30 I9 PP2 B15 - DE 9.#### I14 DE 14 I26 DE 26 I29 DE 29 I38 PP2 A7 I41 PP2 A13.### I2 PP2 A8 - DE 2 I3 PP2 A11 - DE 3 I42 PP2 B1.## -1 # +S. I10 DE 10 I11 DE 11.# T I36 PP2 A4. I22 DE 22. I35 PP2 A3 I37 PP2 A5 I43 PP2 B3. I34 PP2 A2 I48 PP2 B T I50 PP2 B <less><frequ> EACH '#' IS

93 TEST 02 INPUT: 7845 Persons, 55 Items MEASURED: 7646 Persons, 55 Items, 110 CATS Persons MAP OF Items <more><rare> # 3 +.##.## T.## 2.### + ####.# T I30 DE 30 ###### S I20 DE 20 I21 DE 21 I33 DE 33.#### I28 DE 28 I9 DE 9.####### 1.############ + I1 PP2 A7 - DE 1 I18 DE 18 I27 DE 27 I47 PP2 B7 I52 PP2 C6.######### S I19 DE 19 I46 PP2 B6.######### I15 DE 15 I31 DE 31.######### M.######### I10 DE 10 I17 DE 17 I25 DE 25 I38 PP2 A5 I54 PP2 C8.######### I11 DE 11 I24 DE 24 0.########### +M I16 DE 16 I23 DE 23 I3 PP2 A9 - DE 3 I32 DE 32 I40 PP2 A10 I44 PP2 B4 I5 PP2 C1 - DE 5 I8 PP2 C10 - DE 8.######## I48 PP2 B8 I50 PP2 C2 I51 PP2 C4 I6 PP2 C3 - DE 6.####### I2 PP2 A8 - DE 2 I29 DE 29 I55 PP2 C9 I7 PP2 C5 - DE 7.####### I12 DE 12.###### S I22 DE 22 I36 PP2 A3 I37 PP2 A4 I45 PP2 B5.#### S I13 DE 13 I14 DE 14-1.### + I26 DE 26 I35 PP2 A2 I4 PP2 B9 - DE 4 I41 PP2 B1.## I34 PP2 A1 I43 PP2 B3.## I39 PP2 A6 I53 PP2 C7.# I49 PP2 B10.# TT I42 PP2 B <less><frequ> EACH '#' IS

94 TEST 03 INPUT: 7867 Persons, 50 Items MEASURED: 7651 Persons, 50 Items, 100 CATS Persons MAP OF Items <more><rare> # +.# I18 DE 18.#.### TT 2 +.#### I21 DE 21.### I13 DE 13 I19 DE 19.#####.#### I20 DE 20 I23 DE 23.###### SS I11 DE 11 I14 DE 14 I22 DE 22 I30 DE 30 1 ##### + I10 DE 10 I44 PP2 19.######## I26 DE 26.######### I16 DE 16 I27 DE 27 I29 DE 29.########### I17 DE 17 I32 PP2 2 I48 PP2 23.########## I6 PP DE 6.############ 0.########### M+M I1 PP2 5 - DE 1 I25 DE 25 I3 PP DE 3 I41 PP2 15.############ I36 PP2 7 I4 PP DE 4 I45 PP2 20 I8 PP DE 8.############ I28 DE 28 I46 PP2 21 I49 PP2 26 I5 PP DE 5.########### I12 DE 12 I24 DE 24 I35 PP2 6 I42 PP2 16 I9 DE 9.######## I37 PP2 8 I43 PP2 18.########### I39 PP2 13 I40 PP ########### + I38 PP2 12.######### SS I7 PP DE 7 I15 DE 15 I50 PP2 28.####### I2 PP2 9 - DE 2.##### I33 PP2 3 I47 PP2 22.#### -2.### +. T I31 PP2 1.# T. I34 PP <less><frequ> EACH '#' IS

95 TEST 04 INPUT: Persons, 57 Items MEASURED: Persons, 57 Items, 114 CATS Persons MAP OF Items <more><rare> #.#.# T 2.# +.# I11 DE 11 I40 PP2 A11.# T I22 DE 22.###.#### I16 DE 16 I49 PP2 B4 I50 PP2 B5.##### S I44 PP2 A17 I57 PP2 B17 1.###### +.###### S I25 DE 25 I26 DE 26 I4 PP2 B10 - DE 4 I9 PP2 B18 - DE 9.###### I23 DE 23.##### I12 DE 12 I18 DE 18 I19 DE 19.###### I45 PP2 A18 I56 PP2 B16 I6 PP2 B12 - DE 6.####### M I27 DE 27 I34 PP2 A4 I51 PP2 B6 ############# I3 PP2 A13 - DE 3 I52 PP2 B7 0.###### +M I1 PP2 A10 - DE 1 I17 DE 17 I20 DE 20 I35 PP2 A5 I46 PP2 B1 I8 PP2 B15 - DE 8.##### I30 DE 30 I36 PP2 A6 I39 PP2 A9 I43 PP2 A16 I54 PP2 B9.###### I21 DE 21 I31 PP2 A1 I42 PP2 A15.#####.##### I14 DE 14 I47 PP2 B2.#### S I32 PP2 A2 I33 PP2 A3 I37 PP2 A7 I38 PP2 A8 I55 PP2 B13 I7 PP2 B14 - DE 7.#### S I28 DE 28 I48 PP2 B3 I5 PP2 B11 - DE 5-1.### + I24 DE 24 I29 DE 29.## I10 DE 10 I41 PP2 A14.## I2 PP2 A12 - DE 2 I53 PP2 B8.# I13 DE 13.# T T. I15 DE <less><frequ> EACH '#' IS

96 TEST 05 INPUT: Persons, 60 Items MEASURED: Persons, 60 Items, 120 CATS Persons MAP OF Items <more><rare> I20 DE # T 2.# T+ I28 DE 28.## I27 DE 27.# I30 DE 30.#### I11 DE 11 I29 DE 29.#### I17 DE 17 I26 DE 26 I43 PP2 A11.#### I13 DE 13 I16 DE 16 1.#### S+S I21 DE 21 I22 DE 22.##### I52 PP2 B4 I53 PP2 B5 I60 PP2 B17.###### I12 DE 12 I15 DE 15 I47 PP2 A17.###### I10 DE 10 I18 DE 18 I19 DE 19 I24 DE 24 I4 PP2 B10 - DE 4.###### I9 PP2 B18 - DE 9.###### 0.###### M+M I32 DE 32 I48 PP2 A18 I59 PP2 B16 I6 PP2 B12 - DE 6.############ I3 PP2 A13 - DE 3 I37 PP2 A4 I54 PP2 B6.###### I49 PP2 B1 I55 PP2 B7.###### I1 PP2 A10 - DE 1 I25 DE 25 I38 PP2 A5 I42 PP2 A9 I57 PP2 B9 I8 PP2 B15 - DE 8.########### I34 PP2 A1 I39 PP2 A6 I45 PP2 A15 I46 PP2 A16.##### -1.##### S+S I14 DE 14 I23 DE 23 I33 DE 33 I50 PP2 B2.#### I35 PP2 A2 I36 PP2 A3 I40 PP2 A7 I41 PP2 A8 I58 PP2 B13 I7 PP2 B14 - DE 7.####### I5 PP2 B11 - DE 5 I51 PP2 B3.##.## I2 PP2 A12 - DE 2 I31 DE 31 I44 PP2 A14 I56 PP2 B8.# -2.# T+ T <less><frequ> EACH '#' IS

97 TEST 06 INPUT: Persons, 47 Items MEASURED: Persons, 47 Items, 94 CATS Persons MAP OF Items <more><rare> # +T I30 DE 30. T.###.### I29 DE 29 I31 DE 31 I32 DE 32.# I20 DE 20 I24 DE 24 I6 PP DE 6 I7 PP DE 7 1.##### +S I15 DE 15 I18 DE 18.# I22 DE 22 I39 PP2 11 I41 PP2 13 I45 PP2 19.###### S I27 DE 27 I5 PP DE 5.####### I13 DE 13 I28 DE 28 I38 PP2 10 I46 PP2 23.######### I21 DE 21 I25 DE 25.## I12 DE 12 I17 DE 17 0.############ +M I16 DE 16 I3 PP DE 3 I42 PP2 15 I8 PP DE 8.########### I26 DE 26.############ M I14 DE 14 I23 DE 23 I43 PP2 16 I47 PP2 24.############.############ I10 PP2 9 - DE 10 I36 PP2 6-1.############ +S I11 DE 11 I19 DE 19 I44 PP2 17.########## I33 PP2 3 I37 PP2 7 I40 PP2 12 I9 PP2 8 - DE 9.######### I4 PP2 2 - DE 4 S.######## I35 PP2 5.###### -2 +T I34 PP2 4.#### I1 PP2 1 - DE 1 I2 PP DE 2.## T.# <less><frequ> EACH '#' IS

98 TEST 07 INPUT: Persons, 47 Items MEASURED: Persons, 47 Items, 94 CATS Persons MAP OF Items <more><rare> #..# T I21 DE 21.# 2.# T+ I28 DE 28.# I26 DE 26.### I18 DE 18 I19 DE 19.#.# I20 DE 20 I27 DE 27 I30 DE 30.# S I5 PP DE 5 I6 PP DE 6 1.##### +.##### S I13 DE 13 I17 DE 17 I29 DE 29 I39 PP2 11 I41 PP2 13 I45 PP2 19.## I24 DE 24 I4 PP DE 4.####### I11 DE 11 I38 PP2 10 I46 PP2 23.#########.########## 0.## +M I10 DE 10 I3 PP DE 3 I42 PP2 15 I7 PP DE 7.########### I14 DE 14.########### M I16 DE 16 I22 DE 22 I43 PP2 16 I47 PP2 24 I9 DE 9.##########.############ I35 PP2 6.# I25 DE 25 I8 PP2 9 - DE 8-1.############ + I44 PP2 17.######### S I32 PP2 3 I36 PP2 7 I37 PP2 8 I40 PP2 12.######### I12 DE 12 I31 PP2 2. S I23 DE 23.####### I34 PP2 5.###### -2 + I33 PP2 4.#### I1 PP2 1 - DE 1 T I15 DE 15 I2 PP DE 2.## T.# <less><frequ> EACH '#' IS

99 TEST 08 INPUT: 8952 Persons, 61 Items MEASURED: 8781 Persons, 61 Items, 2 CATS Persons MAP OF Items <more><rare> I50 PP2 B # T.# T.# I58 PP2 B14.## I2 PP2 A11 - DE 2 I26 DE 26 I30 DE 30 I43 PP2 A19 I60 PP2 B17.### I29 DE 29 I35 PP2 A5 I55 PP2 B11 1.####### S+ I11 DE 11 I4 PP2 A13 - DE 4.##### S I1 PP2 A9 - DE 1.##### I25 DE 25 I28 DE 28 I8 PP2 B19 - DE 8.########### I20 DE 20 I40 PP2 A14 I48 PP2 B4 I6 PP2 A17 - DE 6.####### I14 DE 14 I42 PP2 A18 I51 PP2 B7.####### M I24 DE 24 I44 PP2 A20 I56 PP2 B12 I7 PP2 B16 - DE 7 0.############ +M I22 DE 22 I37 PP2 A7 I38 PP2 A8 I47 PP2 B3 I52 PP2 B8 I61 PP2 B18 I9 PP2 B20 - DE 9.####### I21 DE 21 I32 PP2 A2 I36 PP2 A6.########### I10 DE 10 I12 DE 12 I15 DE 15 I57 PP2 B13.##### I13 DE 13 I3 PP2 A12 - DE 3 I5 PP2 A16 - DE 5 I54 PP2 B10.#### S I41 PP2 A15 I45 PP2 B1 I46 PP2 B2 I49 PP2 B5.###### S I53 PP2 B9 I59 PP2 B15-1.## + I16 DE 16 I23 DE 23 I34 PP2 A4.# I17 DE 17 I39 PP2 A10.# I27 DE 27 I33 PP2 A3. T.. T I19 DE 19 I31 PP2 A I18 DE <less><frequ> EACH '#' IS

100 TEST 09 INPUT: 9878 Persons, 65 Items MEASURED: 9659 Persons, 65 Items, 2 CATS Persons MAP OF Items <more><rare> # I18 DE 18.## T I54 PP2 B6. 2.### +.# T.### I62 PP2 B14.#### I47 PP2 A19 I64 PP2 B17.##### S I2 PP2 A11 - DE 2 I39 PP2 A5.##### I26 DE 26 I59 PP2 B11 1.##### +S I4 PP2 A13 - DE 4.######### I1 PP2 A9 - DE 1 I14 DE 14.###### I19 DE 19 I24 DE 24 I8 PP2 B19 - DE 8.###### I44 PP2 A14 I46 PP2 A18 I52 PP2 B4 I55 PP2 B7 I6 PP2 A17 - DE 6.############ M I20 DE 20 I32 DE 32 I48 PP2 A20 I60 PP2 B12 I7 PP2 B16 - DE 7.###### I16 DE 16 I41 PP2 A7 I42 PP2 A8 I51 PP2 B3 I65 PP2 B18 0.############ +M I13 DE 13 I21 DE 21 I31 DE 31 I40 PP2 A6 I56 PP2 B8 I9 PP2 B20 - DE 9.####### I11 DE 11 I36 PP2 A2.##### I61 PP2 B13.######### S I10 DE 10 I23 DE 23 I3 PP2 A12 - DE 3 I5 PP2 A16 - DE 5 I58 PP2 B10.#### I12 DE 12 I27 DE 27 I33 DE 33 I45 PP2 A15 I49 PP2 B1 I50 PP2 B2 I53 PP2 B5 I57 PP2 B9 ### I15 DE 15 I34 DE 34 I38 PP2 A4 I63 PP2 B15-1.## +S I25 DE 25 I28 DE 28 I43 PP2 A10.# I37 PP2 A3.# I22 DE 22.# T I17 DE 17 I30 DE 30. I35 PP2 A1. T I29 DE <less><frequ> EACH '#' IS

101 TEST 10 INPUT: 9019 Persons, 47 Items MEASURED: 8851 Persons, 47 Items, 2 CATS Persons MAP OF Items <more><rare> I16 DE 16..# T 2.# +.## I13 DE 13 I28 DE 28 I47 PP2 28.# T I21 DE 21 I15 DE 15 I27 DE 27.##.#### S I23 DE 23 1.## + I12 DE 12 I19 DE 19.##### I26 DE 26.####### I14 DE 14 I24 DE 24.## S I11 DE 11 I17 DE 17 I18 DE 18 I25 DE 25 I43 PP2 19 I8 PP DE 8.####### I10 DE 10 I20 DE 20 I45 PP2 26 I46 PP2 27.######## I44 PP2 21 I7 PP DE 7 0.######### +M I22 DE 22 I42 PP2 18 I9 PP DE 9.########### I32 PP2 4.########### I1 PP2 7 - DE 1 I5 PP DE 5.#########.###########.############ M I40 PP ############ + I38 PP2 14 I39 PP2 15 I41 PP2 17 ########### S I31 PP2 3 I36 PP2 12 I6 PP DE 6.############ I2 PP2 8 - DE 2 I35 PP2 9 I37 PP2 13 I4 PP DE 4 I3 PP DE 3.###########.########### I29 PP2 1 I34 PP2 6-2.########## S+ I30 PP2 2.######### I33 PP2 5 T.########.##### -3 +.### T..# <less><frequ> EACH '#' IS

102 TEST 11 INPUT: 7895 Persons, 48 Items MEASURED: 7850 Persons, 48 Items, 2 CATS Persons MAP OF Items <more><rare> I30 DE T I48 PP2 28..#. T I26 DE 26 I27 DE 27.### I28 DE 28.### I13 DE 13 I29 DE S.##### I15 DE 15 I16 DE 16 I24 DE 24.###### I10 PP DE 10 I43 PP2 19 I46 PP2 23 I8 PP DE 8.###### I12 DE 12 I21 DE 21 I22 DE 22 I47 PP2 26 I7 PP DE 7 I9 PP DE 9.######### S I18 DE 18.######### I17 DE 17 I19 DE 19 I42 PP # +M I23 DE 23 I25 DE 25 I3 PP2 7 - DE 3 I32 PP2 4.##########.########### I14 DE 14 I44 PP2 20.########## I20 DE 20 I40 PP2 16.########### M I41 PP2 17.########### I2 PP2 3 - DE 2 I37 PP2 12 I39 PP2 14 I45 PP2 22 I6 PP DE 6-1.############ +S I35 PP2 8 I36 PP2 11 I4 PP2 9 - DE 4.############ I38 PP2 13.########### I11 DE 11 I5 PP DE 5.########### I31 PP2 1.########## I34 PP2 6 S I1 PP2 2 - DE 1 I33 PP2 5-2.######### +T.########..#####.### T -3 +.# <less><frequ> EACH '#' IS

103 TEST 12 INPUT: 9287 Persons, 63 Items MEASURED: 9021 Persons, 63 Items, 2 CATS Persons MAP OF Items <more><rare> T I29 DE 29 I39 DE I38 DE 38.#.# I10 DE 10 I19 DE 19 I40 DE 40 # I25 DE 25 I33 DE 33 I34 DE 34.## TS I63 PP2 28.## I24 DE 24 1.## + I14 DE 14 I18 DE 18 I20 DE 20 I27 DE 27 I28 DE 28 I32 DE 32 I37 DE 37.# I26 DE 26 I9 DE 9.###### I15 DE 15 I22 DE 22 I36 DE 36.##### I12 DE 12 I17 DE 17 I21 DE 21.## I13 DE 13 I16 DE 16 I23 DE 23.####### S I11 DE 11 I35 DE 35 I55 PP ###### +M I58 PP2 23 I59 PP2 24 I6 DE 6 I62 PP2 27.####### I31 DE 31 I57 PP2 21 I60 PP2 25 I61 PP2 26 I8 DE 8.######### I7 DE 7.######### I1 PP2 7 - DE 1 I44 PP2 4 I54 PP2 18.##########.########### I56 PP # +.########## M I30 DE 30 I52 PP2 16.############ S I50 PP2 14 I53 PP2 17 ############# I43 PP2 3 I49 PP2 12 I5 PP DE 5 I51 PP2 15.########## I3 PP DE 3 I47 PP2 8 I48 PP2 9.############ I4 PP DE 4-2.########## + I2 PP DE 2.############ I41 PP2 1 I46 PP2 6.######### S I42 PP2 2.# T I45 PP2 5.########.####### #####.###. T -4.# <less><frequ> EACH '#' IS

104 3.13 Il modello d anals Illustreremo adesso rsultat e le potenzaltà d anals de dat raccolt con rfermento alla meda nferore per le due matere consderate: matematca ed talano. Il pre test è stato sommnstrato nel mese d marzo-aprle 2003 agl student d I meda nferore mentre l post test è stato sommnstrato agl student d II meda nferore alla fne d aprle I lasso d tempo ntercorrente n termn d attvtà scolastca è crca 10 mes. Le scuole partecpant sono state 40 con 177 class. La tabella 4 rporta l numero d student che hanno sostenuto due test: come s può osservare su crca 4000 student partecpant solo 2000 presentano entramb test 23 Tab. 4 I meda Inferore: student partecpant a test Matematca Post test Italano Post test Pre test student partecpant no s Totale Pre test student partecpant no s Totale no no s s Totale Totale La struttura de test è rappresentata dalla fgura 8 nella quale sono rportate le stme delle abltà degl student e delle dffcoltà degl tem per l pre test e post test, n entrambe le dscplne. Come s può rlevare n blu sono rappresentat gl tem del post test (sgla DE), n rosso quell del PP2 ed n verde quell del PP2 n comune con l post test. S evdenza una maggore dffcoltà degl tem del post test come c s poteva attendere. S evdenza anche una carenza d tem per la parte alta delle abltà, soprattutto nel caso del test d talano. 23 Cò è dovuto sa ad defezon nella partecpazone ad uno de due test, sa all mpossbltà d rcollegare rsultat del pre test a quell del post test per carenza d codce dentfcatvo dello studente nell ambto del test PP2. 104

105 Fg. 8 I meda Inferore: struttura de test Matematca Mede Inferor TABLE 12.2 Lnk PP2 e Dff-eq - Mede Matematca ZOU225ws.txt Aug 11 11: INPUT: 7867 Persons, 50 Items MEASURED: 7651 Persons, 34 Items, 68 CATS Italano Mede Inferor ABLE 12.2 Lnk PP2 e Dff-eq - Mede Italano - ZOU017ws.txt Aug 11 11: INPUT: 7845 Persons, 55 Items MEASURED: 7646 Persons, 39 Items, 78 CATS Persons MAP OF Items <more><rare> 4.# +.# 3 + I18 DE 18 ##. T.## T 2 +.### I21 DE 21 I13 DE 13.#####.#### I22 DE 22 I23 DE 23.###### SS I10 DE 10 I30 DE ##### I26 DE 26.######### I16 DE 16 I17 DE 17 I29 DE 29.########### I48 PP2 23.#####.###### I6 PP DE 6 0.##### +M I25 DE 25 I3 PP DE 3 I41 PP2 15.############ M I1 PP2 5 - DE 1 I8 PP DE 8 I28 DE 28 I36 PP2 7 I45 PP2 20.############ I12 DE 12 I24 DE 24 I46 PP2 21 I49 PP2 26 I5 PP DE 5.######## I35 PP2 6.###.######### I43 PP ### +.######## S I7 PP DE 7.## I15 DE 15.######## S I50 PP2 28.# I2 PP2 9 - DE 2.######. I33 PP2 3-2.#### + T I31 PP2 1.### T -3.# <less><frequ> EACH '#' IS 47. Item DE Item comun Item PP2 Persons MAP OF Items <more><rare> 4. +.# 3.## +. T.##.### 2 +.###### T.##### I30 DE 30.### S I20 DE 20 I21 DE 21.#### I28 DE 28 I9 DE 9.#### 1.########## + I18 DE 18 I47 PP2 B7 I52 PP2 C6 S.############ I19 DE 19 I46 PP2 B6.##### I15 DE 15 I31 DE 31.############ M I10 DE 10 I17 DE 17 I25 DE 25.############ I11 DE 11 0.### +M I16 DE 16 I24 DE 24 I3 PP2 A9 - DE 3 I32 DE 32 I44 PP2 B4 I8 PP2 C10 - DE 8.########### I23 DE 23.## I2 PP2 A8 - DE 2 I29 DE 29 I50 PP2 C2 I51 PP2 C4 I6 PP2 C3 - DE 6.########.######### I12 DE 12.# S I22 DE 22 I36 PP2 A3 I37 PP2 A4.##### S -1 # + I4 PP2 B9 - DE 4.##### I35 PP2 A2 I41 PP2 B1. I34 PP2 A1 I43 PP2 B3.### I53 PP2 C7..## T I42 PP2 B2. T -2.# <less><frequ> EACH '#' IS 52. Nella tabella 5 sono rportat valor d alcun ndcator relatv alle abltà e alle dfferenze (gan) tra post test e pre test degl student nelle due matere. Tabella 5 Meda nferore: Indcator relatv alle abltà e al valore aggunto ne due test (1) (2) (3) (4) (5) (6) (7) (8) (9) Indcator Numero Mssng Meda Dev. Std latente Dev. Std_oss Var_oss Var_err Var_latente Affdabltà Y1_mat_r Y2_mat_r Y1_ta_r Y2_ta_r Gan_mat_r Gan_ta_r Per comprendere meglo gl ndcator s consder quanto segue. Il modello d Rasch fornsce una stma corretta (almeno approssmatvamente) delle abltà del sngolo studente. Tale stma è tuttava affetta da un errore d 105

106 msura la cu varanza dpende dagl tem utlzzat. Il software mpegato 24 fornsce una stma d tale varanza. Se con Y s ndca l valore stmato della abltà dell ndvduo -esmo, con ξ l valore effettvo (detto anche abltà latente) e con ε l errore d msura, rsulta qund: (1) Y = ξ + ε, (2) E( ε ) = 0, questo garantsce la correttezza d Y come stmatore d ξ 2 (3) V ( ε ) = σ nota n base al procedmento d stma, per ogn, ε s assume noltre, come d uso, che gl error sano tra loro ndpendent, nonché ndpendent dalle quanttà ξ. Da questo consegue che: 1 1 Y = Y N N (4) = ( ξ + ε ) = ξ + ε (5) V ( Y = E ξ = E ξ = 1... N = 1... N, con E ( Y ) = ξ 2 2 ) [ ] = Eξ [ E ( ξ + ε ξ ) ] = ε ξ 2 [ ] [( ) + E ( ) 2 E ( ) ( )] ε ξ ε + ε ξ ε ξ ξ 2 [ ] ( ) 2 = V ( ξ + ε ) = E( ξ + ε ξ ) = Eξ E ( ξ + ε ξ ) ε ξ E ( ) 2 ( ) ε ξ ξ ξ + ε + ε ξ ξ = Eξ ξ ξ ( ξ ξ ) + σ ε = V ξ + σ ε N = 1... N = per cu la meda delle abltà stmate è uno stmatore corretto della meda delle abltà latent, ma la varanza delle abltà stmate approssma per eccesso quella delle abltà latent, la quale può tuttava essere stmata dalla espressone: 1 ξ σ. (6) V ( ) V Y) 2 ( ε N = 1... N Ne consegue anche che l affdabltà delle stme delle abltà latent è data da: (7) ( Y ) ( ξ ) ( Y ) V ρ =. V Dalla tabella 5 emerge pertanto che l lvello medo delle abltà n matematca nel pre test è par a 24 Wnsteps 106

107 0.61, mentre l valore medo delle abltà nel post test è par a +0.59; per l talano s ha nvece un valore medo d partenza par a 0.03 ed un valore medo nel post test d Le devazon standard, tenuto conto della correzone (7) sono par a 0.90 e 1.09 per la matematca nel pre test e nel post test, mentre per l talano sa ha rspettvamente 0.84 e S evdenza a tal proposto che la varabltà aumenta nel passaggo dal pre test al post test d 0.19 untà per la matematca e d 0.11 per l talano. L affdabltà delle stme delle abltà è par a 0.71 e 0.80 per la matematca e a 0.68 e 0.77 per l talano: qu s rleva come nel post test l affdabltà sa generalmente superore a quelle del pre test. Per comprendere meglo l sgnfcato dell ordne d grandezza dell untà d msura ne due test s consder che l ncremento medo (gan) per la matematca rsulta par a 1.34 e 0.99 per l talano: poché tale ncremento s attua n 10 mes d scuola nel consegue che rappresenta, per la matematca, l ncremento d conoscenza che s può ottenere medamente n un mese, mentre per l talano tale ncremento è par approssmatvamente 0.1. Da cò emerge che l ncremento d varabltà osservato corrsponde, rspettvamente per la matematca e l talano, a un maggore dvaro tra gl student dell ordne d 1.5 mes e 1 mese. Per quanto rguarda la msura d valore aggunto (gan) questo è ottenble a lvello d sngolo studente attraverso l espressone: (8) D = Y ( ) Y ( 1), con Y ( ) = ξ ( 2) + ε ( 2), e Y () = ξ () 1 + ε () dove le parentes con (1) e (2) ndcano rspettvamente valor nel pre test (1) e nel poste test (2). Ne derva che: D = ξ 2 ξ 1 + ε 2 ε 1 = + ε 2 ε 1 = + ω (9) ( ) ( ) ( ) ( ) ( ) ( ) dalla quale emerge che la vera msura del valore aggunto è par a, mentre D è una sua stma affetta dagl error ω = ε ( 2) ε ( 1). Dalle potes sugl error d msura (assumendo l ndpendenza tra gl error ne due test) consegue pertanto che: E D = (10) ( ) 2 2 (11) V ( ω ) = σ ε () + σ ε ( 2) 1 Per quanto concerne la varanza del valore aggunto, anche n questo caso quella de valor osservat è una approssmazone per eccesso d quella de valor effettv, nfatt, tenuto conto delle formule gà svluppate n precedenza: (12) V ( ) = V ( D) ( σ ε () + ( )) 1 σ ε 2 N = 1... N 107

108 Ne consegue che a fronte d un valore aggunto medo d 1.34 per la matematca e 0.99 per l talano la devazone standard de ver valor nosservabl è par a 0.81 e 0.74, mentre l affdabltà delle stme rsulta rspettvamente 0.51 e La dmnuzone della affdabltà è dovuta alla presenza de due error e tale rsultato era noto da lavor d Rogosa (1995). I seguent grafc rportano valor delle abltà mede nel pre test e nel post test nelle sngole class, nonché la dstrbuzone del valore aggunto tra le class. Fg. 9 Valor med del pre test e del post test nelle class e dstrbuzone del valore aggunto tra le class Mat - Crescta m eda nelle class Ita - Crescta meda nelle class Y1_mat Y2_mat Y1_ta Y2_ta

109 109 Come s può rlevare la crescta è alquanto dfferenzata da una classe all altra e s evdenzano class n cu l valore aggunto è molto basso (vcno a zero) o molto alto (superore a 2). Per comprendere l ordne d grandezza dell effetto della classe è possble rcorrere al rapporto d correlazone. Se ndchamo con j la classe d appartenenza, con j N l numero d student nella classe, e con j l valore aggunto per lo studente nella classe j ottenamo la nota formula d scomposzone della varanza: (13) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) = = = = = = = = = + = = + = = + = = J j j j j J j j J j j j N j j j J j j J j N j j j J j N j N N V N N N N N N N N N V j j j µ µ µ µ µ dalla quale derva l rapporto d correlazone (parte d varabltà spegata dalla classe): (14) ( ) ( ) ( ) = V V N N V j j j classe 1 2, η =. () ( ) ( ) ( ) () ( ) ( ) = = + + N j j j N N D V V N N N D V ) ( 1 1 ) ( ε ε ε ε σ σ σ σ = = () ( ) ( ) ( ) () ( ) ( ) () ( ) ( ) = = = N j N j j j N j j j N D V N D V N N N D V ) ( ) ( ε ε ε ε ε ε σ σ σ σ σ σ = = ( ) () ( ) ( ) ( ) () ( ) ( ) ( ) D D V N D V D V D V N N D V N D V D V N N D V classe D N j j j N j j j ρ η σ σ σ σ ε ε ε ε 2, ) ( 1 ) ( ) ( 1 ) ( 1 ) ( 1 ) ( = + = + = =

110 dove ( D) ( ) ( D) V ρ = rappresenta l grado d affdabltà delle stme. S rleva che V l espressone (14) è analoga alla dsattenuaton formula d Rogosa (1995) per l coeffcente d correlazone lneare. Nella tabella seguente s rportano valor del rapporto d correlazone: la parte d varabltà del valore aggunto spegata dalla classe d appartenenza è molto elevata, raggungendo valor attorno al 50%. Tab. 7 Valor del rapporto d correlazone tra Gan e classe d appartenenza Matematca Italano Al fne d valutarne la sgnfcatvtà e d stmare tale effetto a lvello d classe s è proceduto ad applcare l seguente modello multlvello per cascuna delle due dscplne (15) D = β + u + e + ε ( 2) ε ( 1) (16) j E E E 0 0 j j ( j j ) 2 ( u0 j ) = 0, V ( u0 j ) = σ u0 2 ( ej ) = 0, V ( ej ) = σ e 2 2 ( ε j ( 2) ε j ( 1) ) = 0, V ( ε j ( 2) ε j ( 1) ) = σ ε () 1 + σ ε ( 2) n cu le dverse component casual sono ndpendent tra loro. S not che l errore del modello s compone d due part, una resduale rspetto al modello j e al netto degl error d msura e l altra costtuta dalla dfferenza tra due error d msura le cu varanze sono note dall algortmo d stma delle abltà. La stma del modello multlvello è stata effettuata con l software Mlwn. Gl effett della classe e de loro error standard sono stat stmat con l approcco bayesano emprco mplementato nel software. I seguent prospett evdenzano rsultat della stma. j j 110

111 Tab. 8- Rsultat della stma de modell multlvello e stme degl effett della classe con ntervallo d confdenza ( errore standard) Per quanto rguarda la matematca l ncremento medo è stmato 1.297, mentre per l talano Le stme delle varanze degl effett della classe e degl error del modello sono rspettvamente e per la matematca, e e 0.189, da cu consegue che la parte d varabltà spegata dalle class rsulta par a 58% per la matematca e 43% per l talano, sostanzalmente n lnea con quanto evdenzato dal rapporto d correlazone, per cu s conferma un sensble effetto della classe d appartenenza sulla crescta (valore aggunto). S not che nella procedura d stma è stata nserta come nformazone agguntva la devazone standard della dfferenza de due error d msura, nota a pror. Ovvamente qualora tale nformazone non fosse dsponble gl error d msura s confonderebbero con quell del modello e la varanza spegata dalla classe s rdurrebbe notevolmente, ma la valutazone corretta d tale enttà è gusto che prescnda dagl error d msura. Dalle fgure degl effett stmat emergono evdent dfferenze sgnfcatve con class molto al dsotto della meda e class molto al d sopra della meda. S rleva anche che l effetto per la matematca è alquanto dfferente da quello per l talano: ad esempo l trangolno rosso nel prmo grafco evdenza che nella classe n questone la crescta è molto sopra la norma, ma che la stessa classe s colloca nella meda per quanto rguarda la crescta n talano. La seguente fgura 10 rporta l grafco de due effett a lvello d classe. Come s evdenza v sono class n cu l valore aggunto è molto sotto o sopra la meda per tutte e due le dscplne, mentre n certe class, a fronte d un elevato (basso) valore aggunto n 111

112 matematca s rleva un basso (elevato) valore aggunto n talano. Poché docent sono dfferent questo non sorprende, mentre n altr paes dove l sstema scolastco prevede un nsegnante unco (come negl USA) s rleva spesso che ad elevat lvell del valore aggunto n una matera s accompagna un elevato valore aggunto anche nell altra. Fg. 10 Effetto delle class sul valore aggunto n matematca e talano Matematca Italano E qu opportuno evdenzare come questo tpo d nformazone sa notevolmente dfferente da quella relatva a lvell d partenza, dervante dall attuale mpostazone de progett plota dell INVALSI. Infatt da un lato le graduatore dervant da tal progett sono assa dverse da quelle ottenbl nell ambto dell ottca del valore aggunto qu descrtta. La fg. 10b evdenza problema. 112

113 Fg. 10b Valore aggunto e lvello nzale nel pre test Le class cerchate secondo la flosofa del PP2 sono quelle n cu sussstono mnor problem n quanto gl student presentano un elevato lvello nel pretest, ma l anals del valore aggunto evdenza nvece che propro queste sono quelle con mnore ncremento nelle conoscenze L effetto delle varabl soco-economche Come gà evdenzato durante la rcerca sono state raccolte anche nformazon sulla condzone della famgla d provenenza. A tal fne s è concentrata l attenzone su quelle caratterstche che dalle ndagn OCSE-PISA s evdenzano come maggormente rlevant e sgnfcatve 25. La fgura 11 llustra la dstrbuzone delle dverse caratterstche degl allev. Fg. 11 Dstrbuzone delle caratterstche degl allev 25 Nello spegare l lvello raggunto dagl student. Qu tuttava s rleva che non s vuole spegare l lvello, ma l valore aggunto. 113

114 La fgura 12 mostra nvece la composzone delle class per quanto rguarda tal caratterstche. Queste evdenzano una sensble eterogenetà nella composzone stessa a segnalare come pratche teorcamente affermate volte a comporre class eterogenee dal punto d vsta socale rsultno n molt cas neffcac o napplcabl (questo dpende n parte dalla mancata rlevazone delle caratterstche e può dpendere dalla eventuale composzone pù o meno omogenea n partenza degl scrtt). Fg. 12 Composzone delle class secondo le caratterstche degl allev In base a tal nformazon s è proceduto ad nserre ne modello nzal, contenent l solo effetto della classe, anche le caratterstche ndvdual nonché la composzone della classe, ottenendo rsultat rportat nelle seguente tabella

115 Tab. 9 - Rsultat della stma de modell multlvello con le varabl ndvdual e le caratterstche della classe Molte delle varabl ntrodotte non rsultano sgnfcatve, tuttava s conferma anche n quest modell un rlevante effetto della classe che per la matematca (0.244 su ) rappresenta 57% della varabltà non spegata, mentre per l talano (0.119 su ) l 37%. Nel caso dell Italano s rleva una rduzone della varanza dell effetto classe a seguto dell ntroduzone delle caratterstche ndvdual e della composzone della classe. S è qund proceduto alla elmnazone delle varabl con un coeffcente non statstcamente sgnfcatvo e modell fnal sono rportat nella tabella 10 seguente n cu s raffrontano anche le stme degl effett della classe ottenut con l modello senza 115

116 varabl ndvdual e d contesto con quell ottenbl da modell fnal che contengono tal varabl. Come s rleva da modell, per quanto rguarda la matematca s evdenza un sgnfcatvo effetto del ttolo d studo del padre n rapporto a quello preso come termne d paragone (1 = lcenza elementare) che mostra come al crescere del ttolo d studo paterno aumenta l ncremento nella conoscenza della matematca. Inoltre la crescta s rduce all aumentare dell età meda degl alunn, aumenta al crescere della quota d student non d orgne Tab. 10- Matematca: Rsultat della stma de modell multlvello con varabl ndvdual, stme degl effett della classe con ntervallo d confdenza ( errore standard) e confronto con gl effett del modello senza varabl ndvdual 116

117 Tab. 10 Italano: Rsultat della stma de modell multlvello con varabl ndvdual, stme degl effett della classe con ntervallo d confdenza ( errore standard) e confronto con gl effett del modello senza varabl ndvdual : 9, Г808 Per l talano le unche varabl ndvdual d rlevo sono l genere (le femmne sembrano crescere d pù de masch) ed l fatto d vvere con entramb gentor (anche questo aumenta l valore aggunto); nessuna varable d contesto appare sgnfcatva. Se s confrontano le stme degl effett della classe con e senza varabl s evdenza che l effetto dell ntroduzone delle nuove varabl non modfca sostanzalmente rsultat ottenut con l modello senza varabl ndvdual e d contesto. Nella fgura 13 sono rportat gl effett delle class (al netto de fattor ndvdual e d contesto) per le due matere con l evdenzazone d due class agl estrem oppost. Per tal class s rportano anche le curve d crescta ndvdual. 117

118 Fg. 13 Scatter degl effett della classe al netto delle varabl ndvdual e d contesto per le due dscplne e curve d crescta per due class tpo Crescta Matematca Crescta Matematca Crescta Italano Crescta Italano L effetto sulla crescta del lvello nzale n rapporto alla classe Il problema dell effetto che l lvello nzale ha sulla crescta è alquanto spnoso sa dal punto d vsta della spegazone n termn pedagogc, che n relazone a problem metodologc che è necessaro affrontare. Gl stud nternazonal hanno rlevato, n questo senso, correlazon d tutt tp che tuttava, secondo Rogosa (1995) possono trovare una banale spegazone nella scelta de temp per due test. La fgura 14 evdenza l problema. 118

119 Fg. 14 Crescta e correlazone tra stato nzale e valore aggunto t1 t2 t3 t4 t5 Dat ad esempo due student con curve d crescta evdenzate n fgura, se l pre test è effettuato al tempo t1 ed l post test al tempo t2, la correlazone tra stato nzale e valore aggunto è charamente negatva; se l pre test è effettuato nell ntorno d t3 ed l post test al tempo t4 la correlazone sarà crca zero; mentre se l pre test è effettuato n t4 ed l post test n t5 la correlazone è postva. L autore pertanto raccomanda l uso d dat longtudnal con almeno tre osservazon nel tempo. Tuttava Rogosa non fornsce una spegazone teorca dell eventuale ragone per la quale s possano produrre tal correlazon nell ntero ntervallo d tempo consderato, partendo coè dallo stato nzale (ad esempo t1). Se nfatt s assume che t1 sa l momento d nzo della crescta, n qualsas tempo successvo s effettu l post test la correlazone tra stato nzale e valore aggunto è negatva nel caso consderato. In partcolare, è nteressante capre come ma le due traettore s ncontrno, portando due student, al tempo t3, allo stesso lvello. Nel tentatvo d charre questo aspetto e gettare nuova luce su questo problema s consder che la prma meda nferore costtusce un momento n cu, per così dre, le traettore d crescta degl student possono venre radcalmente modfcate(cfr. fg. 15) e quello che qu nteressa è cercare una spegazone d tale modfca. 119

120 Fg. 15 Il cambamento d regme della crescta t1 t2 t3 t4 t5 Al fne d valutare l nfluenza dello stato nzale n rapporto al lvello medo della classe sarebbe necessaro calcolare l coeffcente d correlazone lneare tra le varabl e ξ () 1, che tuttava sono ncognte per cu è necessaro utlzzare le varabl stmate. D = + ε ( ) ε ( 1), Y () = ξ + ε () La correlazone tra tal varabl stmate: ( D D )( Y () 1 Y () 1 ) E (17) ρ D, Y () 1 = V ( D) V ( Y ( 1) ) è dfferente da quella rcercata, come ha dmostrato Rogosa (1995). Infatt: ρ, ξ () 1 = E ( ) ( ξ () 1 ξ () 1 ) V ( ) V ( ξ ( 1) ) = E ( ξ () 1 ) ξ () 1 V ( ) V ( ξ ( 1) ) 26 = E ( DY () 1 ) Y () 1 V ( ) V ( ξ ( 1) ) D + V 2 E( ε () 1 ) ( ) V ( ξ ( 1) ) 26 E = = = = ( ξ () 1 ) = E( ( + ε ( 2) ε ( 1) ( ε ( 2) ε ( 1) )) ( ξ () 1 + ε () 1 ε () 1 )) = E( ( D ( ε ( 2) ε ( 1) )) ( Y ( 1) ε ( 1) )) = 2 E( DY () 1 ) E( ( ε ( 2) ε ( 1) ) Y ( 1) ) E( Dε ( 1) ) + E( ε ( 2) ε () 1 ε () 1 ) = 2 E( DY () 1 ) E( ( ε ( 2) ε ( 1) ) ( ξ () 1 + ε () 1 )) E( ( + ε ( 2) ε ( 1) ) ε ( 1) ) + E ε ( 2) ε () 1 ε () E( D Y () 1 ) + E ε ( 1) + E ε 1 E ε 1 = E( D Y 1 ) + E ε ( 1) ( ) ( ()) ( ()) () ( ) ( ) = 120

121 (18) ρ, ξ () 1 = ρ ( D) ρ( Y ( 1) ) ρd () 1 1 N V 1.., Y + 2 σ ε () 1 = 1 N ( ) ( ( )) D V Y 1 ( ) 2 2 V dove ( ) ( ) ( D) V σ () + ε 1 σ 1 ε ( 2) ρ D = = N, ρ ( Y ) V ( D) V ( D) 1 V = V ( ξ ) ( Y ) V = ( Y ) V 1 N ( D) Se s applca la (18) per ogn classe s ottene la dstrbuzone d coeffcent d correlazone tra valore aggunto e stato nzale rportat n fgura 16. I valor che rsultavano nferor a 1 e superor ad 1 (che ovvamente possono verfcars n quanto nella (18) compaono valor stmat) sono stat rcondott a rspettv lmt nferore e superore. Come s rleva sono present class nelle qual l coeffcente d correlazone è negatvo, vcno a zero e postvo n entrambe le dscplne. Una possble spegazone d tal correlazon può dervare dalla teora della Zona d Svluppo Prossmale dervata da Vygotskj: 2 σ ε 1 Qund, spece n presenza d una classe molto eterogenea, è possble che l nsegnante sa costretto a sceglere d tarare le sue lezon n rapporto ad un partcolare lvello d partenza: a) se decde d tarars sul lvello pù basso, la zona d svluppo prossmale avvantaggerà solo gl student d lvello pù basso che presenteranno una crescta superore a quell d lvello pù elevato e l rsultato sarà una correlazone negatva tra stato nzale e valore aggunto; b) al contraro una correlazone postva tra stato nzale e valore aggunto potrà verfcars allorquando l nsegnante decda d tarars sul lvello pù alto; c) se nvece l nsegnante s tarerà su lvell med è probable che s osserverà una correlazone vcna a zero. In base a questa nterpretazone la dstrbuzone delle correlazon evdenza una varetà d comportament dvers da classe a classe e, da un esame dello scatter tra correlazon ed eterogenetà della classe (S(cs1): msurata attraverso l espressone (6)), sembra d poter avanzare l dea che correlazon negatve, e qund uno stle d nsegnamento che favorsce gl student d lvello nzale pù basso, sano pù probabl n presenza d una forte eterogenetà. 121

122 Fg. 16 Dstrbuzone de coeffcent d correlazone ρ, ξ () 1 nelle class e relazone con la devazone standard de valor del pretest nelle class 122

123 3.15 I vot ntern e rsultat del pre test e post test Per ogn studente s è provveduto a rlevare anche vot consegut all nterno della classe n concomtanza de test. La fgura 17 rporta lo scatter de vot ntern e delle stme delle abltà per le due matere n occasone del pre test e del post test. Come s può osservare la correlazone tra le due enttà (stme delle abltà e voto nterno) è estremamente bassa: allo stesso voto (ad esempo 2= suffcente) corrspondono valor delle abltà che s rscontrano con elevata probabltà anche n corrspondenza degl altr vot. Questo conferma, ovvamente, quello che gà s sapeva ovvero che l voto nterno non è una msura comparable tra class dverse. Fg. 17 Scatter de vot ntern e delle abltà stmate nel pre test e post test nelle class M A T E M A T I C A Pre Test Post Test I T A L I A N O Le correlazon sono rportate nella tabella 11 e sono calcolate attraverso la formula del coeffcente d correlazone tra voto nterno W (varable d tpo ordnale) e abltà latente ξ, data da una espressone analoga alla (14) nota da Rogosa (1995) come dsattenuaton formula : (19) ρ Y, W ρ ξ, W = ρ ( Y ) dove ρ ( Y ) msura l affdabltà della stma dell abltà. 123

124 Tab. 11- Correlazone tra abltà e voto nterno corrette per l affdabltà Pre test Post test Matematca Italano Tuttava la relazone tra voto nterno e stme delle abltà è n generale pù stretta. Al fne d msurare tale relazone s può fare rcorso alla formula (19) applcata a lvello d classe 27. Come s rleva nella maggoranza de cas la correlazon tra abltà latent e voto nterno superano lo 0.80, anche se v sono stuazon n cu la correlazone è vcna a zero. Fg. 17b - Dstrbuzone delle correlazon (corrette per l affdabltà) tra vot ntern e abltà latent M A T E M A T I C A Pre Test Post Test I T A L I A N O La elevata correlazone tra abltà latent e valutazon nterne consente d ottenere stme delle abltà pù affdabl sfruttando l ulterore nformazone dervante dalle 27 Le correlazon superor ad 1 sono state poste = 1, mentre quelle negatve sono state poste =

125 valutazon espresse dagl nsegnant. L dea è la seguente. Le valutazon degl nsegnant, pur essendo espresse su scale d tpo soggettvo non comparabl tra loro, dpendono comunque dalle abltà ncognte d nteresse. Anche le msure degl nsegnant, ovvamente, sono affette da error d msura, n partcolare s potrà supporre che l voto espresso dall nsegnante sa una funzone del tpo: (20) Tj = α j + β j ξj + ηj dove α e β rappresentano de parametr che caratterzzano l untà d msura dell nsegnante, ξ è l abltà ncognta dello studente e η è l errore d msura commesso dall nsegnante. Le nformazon a dsposzone crca l abltà dello studente sono pertanto due: quella nterna e quella esterna dervante da test. Pù precsamente: (21) V V ( ηj ) ( ε ) j T Y j j 2 = σ = α + β ξ = ξ η j j 2 = σ nota ε j j + ε j j j + η j e per quanto rguarda le varanze V è nota poché una sua stma è dsponble attraverso l applcazone del modello d Rasch. Pertanto è possble ottenere, attraverso l metodo d massma verosmglanza una stma delle quanttà α, β, V ( η) nonché d quelle d maggore nteresse ξ. Attraverso l uso combnato delle valutazon nterne e d quelle esterne è possble accrescere l affdabltà delle stme delle abltà ncognte e qund anche del gan score. La sntes delle valutazon nterne e delle abltà stmate s ottene attraverso una meda S sottolnea che, nel caso consderato, ( ε ) ponderata 28 delle due nformazon, con pes nversamente proporzonal alle varanze degl error: (22) ˆ ξ j σ = 2 η j Y j + β σ σ 2 η j j 2 ε j + β σ 2 j ( T α ) j 2 ε j j Per ncso questo metodo potrebbe costture, n futuro, uno strumento d sntes delle valutazon nterne ed esterne. Il vantaggo d tale sntes è che essa consente d rdurre sensblmente la varanza dell errore d msura (cfr. Gor e Battauz, 2004) e qund d accrescere l affdabltà delle stme. Nella tabella 12, s rportano a questo rguardo le analoghe quanttà d tabella 5 calcolate sulle stme delle abltà congunte ottenute dalla formula (22). 28 La formula vale nel caso n cu l voto nterno possa essere consderato d tpo contnuo. 125

126 Tabella 12 Meda nferore: Indcator relatv alle abltà e al valore aggunto ne due test (1) (2) (3) (4) (5) (6) (7) (8) (9) Indcator Numero Mssng Meda Dev. Std latente Dev. Std_oss Var_oss Var_err Var_latente Affdabltà Y1_mat_c Y2_mat_c Y1_ta_c Y2_ta_c Gan_mat_c Gan_ta_c Come s rleva dal confronto con dat rportat n tabella 5 valor med delle abltà e del valore aggunto s confermano ne loro valor, mentre s osserva un aumento dell affdabltà e una rduzone de valor delle devazon standard delle abltà latent. L ncremento d varabltà nel passaggo dal pre test al post test vene comunque confermato anche da quest ndcator calcolat sulle stme congunte delle abltà latent. I modell multlvello d base applcat a queste nuove stme porgono rsultat d tabella 13 che confermano l elevato effetto della classe per entrambe le dscplne. Tabella 13 Modell multlvello applcat alle stme congunte Sulla base d queste stme che presentano una maggore affdabltà è possble esplorare anche ulteror aspett qual ad esempo l effetto sul valore aggunto del lvello nelle altre dscplne. La seguente tabella rporta le stme de modell analogh a quell d tabella 13 con l aggunta del lvello nzale nell altra matera come varable esplcatva. 126

127 Tabella 14 Modell multlvello applcat alle stme congunte con varable esplcatva del lvello nell altra dscplna Come rsulta evdente soprattutto per la matematca, l lvello d abltà n talano aumenta la possbltà d avere un valore aggunto pù elevato n matematca anche se cò dpende molto, ancora una volta, dalla classe d appartenenza. Ovvamente l apprendmento della matematca, che alle mede pone le sue bas d tpo teorco, può rsentre dell adeguata nterorzzazone degl aspett semantc. S rleva a questo proposto una correlazone postva tra l effetto delle classe sulla ntercetta e l effetto della classe sull effetto dervante dal lvello d abltà nzale n talano. Stessa cosa, ma molto pù attenuata, avvene per l talano. La questone merterà n futuro un approfondmento d tpo metodologco: s rcorda che le varabl nserte sono affette da errore e n altra sede sarà opportuno svluppare metodologe adeguate al trattamento d questo problema che comunque, n questo caso, dovrebbe essere attenuato dal fatto d utlzzare stme congunte pù affdabl. Rsultat analogh s ottengono se s applca l anals alle sole class n cu la correlazone supera lo

128 3.16 Trade off tra eccellenza ed equtà La bassa correlazone tra voto nterno e abltà spega anche come l tentatvo d formare class eterogenee quanto a bas d partenza, come affermato n molt POF, sa destnato all nsuccesso. La fgura 18 rporta gl scatter de lvell med delle abltà e delle devazon standard (corrette attraverso la formula (6)) a lvello d classe, nel pre test e post test per le due matere. Come s può rlevare dalle fgure relatve al pre test v sono class molto omogenee e altre molto eterogenee. Nel passaggo dal pre test al post test s rleva, come gà evdenzato, una crescta meda delle abltà (la nuvola s sposta a destra) nonché un aumento della varabltà nterna delle class che, accompagnata ad una maggore varabltà de lvell med che s determna n relazone al forte effetto della classe n precedenza evdenzato, porta all aumento complessvo della varabltà delle abltà del post test gà rlevata (cfr. tab. 5). Qu s osserva che della crescta della varabltà nterna alle class è responsable n parte la correlazone tra valore aggunto e stato nzale d cu s è dscusso n precedenza. Infatt dallo scatter d tal correlazon n rapporto alle devazon standard a lvello d classe nel post test (cfr. fg. 19) s rleva come al crescere della correlazone aument tendenzalmente anche la devazone standard nel post test. Fg. 18 Scatter de lvell med e delle devazon standard delle abltà stmate nel pre test e post test per le due matere nelle class M A T E M A T I C A Pre Test Post Test I T A L I A N O 128