Per avviare la sperimentazione occorrono le seguenti procedure:

Transcript

1 PROTOCOLLO sulle procedure e gli atti necessari e conseguenti all avvio della sperimentazione del test di valutazione delle competenze generaliste dei laureandi italiani da svolgere entro il 31 dicembre Roma, 18 dicembre Per avviare la sperimentazione occorrono le seguenti procedure: acquisizione del test Il Gruppo di esperti dell ANVUR è giunto alla conclusione che il test da acquisire ai fini della buona riuscita della sperimentazione è un test di generic skills composto sia di domande a risposta aperta che di domande a risposta chiusa, come il CLA plus. L indagine di mercato ha poi condotto i garanti nominati dall ANVUR a concludere che l unico soggetto da cui è possibile acquisirlo è il CAE di New York. Questa istituzione dovrà anche formare i lead scorers ( una quindicina di persone) e agevolare la traduzione e la somministrazione del test. Il tutto per un costo, pari a quello a suo tempo previsto per quanto riguarda la spesa del prodotto, ma azzerato per quanto concerne le spese per il bando reso non necessario dalla cifra in uscita e dalle caratteristiche speciali del produttore ( cfr Tab 1). traduzione del test Ovviamente occorre procedere alla traduzione del test che si conta di effettuare utilizzando risorse specializzate, similmente a quanto fatto dall INVALSI e dal National Project Office istituito per il test AHELO. La traduzione sarà eventualmente rivista dopo la sua validazione attraverso un focus group creato da un convenient sample di circa 100 studenti testati secondo i tempi previsti nel cronoprogramma a suo tempo indicato ( cfr Tab2). I costi per tale voce non supereranno quelli a suo tempo ipotizzati. somministrazione del test presso le 12 Università selezionate Il test deve essere somministrato per via informatica nelle 12 Università selezionate ( Piemonte Orientale, Milano Statale, Udine, Padova, Bologna, Firenze, Roma Sapienza, Roma Tor Vergata, Napoli Federico II, Salento Lecce, Messina, Cagliari).

2 Dunque, occorre formalizzare con queste una serie di regole di somministrazione, servendosi della governance già in esse creata ( un coordinatore istituzionale, professore nominato dai rispettivi Rettori, e coadiuvato da un referente amministrativo nominato dal Rettore e da un gruppo di coordinamento composto di docenti e studenti dell Ateneo). Questi costi di somministrazione sono modesti e a totale carico delle Università. Occorre anche stabilire una convenzione con un Data Center (potrebbe essere il CINECA), atto a fungere da data storage, volto a trasmettere i test alle 12 Università con un opportuno software, teso infine a fare da data repository in quanto le risposte ai test e tutte le variabili di controllo pervengono direttamente dalle Università al Data Center, ma sono immediatamente e direttamente disponibili all ANVUR. Il costo di questa convenzione con il CINECA è per l ANVUR pari a zero (cfr la correzione apportata nella ultima colonna della Tab 1). formazione dei lead scorers e scorers La formazione dei lead scorers, svolta dal CAE, riguarda circa 15 persone ( i 12 lead scorers delle 12 Università, 2 persone dell ANVUR, 1 o 2 dell INVALSI) e deve avvenire nei tempi previsti dal cronoprogramma. L intera operazione di formazione dei 100 correttori complessivi delle Università, necessari per lo scoring dei test di circa studenti previsti ( cfr Tabb 3 e 4), sarà gestita dall INVALSI e coordinata da Roberto Ricci a costo zero per l ANVUR. In cambio, l INVALSI chiede che 2 sue risorse umane possano fungere da research assistant a chi svolgerà l analisi statistico-economica dei dati. analisi statistico-economica dei dati Poiché in questa sperimentazione il CINECA o altro possibile server svolge solo un ruolo di supporto mentre la banca dati è a disposizione dell ANVUR, l ANVUR intende servirsene in forma anonima per svolgere e far svolgere a studiosi di fama internazionale analisi statistico-economica dei risultati (per esempio depurando i livelli dei test osservati con le variabili di contesto, al fine di costruire stime sul valore aggiunto, come indicato sul sito dell ANVUR). Il costo di questa operazione sicuramente non eccederà quello a suo tempo previsto, anche perché, come sopra precisato, alcune risorse umane saranno messe a disposizione degli studiosi gratuitamente. Per dare correttamente seguito a questa fase occorre precisare i confini di utilizzo dell esito dei test da parte delle Università, previo accordo con il Garante della privacy.

3 creazione del National Project Office L ANVUR funge da National Project Office e coordina tutta la sperimentazione. L ufficio dispone di una governance in quanto l Agenzia ha nominato un primo gruppo di esperti che, lavorando nel giugno 2012, ha individuato i principali criteri della sperimentazione e poi ha nominato un secondo gruppo di esperti che, a partire dal settembre 2012, sta collaborando alla implementazione della sperimentazione in vari modi, senza percepire alcun compenso. Vi è poi un gruppo di garanti nominati dall ANVUR, responsabili dell adattamento del test CLA plus al caso italiano e dell accordo sulla forma finale del test comperato dal CAE. Il personale di supporto del National Project Office sarà prevalentemente ottenuto attraverso accordi con il MIUR e attraverso una convenzione con la CRUI, essendo di reciproco interesse che qualche loro collaboratore possa collaborare con l Agenzia nel National Project Office. Il costo per l ANVUR sarà non maggiore di quello a suo tempo previsto. finanziamento della sperimentazione Nel bilancio di previsione dell ANVUR, sono appostati euro spendibili per la sperimentazione nell anno Essi sono sufficienti, nell anno 2013 della sperimentazione, ad acquistare il test, tradurlo, somministrarlo nei focus group e in via definitiva, formare i lead scorers e gli scorers, elaborare i dati, provvedere all analisi economico-statistica dei risultati dei test, infine anche a compensare un giovane collaboratore per il National Project Office attraverso una convenzione con la CRUI. Per far fronte ad altre attività, l ANVUR sta acquisendo ulteriori risorse da Fondazioni Bancarie, da una Regione e dal Ministero per il Mezzogiorno. Il presidente dell ANVUR e il coordinatore della sperimentazione hanno avuto rassicurazioni che esse saranno rese disponibili all inizio del Se tutte le rassicurazioni si materializzassero, i finanziamenti della sperimentazione eccederebbero largamente i costi per l ANVUR della stessa.

4 APPENDICE Tab1 COSTI nel 2013 COSTI PREVISTI NELL AGOSTO 2012 COSTI PREVISTI NEL DICEMBRE 2012 National Project Office Bando/i Gara Acquisto prodotto Traduzione questionario del Training Somministrazione e data cleaning Elaborazione dati TOTALE COSTI nel

5 Tab. 2 - Tempi e fasi della sperimentazione Ipotesi basata sulle attività da sviluppare nell'arco di 18 mesi a partire da Agosto M1 M2 M3 M4 M5 M6 M7 M8 M9 M10 M11 M12 M13 M14 M15 M16 M17 M18 1 Nomina del Comitato di garanti per la selezione internazionale 2 Creazione del Project Office (cabina di regia della sperimentazione). Nomina del NPM, del NPA, del LSC 3 Scelta delle università che partecipano alla sperimentazione 4 Pubblicazione del(i) bando(i) di gara (produzione, traduzione, somministrazione, analisi dati) 5 Presentazione della sperimentazione agli stakeholder 6 Individuazione e training degli IC e degli SC 7 Selezione produttore, traduttore,somministrato re, analizzatore dati 8 Raccolta variabili di contesto nelle università che partecipano alla sperimentazione e altrove 9 Traduzione del test 10 Gestione del test 11 Test preliminare: focus group nelle università partecipanti 12 Validazione della traduzione del test 13 Somministrazione test nelle università partecipanti 14 Correzione, controllo, analisi dati 15 Presentazione esterna risultati della sperimentazione

6 TAB 3 DATI RELATIVI AL TOTALE DELLE UNIVERSITA' ITALIANE E ALLE 12 UNIVERSITA' DELLA SPERIMENTAZIONE - Corsi di laurea di primo livello, ad esclusione delle professioni sanitarie (a. a. 2010/2011) TOT 1-4 TOT 1-10 ITA TOT Studenti nei primi 4 anni di iscrizione e in totale ITA di cui hanno conseguito un numero di crediti in attività formative di base e caratterizzanti almeno pari a quello previsto dal corso di studi cui sono iscritti (cioè Laureandi) 12 Universita' della sperimentazione - TOT Studenti nei primi 4 anni di iscrizione e in totale 12 Università della sperimentazione - di cui hanno conseguito un numero di crediti in attività formative di base e caratterizzanti almeno pari a quello previsto dal corso di studi cui sono iscritti (sui Laureandi nei primi quattro anni di iscrizione viene fatto il test con un minimo del 50%) TAB 4 DATI RELATIVI AL TOTALE DELLE UNIVERSITA' ITALIANE E ALLE 12 UNIVERSITA' DELLA SPERIMENTAZIONE - Corsi di Laurea a Ciclo Unico (a. a. 2010/2011) TOT 1-4 TOT 1-10 ITA TOT Studenti nei primi 4 anni di iscrizione e in totale ITA di cui hanno conseguito un numero di crediti in attività formative di base e caratterizzanti almeno pari a 120 (cioè Laureandi) 12 Universita' della sperimentazione - TOT Studenti nei primi 4 anni di iscrizione e in totale 12 Università della sperimentazione - di cui hanno conseguito un numero di crediti in attività formative di base e caratterizzanti almeno pari a 120 (sui Laureandi nei primi quattro anni di iscrizione viene fatto il test con un minimo del 50%) Dati dell Anagrafe degli Studenti