Modelli e sistemi innovativi per l analisi e la valutazione in ambito scolastico CUI 2018- Copyright. 1
Il Centro Universitario Internazionale Il Centro Universitario Internazionale (CUI) è un Ente di Ricerca, Formazione e Cooperazione Universitaria legalmente riconosciuto con Decreto Ministeriale 29 marzo '96 (G.U.n. 92 del 19/04/'96). Tra gli scopi del CUI si segnalano: la promozione e coordinamento di iniziative culturali, di studio e di ricerca, la gestione di progetti formativi, di ricerca e di cooperazione universitaria la promozione e gestione di azioni di mobilità scientifica L Area didattica del CUI dedicata alle Scienze del Comportamento Umano, ha permesso di sviluppare modelli di valutazione particolarmente efficaci e di formare esperti con master anche in ambito scolastico, formativo e della valutazione. - CUI 2018- Copyright. 2
Il progetto Scuola Il Progetto Scuola del Centro Universitario Internazionale (CUI) è stato sviluppato su indicazione del Direttore Scientifico del CUI, Prof. Giuseppe Sartori, Ordinario di Neuropsicologia e Neuroscienze all Università di Padova e da Demetrio Macheda, del Centro Universitario Internazionale. Il Progetto Scuola è stato sostenuto da consulenti e da uno staff di psicologi che hanno contribuito a validarlo e a contestualizzarlo rispetto all esigenza sempre più diffusa nelle Scuole superiori di supportare gli studenti non solo nella loro scelta universitaria, ma anche nel raggiungimento dei loro obiettivi scolastici (diplomarsi) e di conoscenza delle loro qualità personali, cioè quelle qualità che fanno parte del loro modo di comportarsi, di essere e che li accompagneranno e nella loro vita. - CUI 2018- Copyright. 3
Obiettivo generale del progetto Scuola 4
Obiettivi specifici Fornire agli studenti un feedback delle loro potenzialità personali emotive che, assieme alle conoscenze formate dalla scuola, garantiscono il massimo successo negli studi e nella vita professionale Migliorare e rendere più efficace l'erogazione di corsi relativi alle soft skills Fornire alla scuola e ai responsabili di specifici progetti (tutoraggio, alternanza, ad esempio) un feedback statistico delle competenze più caratteristiche degli studenti suddivisi per area didattica Monitorare le opportunità di sviluppo dell offerta formativa fornendo alle famiglie, ma anche alle istituzioni della Scuola, dati raccolti con modalità standardizzate sul tema della valutazione delle competenze implicite Sviluppare percorsi di counselling e/o coaching finalizzati all empowerment individuale. 5
Metodologia modello scientifico di riferimento del test Skill View Ricerche condotte nell ambito della psicologia (Norman, 1963; McCrae & Costa, 1987; Goldberg, 1990) hanno evidenziato una struttura comune della personalità, indipendente da parametri sociali e culturali livello e tipologia è costituita da cinque dimensioni (i Big Five, i Fattori); L insieme dei tratti di personalità oggi maggiormente accettati sono quelli di Costa e McCrae (1992), modello NEO PI R, che rispetto ai Big Five consentono di identificare nell ambito di ogni Fattore di personalità dei sottofattori che possono essere descritti ed identificati tramite la costruzione di specifici questionari. I Fattori di Costa e McCrae sono chiamati Five Factor Models (FFM) per sottolineare come la personalità degli individui dipenda da fattori naturali oltre che, in parte, da G. Sartori quelli - Demetrio culturali. Macheda 6
Metodologia Studi condotti in ambito scolastico e accademico permettono oggi di affermare che c è una correlazione tra Fattori di personalità (Estroversione, Amicalità, Coscienziosità, Equilibrio Emotivo, Apertura Mentale), stili di apprendimento degli studenti e successo accademico; In particolare i Fattori di Coscienziosità e Apertura mentale facilitano la messa in atto del soggetto di specifiche strategie di apprendimento (ad es., elaborazione e di organizzazione delle informazioni, concettualizzazione, ricerca di significato, valutazione critica; elaborazione personale delle informazioni, con proprie parole; tendenza a memorizzare fatti, date, nomi, formule, definizioni; studio metodico e ordinato; ecc.) che gli permettono poi di ottenere risultati anche negli studi successivi a quelli delle superiori. 7
L uso di Skill View nel progetto Scuola Il test Skill View è stato realizzato a partire dai primi anni 2000 come variante in ambito lavorativo del modello di Costa e McCrae (NEO PI R). Negli studi Skill View è stato utilizzato inizialmente in ambito universitario el corso degli anni 2005/10 (Bocconi, Padova, Statale di Milano, ) ed è correntemente utilizzato da Almalaurea sia nella fase di Placement che di Selezione (nome Almaskills); Il Progetto per le Scuole Secondarie con l uso del Questionario denominato Skill View è stato avviato nel 2014 per concludersi nel 2016. 8
Input Caratteristiche del Questionario Frasi che misurano dimensioni critiche delle soft-skills. Lo studente deve valutare quanto queste frasi lo descrivono. Tecnicamente: Le frasi rappresentano al meglio fattori e sottofattori ortogonali identificati con tecniche di analisi multivariata Output Profilo delle soft-skills. Confronto con un gruppo di studenti usato come benchmark. Tecnicamente: I punteggi sono punteggi standard che posizionano il soggetto rispetto alla distribuzione dei punteggi del gruppo di benchmark 9
Primo progetto Scuole Secondarie Erogazione di n.120 Questionari Skill View per capire se esistono differenze tra le norme statistiche del campione lavorativo italiano di Skill View (norme popolazione anno 2014) e quello costituito da un gruppo di giovani studenti dell ultimo anno del liceo Classico Pilo Albertelli e del Liceo Scientifico Cavour di Roma (F=80, M= 40). Il test è stato erogato prima che gli studenti svolgessero l esame di maturità. I risultati delle analisi hanno permesso di verificare delle differenze significative tra campione di lavoratori e quello degli studenti. In particolare quasi tutti i sottofattori hanno evidenziato risultati significativamente diversi sia per i maschi che per le femmine, come si può constatare nel grafico seguente: 10
11
Sottofattori e successo negli studi Rispetto ad altre ricerche nel settore scolastico che utilizzano solo i Fattori di Personalità, il modello Skill View permette una lettura più granulare e precisa dei comportamenti tramite i Sottofattori. Nel mese di Settembre 2014 i voti di maturità degli studenti che hanno fatto il test sono stati correlati con i punteggi ottenuti da ciascun soggetto ai 30 sotto-fattori di Skill View. Ecco i risultati: 12
Il sotto-fattore ricerca di stimoli è correlato negativamente con il voto di maturità, indicando che quanto maggiore è il voto, tanto minore è il punteggio a questo sotto-fattore. I sotto-fattori Prudenza, Autodisciplina, Motivazione al successo, Senso del dovere, Rendimento, Capacità di controllo, ed Intellettualità sono invece correlati positivamente con il voto di maturità, quindi quanto maggiore è il voto tanto maggiore è il punteggio a ciascun sotto-fattore. 13
Conclusione: Con Skill View si ottengono risultati coerenti a quelli di studi pubblicati su riviste scientifiche che nello svolgere le ricerche nel settore accademico utilizzano il modello NEO PI R (Five Factor Model) che è il medesimo validato tramite il Questionario Skill View. 14
Secondo progetto scuole secondarie Per poter raccogliere un maggior numero di Questionari si è proceduto a mettere a disposizione nel 2015 di Scuole di diverso tipo (tecnico, professionale, scientifico, ecc.) il test Skill View Student nel sito del Centro Universitario Internazionale. Nel corso del 2015 sono state realizzate delle nuove norme statistiche valide per una popolazione di 2.190 studenti di età 17-19 anni, Maschi (35%) e Femmine (65%). Queste norme costituiscono il benchmark di riferimento per chi compila il test Skill View Student. Queste norme saranno aggiornate anno per anno per renderle sempre più conforme all obiettivo di restituire agli studenti report aggiornati. 15
Le norme statistiche per gli studenti: Maschi e Femmine anno 2016. I sottofattori che risultano essere statisticamente significativi tra Maschi e Femmine sono quelli in neretto. Ad esempio le Femmine risultano essere più attive e socievole dei Maschi. Questi ultimi sono meno timidi e più portati a mettersi in competizione. Ecc. 16
17
Terzo progetto Evoluzioni tramite Machine Learning Uno dei problemi connessi alla scelta universitaria è che è difficile comprendere i criteri che gli studenti utilizzano per scegliere la Facoltà di loro interesse. In tale scelta molto dipende, ad esempio, dal Brand dell Università che funziona come modello implicito per iscriversi ad una facoltà, dalla disponibilità economica della famiglia, dal contesto culturale e famigliare, dalla sensibilità personale verso specifici argomenti, dalla predisposizione individuale, dal futuro lavorativo, ecc.. D altra parte la maggior parte degli studenti che si diploma va a lavorare e la flotta di coloro che proseguono gli studi e poi si laureano è comunque ridotta anche perché ci sono molti G. Sartori abbandoni - Demetrio Macheda durante il percorso accademico. 18
Terzo progetto Evoluzioni tramite Machine Learning Proprio per comprendere come la personalità possa influenzare non solo la riuscita negli studi di Scuola Secondaria, ma anche la scelta universitaria, sono stati analizzati 11.000 Questionari di Skill View compilati da Laureati di moltissime facoltà. Tuttavia in questa fase si è poi proceduto ad analizzare 3.300 questionari per 11 Facoltà, ciò a causa di troppa dispersione dell offerta formativa triennale e specialistica e dello scarso numero di questionari per specifiche facoltà, denominate anche in maniera diversa tra le diverse Università. L analisi è avvenuta tramite metodologie di Machine Learning (analisi statistica, computazionale, reti neurali, ) che permettono di individuare modelli soggiacenti i dati di non facile lettura con le sole tecniche di analisi tradizionali. 19
Esempio di output della relazione tra sottofattori e laurea conseguita per variabile sesso Grazie all impiego di queste tecniche avanzate sono state individuate delle relazioni tra sottofattori di personalità e scelta accademica con un a percentuale predittiva, a secondo della facoltà, del 60-65%. Naturalmente tale OUTPUT, che mostra algoritmi complessi, dovrà essere informatizzato e reso disponibile nel Report Student, orientamento universitario. Ciò avverrà nel corso dei prossimi mesi del 2017/18. 20
Le norme statistiche sono il cuore del sistema di valutazione Cloud Le norme statistiche del test sono state inserite in un sistema cloud che permette di gestire le valutazioni automaticamente anche via tablet e smartphone. Sulla base dei primi due progetti è stato realizzato un report specifico per gli studenti relativamente alle loro caratteristiche che meglio sono correlate al loro successo scolastico. Nel report sono fornite indicazioni relativamente allo stile di studio/apprendimento consigliato rispetto ad un eventuale scelta universitaria. Per le scuole è possibile gestire un database con analisi sia di gruppo che individuali. 21
Il report per gli studenti e sui sottofattori e sulle soft skills con ipotesi di percorsi di sviluppo professionali/universitari 22
Le aree principali dell applicativo Sotto il profilo delle funzionalità l applicativo originalskills suddiviso in tre aree: Cruscotto Gestione: per la visualizzazione dei risultati prodotti dal sistema da parte della Scuola. Studente: per l erogazione del questionario sia con anagrafica che senza. Eterovalutazione: per la raccolta di punti di vista di enti o soggetti esterni (ad esempio, Tutor,Alternanza) che possono esprimere la propria opinione sullo studente rispetto a parametri pre-definiti. Monitoraggio dello studente e dei suoi progressi 23
Ogni scuola/ente può avere un account Ogni scuola/ente ha un account proprio. Nonché un Link per gli studenti. E utilizzabile nel sito della Scuola oppure il link per fare il test puo essere distribuito di volta in volta agli studenti. Le password per i responsabili sono crittografate e ogni scuola può avere diversi livello di accesso. 24
Prima soluzione: la piattaforma con l anagrafica 25
Prima soluzione: anagrafica studente Questa anagrafica permette di raccogliere dati studenti nel tempo e considerare, ad esempio, a distanza di anni, le bonta delle valutazioni ed eventualmente contribuire a migliorare l offerta formativa e in generale la coscienza che ogni allievo/studente ha di se. Le informazioni personali sono trattate nel rispetto delle norme sulla Privacy. I risultati sono consultabili dai referenti della scuola che dovranno seguire un corso iniziale per l utilizzo del sistema. 26
Prima soluzione: dati della scuola Questa anagrafica permette di raccogliere dati studenti nel tempo e considerare, ad esempio, a distanza di anni, le bonta delle valutazioni ed eventualmente contribuire a migliorare l offerta formativa e in generale la coscienza che ogni allievo/studente ha di se. Le informazioni personali sono trattate nel rispetto delle norme sulla Privacy. I risultati sono consultabili dai referenti della scuola che dovranno seguire un corso iniziale per l utilizzo del sistema. 27
Esecuzione test: 10-12 minuti 28
Seconda soluzione: solo risultati del test senza anagrafica (sempre 10-12 Minuti) 29
QUALE SOLUZIONE SCEGLIERE? Quello che cambia tra le due soluzioni è l interfaccia Per lo studente: nel primo caso c è un anagrafica nel secondo caso no. Ma questo non incide sui tempi di esecuzione del test e nemmeno sui risultati. Per la Scuola/ENTE si tratta di decidere: se avere solo un risultato automatizzato (il report in PDF ) da consegnare allo studente previa spiegazione e assistenza se ottenere al termine del test lo stesso risultato automatizzato, con una forma diversa, con una serie di funzionalità della Piattaforma che costituiscono sicuramente un valore aggiunto rispetto al primo caso Soluzioni che integrano le due modalità possono essere previste G. ma Sartori sono - Demetrio da Macheda sviluppare per progetti specifici. 30
Road Map per progetti Attivazione di un account di prova: il Centro Universitario Internazionale rilascia un account ai responsabili di enti che operano nell ambito scolastico (anche associazioni esterne ed enti pubblici). Corso di formazione per gli operatori/docenti interessati ed elaborazione di un Piano di utilizzo per Scuola o per specifiche finalità orientative, di supporto coaching scolastico, ecc. Rilascio di test per le classi di quarta (metà anno) e quinta superiore. Ogni scuola/ente chiede il rilascio del numero di test che ritiene necessari. Supporto scientifico di analisi dei profili (in itinere) e dei dati (a fine anno). Eventuale personalizzazione di parte dell applicativo per rispondere a specifiche esigenze (pagamento a parte). 31
Modalità di acquisto La licenza d uso è rilasciata dal Centro Universitario Internazionale che è autorizzato dagli autori del test (Sartori/Macheda) a commercializzarlo secondo principi e regole rese note nel corso di formazione iniziale. I costi dei test sono o per numero/pacchetti oppure (soluzione consigliata in ambito scolastico ed universitario) illimitati. Illimitati significa che l Ente/Scuola può svolgere quanti test vuole e utilizzare una serie di funzionalità aggiuntive della piattaforma Questa soluzione illimitata è particolarmente adatta a enti che desiderano ottimizzare negli anni un loro modello e poter anche usufruire di assistenza tecnica e scientifica su piattaforma Cloud. Per una valutazione dei costi per attività illimitate è meglio condividere il contesto di utilizzo al fine di ottimizzare le prestazioni e risparmiare sui canoni annuali. 32
Tempi e modalità di avvio L account viene aperto su richiesta della Scuola che nominerà un responsabile per la gestione e altri docenti/esperti interessati al modello. Il CUI invia il contratto standard che viene firmato dalle parti e spedito via E-mail. Viene stabilita la data della formazione. Con la formazione viene rilasciato il manuale operativo del sistema. Segue fatturazione per gli importi inseriti nel contratto. Il contratto è rinnovabile di anno in anno. La scuola ha accesso al sistema anche in mancanza di rinnovo ma non può fare altri test. 33
Contatti dello staff Scientifico Responsabile scientifico: Prof. Giuseppe Sartori (Università di Padova) giuseppe.sartori@unipd.it Centro Universitario Internazionale Demetrio Macheda (Membro scientifico) +39 3356050169 dmacheda@orginalskills.com oppure dmacheda@gmail.com STAFF: Dottoressa Sara Codognotto, psicologa; Dottoressa Sara Agosta, psicologa; Sito www.studentsoftskills.com 34