Antonio Macaluso Osservatorio Abbandoni: il Machine Learning al servizio delle Università

Transcript

1 Antonio Macaluso Osservatorio Abbandoni: il Machine Learning al servizio delle Università

2 Contesto Negli ultimi anni il mondo universitario è stato soggetto a fortissimi cambiamenti dal punto di vista normativo Definiti 23 indicatori e parametri per la Valutazione Periodica delle attività formative che caratterizzano i corsi di studio e le carriere degli studenti Tasso di laurea, Tasso di abbandono dei corsi di laurea, % iscritti al II anno con X CFU, etc. «il metodo più corretto e affidabile per analizzare i fenomeni legati al percorso e all esito delle carriere accademiche degli studenti universitari è quello che utilizza dati individuali sugli studenti e segue in modo longitudinale gli eventi della carriera»

3 Situazione nazionale Tasso di successo degli studenti che sfiora il 60%

4 Il Proge5o

5 Cos è? Attinge dai dati del Datawarehouse della Segreteria Studenti. La previsione è basata su un algoritmo di machine learning. Vengono osservate 28 diverse variabili relative a dati (a) socio-demografici, (b) di carriera, (c) di performance. Vengono previsti gli abbandoni che si verificheranno nell AA. È possibile conoscere esattamente gli studenti a rischio abbandono e con quale probabilità. I risultati sono presentati in forma di dashboard sul Portale Abbandoni.

6 Obie;vi ed applicazioni Fornire gli strumenti che consentano all Ateneo di monitorare il fenomeno degli abbandoni nell Ateneo. Fornire i dati di previsione che consentano di attuare opportune azioni correttive e di contrasto. Creare una community per stimolare la discussione sui fattori che determinano il drop out studentesco. Possibili applicazioni: Azioni di contrasto: contatto diretto, corsi di recupero, tutoraggio, questionari,..; Identificazione delle principali cause; Feedback verso lo studente; Programmazione della didattica; Analisi di fenomeni legati a particolari corsi, regolamenti o condizioni al contorno; Previsioni sulla contribuzione studentesca;

7 Come funziona? Dati anagrafici Dati di carriera Dati di performance Datamart studenti Database di appoggio Addestramento Procedura machine learning Modello Predittivo Database abbandoni Portale Osservatorio Abbandoni

8 Cosa offre il servizio Il Servizio Osservatorio Abbandoni prevede: Cruscotti di analisi storica dei dati di abbandono degli studenti dell Ateneo. Cruscotti di analisi predittiva sul rischio di abbandono per gli studenti iscritti ai corsi di Laurea Triennale dell Ateneo. La possibilità di scaricare i dati delle previsioni di abbandono (nominativi e probabilità). La possibilità di effettuare un confronto (benchmark) con i dati storici e di previsione degli altri Atenei partecipanti all Osservatorio. La possibilità di partecipare agli eventi organizzati nell ambito della community sugli abbandoni per fare rete con gli altri Atenei sul tema della student retention.

9 Un approccio diverso Modello Osservatorio Il modello pensato per l osservatorio presenta alcune caratteristiche che lo differenziano rispetto ai servizi tradizionalmente offerti da Cineca: Nessun lungo progetto di avvio: l adesione all osservatorio richiede, oltre al caricamento, solo una verifica iniziale dei dati a garanzia dell'accuratezza delle previsioni. Nessuna applicazione complessa: i dati sono immediatamente consultabili attraverso il portale senza necessità di particolare formazione. Servizio leggero : la modalità selfservice tramite portale e la standardizzazione del sevizio offerto permette di avere un canone di utilizzo particolarmente contenuto.

10 Condivisione e Benchmark L Osservatorio vuole promuovere un confronto tra gli Atenei basato su un mutuo scambio di informazioni tra i partecipanti. Quali dati sono condivisi? All interno dell OA sono condivisi solo dati aggregati relativi a storico e previsione degli abbandoni. Non verranno mai diffusi dati o informazioni su singoli studenti. Chi può vedere questi dati? I dati condivisi sono visibili esclusivamente agli altri Atenei partecipanti all Osservatorio.

11 Cosa non è l Osservatorio Non è un sistema datawarehouse o di reporting. Non acquisisce dati da fonti esterne. Tutti i dati provengono dal datamart studenti. Non fornisce indicatori ufficiali. I dati eventualmente certificati provengono dal datamart. Non permette la creazione di report di analisi custom o personalizzati.

12 Il Portale dell Osservatorio Abbandoni

13 Il Portale dell Osservatorio Tutti i dati sono accessibili attraverso il Portale dell Osservatorio Abbandoni. Una serie di cruscotti rappresentano graficamente i dati con la possibilità di creare velocemente dei filtri. STUDENTI Dati degli studenti iscritti all Ateneo. ABBANDONI Dati storici sugli studenti che hanno abbandonato. RISCHIO ABBANDONO Dati di previsione sul rischio di abbandono.

14 Il Portale dell Osservatorio (2) Il menù permette di selezione l insieme studenti analizzato, l Anno Accademico e l ateneo L interattività del portale consente di studiare anche piccoli sottoinsiemi di studenti

15 Sezione «Demografia» Descrivere il collettivo di riferimento Individuare «fattori di rischio» legati agli aspetti socio-demografici degli studenti

16 Sezione «Carriera» Indagare gli insiemi più a rischio studiando il percorso accademico e pre-accademico Esistono aree didattiche che sfavoriscono alcuni studenti sulla base dello «storico»?

17 Sezione «Performance» Riguardano la «partecipazione» dello studente alla vita universitaria Quanti esami/cfu lo studente sostiene in media ad ogni sessione? Da quanto tempo lo studente non sostiene un esame?

18 Area «Rischio Abbandono» Per ogni studente l algoritmo di Machine Learning fornisce una «probabilità di abbandono» nell AA corrente Dato di previsione è disponibile anche (e soprattutto) per l anno accademico corrente Quali sono le caratteristiche degli studenti che hanno un alta probabilità di abbandonare gli studi? E possibile accedere sia all informazione puntuale che a quella aggregata

19 Previsione e Benchmarking Confronto diretto tra l ateneo e gli altri atenei in forma aggregata Studio delle caratteristiche degli studenti attualmente a rischio

20 Metodologia L utilizzo del Machine Learning per la previsione degli abbandoni

21 Machine Learning Scienza che permette ai computer di agire senza essere esplicitamente programmati attraverso algoritmi che «apprendono» dai dati sotto forma di «esempi» Definizione di un insieme di variabili Predittori (input) Variabile target (output) Gioca un ruolo chiave in molte aree: Scienza, Finanza, Industria Previsione in ambito bio-medico Previsione in ambito economico (e.g. prezzo) Previsione in ambito industriale

22 Analisi predi;va: gli abbandoni universitari Dati di addestramento: Storia delle carriere universitarie presenti nel DataMart Segreteria Studenti Algoritmi: ü Decision Tree, ü Random Forest ü Gradient Boosting Machine Obiettivo: date le caratteristiche di uno studente, qual è la probabilità che tale studente abbandonerà nell anno corrente?

23 Codifica dap Per ogni studente vengono considerate tre tipi di informazione Ø Caratteristiche socio-demografiche: Cittadinanza, Genere, Residenza, Scuola diploma (tipo + voto), Età, etc. Ø Caratteristiche della carriera: Tipo di corso, Test di ingresso, Trasferimento in ingresso, Immatricolazione, Dipartimento, etc. Ø Performance dello studente: Esami sostenuti, CFU acquisiti, Media voti, n anni fuoricorso La variabile obiettivo è rappresentata dalla codifica dello status dello studente al termine dell anno accademico: Y = 1 se lo studente abbandona nell AA corrente Y = 0 se lo studente non abbandona nell AA corrente

24 Simulazione per anni precedenp Analisi dello storico del collettivo degli abbandoni Simulazione di previsione negli anni precedenti Il metodo risulta essere «robusto» Analisi degli abbandoni per Anno Accademico 78% 76% 74% 72% 70% 68% 66% 64% 62% Non abbandoni Abbandoni SensiPvity

25 Simulazione per AA precedenp StudenP del primo anno Circa la metà degli abbandoni ogni anno si verifica nel passaggio tra il primo e il secondo anno Analisi specifica sugli studenti del primo anno Analisi degli abbandoni al I anno % Non Abbandoni Abbandoni SensiPvity 80% 78% 76% 74% 72% 70% 68% 66% 64%

26 Variabili più «influenp» Circa la metà degli abbandoni ogni anno si verifica nel passaggio tra il primo e il secondo anno 18% IMPORTANZA DELLE VARIABILI 16% 14% 12% 10% 8% 6% 4% 2% 0%

27 Relazione sulla Metodologia Ogni ateneo avrà a disposizione una relazione tecnica contenente la spiegazione della metodologia alla base della previsione: Terminologia: definizioni di dominio Definizione delle variabili Definizioni delle metriche di performance dei modelli Modelli di Machine Learning a confronto: Decision Tree, Random Forest, Gradien Boosting Machine Metriche di performance di ogni modello Variable importance Risultati in media dei modelli La Metodologia è comune, i dati e le specifiche analisi sono relative al singolo ateneo

28 Altre informazioni Il servizio richiede solo pochi giorni per l attivazione. È richiesta come precondizione il DW Segreteria Studenti. Verrà chiesta l autorizzazione alla pubblicazione di dati aggregati che saranno consultabili esclusivamente dai partecipanti all OA. L accesso a tutti i report ed i cruscotti avviene attraverso il Portale dell osservatorio. Il POA è disponibile durante tutto il periodo dell anno mentre i dati di previsione sono pubblicati a Settembre ed a Marzo. In caso di interruzione del servizio, tutti i dati storici rimangono a disposizione dell Ateneo. Non verranno aggiornati i dati di previsione. Verrà reso disponibile un ambiente demo contenente dati «fittizi» attraverso il quale sarà possibile simulare l utilizzo del Portale

29 Conta; Per qualunque informazione sull Osservatorio Abbandoni rivolgersi a a.macaluso@cineca.it f.gallerani@cineca.it l.avaldi@cineca.it