Vincenzo Carbone Coordinatore PQA UNICAL

Transcript

1 Autovalutazione, Valutazione periodica, Accreditamento (A.V.A.): La valutazione della ricerca e la Scheda Unica Annuale della Ricerca Dipar>mentale (SUA- RD) Vincenzo Carbone Coordinatore PQA UNICAL

2 D.M. 47/2012, art. 3 comma 5 Seconda fase del sistema A.V.A.: Accreditamento periodico delle Sedi 1) Accreditamento iniziale; 2) Accreditamento periodico; 3) Valutazione periodica L'accreditamento periodico viene conseguito, nell arco di cinque anni, dalle sedi che soddisfano i requisi> per l accreditamento iniziale e quelli previs> per l Assicurazione della Qualità (QA) a seguito della verifica da parte dell'anvur sulla base dei seguen> criteri: a) esito delle visite in loco delle Commissioni di Esper> della Valutazione (CEV); b) analisi dei da> della relazione annuale dei Nuclei di Valutazione interna, trasmessa entro il 30 aprile di ogni anno; c) valutazione delle informazioni contenute nelle Schede Uniche Annuali rela>ve ai Corsi di Studio (SUA- CDS), anche in relazione ai rispewvi Rappor> di Riesame; d) valutazione delle informazioni contenute nelle Schede Uniche Annuali della Ricerca dei Dipar>men> (SUA- RD); c+d! cos>tuiscono l analisi delle risultanze dell awvità di monitoraggio e di controllo della qualità dell awvità didawca e di ricerca svolta da tub i soggeb coinvol> nel sistema di qualità di ateneo; f) analisi dei risulta> derivan> dall applicazione degli indicatori previs> per la valutazione periodica delle awvità forma>ve e di ricerca, adoxa> dal Ministero su delibera dell ANVUR e aven> valenza triennale.

3 Sistema AVA ed FFO Legge 298/2013, art. 60, comma 1 Distribuzione quota premiale FFO legata alla ricerca (3/5 QP FFO basa> sui risulta> della VQR) Risulta> della VQR Cadenza quadriennale Quota premiale FFO Cadenza annuale VALUTAZIONE PERIODICA 1) Indicatori risulta> della didawca 2) Indicatori risulta> della ricerca 3) Indicatori terza missione 4) Indicatori applicazione sistema AQ ACCREDITAMENTO PERIODICO DI SEDE FaXore di mol>plicazione dei risulta> della VQR e della SUA- RD. TuW gli atenei partono da un faxore pari ad 1.

4 Come passare da un sistema di valutazione esterna della qualità (quadriennale), ad un sistema di auto- valutazione (annuale)? Scheda SUA- RD: Rappresenta il sistema di autovalutazione della qualità della ricerca a cura del dipar>mento, in axesa della successiva VQR.

5 StruXura della SUA- RD PARTE I: ObieWvi, Risorse e Ges>one del Dipar>mento Sistema di Assicurazione della Qualità PARTE II: Risulta> della Ricerca PARTE III: Terza Missione Sistema di Assicurazione della Qualità e Valutazione Periodica

6 PARTE I: ObieWvi, Risorse e Ges>one del Dipar>mento Sezione A. ObieBvi di Ricerca del Dipar>mento 1) SeXori di Ricerca nei quali opera il dipar>mento; 2) ObieWvi di ricerca (triennali) in linea con il piano strategico di ateneo, ed i principali obiewvi misurabili di ricerca per l anno successivo a quello di compilazione, tenendo conto delle cri>cità e dei pun> di miglioramento emersi dal riesame (vedi Quadro B.3). Nota: upload di un file pdf (max 10 pagine)

7 PARTE I: ObieWvi, Risorse e Ges>one del Dipar>mento Sezione B. Sistema di ges>one del dipar>mento B1. StruVura organizza>va del dipar>mento: Organi/funzioni di governo, soxolineando quelli incarica> di programmare le awvità di ricerca, distribuire fondi e valutare i risulta> della ricerca. B2. Poli>ca per AQ del dipar>mento: Responsabilità e modalità opera>ve axraverso cui il dipar>mento persegue e mexe in axo le poli>che di AQ della ricerca dipar>mentale (il processo è in fase di studio del PQA e verranno emanate a breve delle linee guida per i diparfmenf interessaf). B3. Riesame della ricerca del dipar>mento (importante!): Riflessione ed autovalutazione del dipar>mento tenendo conto di: a) ObieWvi dell anno precedente e dei pun> di miglioramento individua>; b) Analisi dei risulta>, evidenziando cri>cità, pun> di miglioramento e rela>vi interven> propos> dal precedente riesame, individuando scostamen> e proposte di miglioramento per l anno successivo (nella prima applicazione il riesame parte dalla VQR ).

8 Parte I: ObieWvi, Risorse e Ges>one del Dipar>mento Sezione C. Risorse umane ed infrastruvure C1. InfrastruVure: a) Laboratori di ricerca b) Grandi infrastruxure c) Biblioteche d) Patrimonio bibliografico (collaborazione LIO- PQA con l ausilio dei servizi stafsfci per una mappatura di Ateneo) B2. Personale Elenco del personale (docen>, ricercatori, doxorandi, assegnis>) (queste informazioni sono travasate direoamente dal sito CINECA, ma è bene controllare!).

9 Parte II:Risulta> della ricerca Sezione D. Produzione scien>fica D1. Elenco delle pubblicazioni (travasate dire/amente dal sito docente del CINECA a valle delle indicazioni del docente), riferite agli anni Indicazioni: 1) Docen>, doxorandi ed assegnis> sono tenu> ad aggiornare il sito CINECA: prodow di ricerca e curriculum. 2) Co- autori stranieri (pubblicazione con collaborazione internazionale); 3) SSD da axribuire ad ogni prodoxo (che sarà successivamente valutato in base ad una area CUN- VQR); 4) Dis>nzione fra: prodoxo di ricerca o terza missione (ancora non ben definito, terza missione differente dalla ricerca); 5) Nei sexori non- bibliometrici, rispexo alle monografie di ricerca ed edizioni cri>che, segnalare le recensioni ricevute (nel periodo ) sulle sole riviste di fascia A (elenco CUN) o nelle base da> ISI e SCOPUS; 6) Parte non- bibliometrica Area 08 (ArchiteXura) segnalare i progew premia> in concorsi di progexazione e premi di architexura, e cura di mostre.

10 loginmiur.cineca.it Campo aggiunto per dexagliare il curriculum Campo aggiunto per dexagliare i lavori da travasare sulla SUA- RD

11 loginmiur.cineca.it Lavori scien>fici

12 Maschera della Sezione SUA- RD

13 Parte III: Risulta> di Terza missione Non esiste a tux oggi una definizione chiara e coerente per tuxe le Aree CUN. ANVUR ha individuato 33 differen> definizioni (per 14 Aree CUN!). La scheda della SUA- RD non riporta ancora i campi rela>vi alla parte III. Tenta>vo (collaborazione LIO- PQA e servizi sta>s>ci) di individuare alcuni indicatori che dovrebbero necessariamente far parte di questa sezione. Cose chiare: 1) E ben definita cosa si intende per terza missione per l Area 06 (Scienze mediche); 2) Terza missione ben separata da awvità di ricerca.

14 Indicazioni e dubbi (a valle dell incontro CRUI del 21/05/2014) Non è ancora chiaro come legare VQR con SUA- RD, per il riesame, sopraxuxo nelle aree non- bibliometriche (peer review). Una idea potrebbe essere quella di acquisire l autovalutazione dei dipar>men> (SSD, Aree) come modello da confermare ex post. Alla prossima VQR il PQA validerà il modello, ossia ne valuterà la predicibilità rispexo alla valutazione nazionale ANVUR. Le aree non bibliometriche presentano un problema peculiare. Bisogna trovare degli indicatori di qualità per queste aree, in alterna>va la valutazione verrà faxa SOLO su base quan>ta>va (numero di prodow di ricerca conferi>). La classificazione di cosa si intende per prodoxo di ricerca è quella redaxa dal CUN. L obiewvo temporale della SUA- RD è triennale. ObieWvi annuali per la ricerca hanno poco senso, sono i miglioramen> annuali in vista dell obiewvo triennale che hanno un senso.

15 Indicazioni e dubbi (a valle dell incontro CRUI 21/05/2014) AXraverso la SUA, le pubblicazioni del sito docente diventano in qualche modo pubbliche. E il direxore di dipar>mento che è direxamente responsabile di quali pubblicazioni sono travasate dal sito docente sulla SUA- RD (controllo sulla qualità). Non ancora chiaro cosa succederà degli autori mul>pli. Lo si vedrà in fase di sperimentazione. La sperimentazione è basata solo sui prodow del Nella fase di compilazione della SUA si passerà anche agli anni 2012 e Le schede SUA verranno lexe! Questo è fondamentale. Le riflessioni del dipar>mento sulla qualità della ricerca siano trasparen> quanto più possibile. Quale SSD applicare ad ogni lavoro? Ancora non chiaro cosa succederà. S>amo scrivendo assieme le regole del gioco (anche se iniziamo a giocare senza conoscere tuoe le regole!). Non si sa ancora se la valutazione SUA- RD sarà integrale o media (sul triennio), si vedrà dopo la sperimentazione. La cosa non è neutra, infaw se la valutazione è media alcuni lavori non eccellen> sono difficilmente accexabili. Viceversa, sulla valutazione integrale si può accexare anche qualche lavoro meno significa>vo dal punto di vista scien>fico.

16 Accreditamento periodico delle sedi

17

18

19 Linee guida emanate dal PQA ed indirizzate ai direxori di dipar>mento per la compilazione della SUA- CdS

20 Parametri che entrano a far parte del processo di accreditamento 1) Percentuale di docen> inawvi (nessuna pubblicazione negli ul>mi 5 anni); 2) Produzione scien>fica per area degli ul>mi 10 anni/docen> di ateneo; 3) Numero di premi nazionali ed internazionali; 4) AWvità di divulgazione scien>fica e culturale; 5) Fellow (o equivalen>) di società scien>fiche; 6) Rapporto numero di progew in bandi compe>>vi/numero docen> dell ateneo negli ul>mi 10 anni; 7) Percentuale di prodow negli ul>mi 5 anni con coautori stranieri; 8) Numero medio di tesi di doxorato per docente; 9) Numero medio di brevew per docente negli ul>mi 10 anni; 10) Rapporto faxurato conto terzi e progew di ricerca vin> in bandi compe>>vi/numero docen> dell ateneo negli ul>mi 10 anni; 11) Numero di spin- off degli ul>mi 10 anni; 12) Numero di awvità extra moenia collegate alle aree di ricerca (organizzazione di awvità culturali o forma>ve, ges>one di musei e si> archeologici, organizzazione di convegni ); 13) Numero di mesi/uomo di docen>/ricercatori stranieri trascorsi in Ateneo; 14) Risulta> VQR.

21 Indicatori e conclusione della I fase Ogni parametro è associato ad un indicatore. A conclusione della I fase per ogni Ateneo saranno calcola> 5 indicatori come somme pesate dei singoli indicatori (ancora non definito l algoritmo!): 1) Indicatore di Ateneo per la ricerca derivato dalla SUA- RD: IFR SUA- RD 2) Indicatore di Ateneo per la terza missione derivato dalla SUA- RD: IFTM SUA- RD 3) Indicatore di Ateneo per la ricerca derivato dalla VQR: IFR VQR 4) Indicatore di Ateneo per la terza missione derivato dalla VQR: IFTM VQR 5) Indicatore di Ateneo derivato dalla SUA- RD: IFRED SUA- RD

22 Calcolo indicatori II fase U>lizzando i risulta> della VQR quadriennale (VQR à 2014; VQR à 2017) e della SUA- RD annuale, i 5 indicatori si combinano per oxenere un Indicatore Finale di Sede, con un modello che combina i risulta> della VQR e della SUA- RD: IFS = γ R ( α VQR IFR VQR +α SUA RD IFR ) SUA RD + +γ ( TM α VQR IFRTM VQR +α SUA RD IFRTM ) SUA RD + γ RED IFRED SUA RD I pesi γ sono axribui> a ricerca, terza missione e indicatore IFRED (pesi poli>ci ) I parametri α rappresentano i rappor> fra VQR e SUA- RD (ancora non chiarif per le aree non- bibliometriche!) Valori defini> posi>vi, con somma pari a 1

23 Ipotesi per i parametri e QP FFO 1) Il parametro α VQR dovrebbe assumere valori decrescen> (0.9, 0.7, 0.6, 0.5) nei quaxro anni a par>re dall anno di disponibilità della VQR 2) Il parametro α SUA- RD rinnova> ogni anno, dovrebbe assumere valori crescen> (0.1, 0.3, 0.4, 0.5) nei quaxro anni a par>re dall anno di disponibilità della VQR 3) Il valore dell indicatore finale di Ateneo (IFS) viene poi mol>plicato per un coefficiente >=< 1 in relazione allo stato dell Ateneo nell accreditamento periodico, a valle della visita dei CEV (in prima baouta tuv gli atenei hanno valore 1, che cambia a parfre dalla PRIMA visita dei CEV). 1/5 basato sulle poli>che di reclutamento dell ateneo; 3/5 basato sulla valutazione periodica della ricerca, ossia VQR/SUA- RD; 1/5 basato sulla valutazione periodica della didawca, ossia SUA- CdS e altri indicatori didawci.

24 Road map Fase di sperimentazione Inizio VQR VQR Primo riesame: SUA- RD VQR SUA- RD VQR SUA- RD VQR SUA- RD VQR SUA- RD /04/2014: Inizio sperimentazione 31/07/2014: fine sperimentazione 01/10/2014: inizio compilazione SUA- RD 31/12/2014 (?): chiusura SUA- RD (maggio 2015 per i NdV)