ricerca dipartimentale

Transcript

1 La scheda SUA RD Università degli studi della Basilicata Potenza, 1 ottobre 2013 La valutazione della ricerca dipartimentale L esperienza di UNITN Daria de Pretis Foto Bernardinatti Archivio Università di Trento

2 La valutazione della produttività scientifica adottata dall Università di Trento L approccio Confrontare il posizionamento del docente UNITN in termini di numero di pubblicazioni, con determinati requisiti prodotte su un arco temporale definito, rispetto a quello della sua area di appartenenza a livello nazionale Le caratteristiche salienti Metodo bibliometrico con «componente qualitativa» applicata a tutte le aree. Confronto della produttività del docente con la popolazione di riferimento i nazionale (SSD e fascia/ruolo) Analisi di un intervallo temporale relativamente estesa

3 La valutazione della produttività scientifica UNITN Il metodo bibliometrico e il confronto nazionale A. Definizione dei prodotti da valutare (monografie, articoli su rivista, ecc.) B. Identificazione dei criteri di classificazione dei prodotti in 3 classi per rilevanza e qualità (A internazionale/eccellenza; B nazionale/buona; C accettabile) Per le aree scientifiche bibliometriche rif. alle banche dati (no indicatori citazionali) Per le aree scientifiche non bibliometriche rif. a liste di riviste e di case editrici riconosciute a livello internazionale e nazionale (ERC, ecc.) C. No analisi censuaria della popolazione nazionale di docenti ma costruzione di un campione casuale stratificato per SSD e fascia sulla base della struttura di UNITN Ai docenti nazionali del campione è stato richiesto l elenco delle pubblicazioni poi classificate secondo il criteri UNITN D. Arco temporale di riferimento

4 La valutazione della produttività scientifica UNITN Esempidicriteri diclassificazione Dipartimento scientifico Basi dati di riferimento: Thomson Web of Knowledge (Science citation index expanded: ddwb Web of Si Science, Inspec, Mdli Medline); Scopus e (Google Shl Scholar); SPIE Digital Library Classe A: riviste ISI o ISI like e monografie a diffusione internazionale Classe B: altre pubblicazioni internazionali Classe C: pubblicazioni nelle banche dati Scopus e Google Scholar non comprese nelle classi A e B Dipartimento umanistico Basi dati di riferimento: Standing Committee for the Humanities Building a European Reference Index For the Humanities ERIH e Linee guida adottate dal CUN Classificazione di prodotti e attività di ricerca in campo umanistico bozza 21/05/2009 Suddivisione in 3 fasce: A, B e C con dettaglio del criterio di popolamento per ogni tipologia di pubblicazione considerata (pubblicazioni in riviste; opere collettive/ miscellanee/atti di congresso/ festschriften; monografie; edizioni critiche; traduzioni

5 La valutazione della produttività scientifica UNITN Le Aree VQR e gli ambiti UNITN Area VQR Ambiti UNITN Docenti Area 01 Scienze matematiche e informatiche Matematica 38 Area 02 Scienze fisiche Scienze fisiche 39 Area 03 Scienze chimiche Scienze chimiche 10 Area 05 Scienze biologiche Scienze biologiche 7 Area 08a Ingegneria civile Ingegneria ambientale 24 Ingegneria civile e strutturale 18 Area 08b Ingegneria Architettura Architettura 13 Ingegneria dei materiali 22 Area 09 Ingegneria industriale e Ingegneria gg elettronica e delle telecomunicazioni 48 dell'informazione i Ingegneria meccanica 13 Area 10 Scienze dell'antichità, filologicoletterarie e storico artistiche storico artistiche Scienza dell antichità, filologiche letterarie e 64 Area 11a Scienze storiche, filosofiche, pedagogiche Scienze storiche, filosofiche e pedagogiche 35 Area 11b Scienze psicologiche Scienze psicologiche 35 Area 12 Scienze giuridiche Scienze giuridiche 74 Area 13 Scienze economiche e statistiche Scienze economiche e statistiche 38 Scienze economico aziendali 40 Area 14 Scienze politiche e sociali Scienze politiche e sociali 56 Totale 574

6 La valutazione della produttività scientifica UNITN L attività Lattività UNITN Campione nazionale Docenti valutati: 564 Docenti valutati: 869 Prodotti classificati: di cui 60% in classe A Prodotti classificati: di cui 53% in classe A I pesi Classe A = 0,57 Classe A + B = 0,29 Classe A + B + C = 014 0,14 1,00 L output per ogni docente indice che compone, mediante i pesi, i posizionamenti sulle curve di probabilità cumulata di pubblicazione stimate attraverso il campione nazionale per le classi ia, AB A+B e A+B+C per i dipartimenti risultato medio del posizionamento A+B+C dei docenti afferenti appartenenti a SSD diversii

7 La valutazione della produttività scientifica di UNITN Le Aree VQR e gli ambiti UNITN In questa maniera viene assegnato a ciascun docente un numero (compreso tra 0 ed 1) che rappresenta il suo posizionamento i rispetto alla distribuzione nazionale della area di riferimento (1 rappresenta il posizionamento al vertice, 0 il posizionamento al fondo della classifica). La somma dei valori dei docenti del dipartimento rappresenta la valutazione del dldipartimento. i Il rapporto tra la valutazione del singolo dipartimento e la somma delle valutazioni di tutti i dipartimenti rappresenta lo score medio relativo del singolo dipartimento. Questo valore è stato quindi confrontato con gli esiti della VQR

8 La valutazione della produttività scientifica Modalità del confronto VQR UNITN Per la VQR si è fatto riferimento all indicatore R j della VQR, che rappresenta il voto medio attribuito ai prodotti della generica struttura, rispetto al voto medio dell area di riferimento. Per i dipartimenti i i con docenti idi più aree (quasi tutti) si è calcolato l il paramento R j del dipartimento facendo la media pesata (sul numero di dicenti) dei parametri delle singole aree. Lo score VQR assegnato al singolo dipartimento è rappresentato dal rapporto tra il valore R j del dipartimento e la somma degli R j di tutti i Dipartimenti.

9 La valutazione della produttività scientifica I risultati VQR vs UNITN per dipartimento Alcune osservazioni VQR valuta 3 prodotti mentre UNITN valuta tutti i podott prodotti Il periodo di valutazione diverso ( VQR vs UNITN) I dati dalla VQR sono incompleti perché mancano alcuni dati della aree con meno di 1 prodotti

10 La valutazione dei progetti e delle attività di ricerca della terza missione L approccio Confrontare i ricavi della ricerca realizzati dai vari dipartimenti distinti per tipo di ente finanziatore/fonte su un arco temporale definito, ragguagliati rispetto alla somma dei ricavi Le voci analizzate ed i pesi utilizzati A. Ricavi da progetti finanziati dall UE (VII PQ, ERC, ecc.) B. Ricavi da progetti di interesse nazionale (PRIN, FIRB, ecc.) C. Ricavi da conto terzi (al netto degli utili distribuiti) D. Altri ricavi (finaz. Locali) Alcune osservazioni Si tratta di un confronto tra aree diverse, e pertanto affetto da bias Peso 0,4 0,3 0,2 0,1 10 1,0 La VQR invece offre un confronto di parametri analoghi tra gruppi omogenei. Si tratta allora di introdurre dei pesi che tengano conto del diverso costo Si tratta allora di introdurre dei pesi che tengano conto del diverso costo della ricerca della diverse aree (Appendice D dell rapporto ANVUR).

11 La scheda SUA RD Università degli studi della Basilicata Potenza, 1 ottobre 2013 Foto Bernardinatti Archivio Università di Trento