La valutazione della Terza Missione

La valutazione della Terza Missione Pisa, 27 novembre 2017 Paolo Miccoli, CD ANVUR

Definizione di TM apertura verso il contesto socio-economico mediante la valorizzazione e il trasferimento delle conoscenze (ANVUR, VQR 2004-2010)

VQR 2004-2010 amounts of third party contracts number of granted patents owned by the university number of spin-out companies presence of incubators number of technology transfer consortia and associations number of archaeological excavations presence of museums number of other third mission activities ONE FINAL INDICATOR FOR THIRD MISSION TM group of experts (data, evaluation, indicators) international workshops on TM consultation of the academic community THIRD MISSION EVALUATION MANUAL & DATABASE VQR 2011-2014 Adoption of ANVUR TM Manual Broad definition of TM (valorization of research & production of public goods) Institution of a TM Evaluation Panel FINAL EVALUATION REPORT ON THIRD MISSION 2011 2017

INTELLECTUAL PROPERTY inventive activity, portfolio management, exploitation CULTURAL HERITAGE museums, archaeological excavations, historical buildings (conservation and access) valorization of research ACADEMIC SPIN-OUT COMPANIES revenues, job creation, demography, growth rate, collaboration with the university, exit strategies THIRD PARTY FUNDING third party research, service and teaching, institutional funding, industry funding production of public goods CONTRIBUTION TO PUBLIC HEALTH clinical experimentation, bio-banks and clinical research centers LIFELONG LEARNING volume of LLL provided, use of the potential teaching body, impact on the population COLLABORATION WITH INTERMEDIATION AGENCIES promotion of territorial networking, use and coordination of internal resources, use of external structures PUBLIC ENGAGEMENT non-profit activities with educational, cultural and social value (clarity of objectives, entity of the committed resources, impact)

Il sistema informativo SUA-TM Sugli 8 ambiti abbiamo dati standardizzati e comparabili: - per tutte le università - per tutti gli enti MIUR - per altri enti e consorzi di ricerca VQR Molti dei dati sono tratti direttamente da banche dati ufficiali (European Patent Office, InfoCamere) certificazione copertura, omogeneità e continuità no onere compilativo per istituzioni Sulla base di questi dati sono stati prodotti 88 indicatori di TM Schede dettagliate di 5.000 iniziative di Public Engagement (peer review)

Evaluation approach & methodology Evaluation takes place area by area Universities are evaluated only if active in one area The presence of the university in each area is motivated by the institutional strategy and associated resources Evaluation is carried out by informed peer review, analysis of quantitative indicators through expert judgement

Criteria, indicators & questions EXAMPLE: AREA CRITERIA INDICATORS Intellectual Property a. inventive activity b. portfolio management c. exploitation 1. number of assignments, licenses, options contracts/ total number of university patents 2. number of spin-out companies using university patents / total number of university patents 3. total revenues / total number of university patents

Criteria, indicators & questions EXAMPLE: AREA CRITERIA QUESTIONS Intellectual Property a. inventive activity b. portfolio management c. exploitation 1. Has the university developed a policy on intellectual property management and exploitation? 2. Is the intellectual property portfolio able to attract the interest of the economic world and obtain a flow of revenues?

TM Database For the 8 TM areas, standardized and comparable data related to all the universities have been collected Most data are drawn directly from official databases (European Patent Office for patents, Chamber of Commerce for spin-out companies): quality, homogeneity and continuity in data collection reduction of the burden & costs for universities On this base, 90 TM indicators have been produced and used by the VQR evaluation panel

TM in Italian Universities at a glance 3/4 on average 8 patents per 1000 researchers from STEM on average 1 patent out of 3 is owned by the university on average 8 protected plant varieties per 1000 researchers from Agricultural Sciences in ten years constant increase in the creation of spin-out companies (same definition in VQR1 and VQR2) increase in the economic and occupational impact of the spin-out companies and in the share of acquisition (exit)

TM in Italian Universities at a glance 2/4 2011-2014: 3013 academic patents total revenues of patents published in 2011-2014: 1,75 billions third party funding 2 billions 30% of universities in incubators/ science parks in 2014: 869 active spin-out companies total revenues of spin-out companies in 2011-2014: 5 billions

TM in Italian Universities at a glance 4/4 in 2014: 115 university museum systems 540 Life Long Learning courses 414 archaeological excavations 96% of universities report Public Engagement activities 222 clinical research centers and bio-banks 3705 clinical trials

Top 10 Valore dell'indicatore (I), posizione in graduatoria (P) e classe di merito (C) per criterio e per ambito Capacità inventiva Capacità di gestione Valorizzazione PROPRIETA economica INTELLETTUALE I P C I P C I P C I P C Milano Politecnico 0,930 1 A 1,000 1 A 0,354 5 A 0,721 1 A Torino Politecnico 0,604 3 A 0,643 2 A 0,167 13 B 0,441 2 A Milano 0,480 8 A 0,335 7 A 0,463 4 A 0,430 3 A Pisa S.Anna 0,548 6 A 0,456 3 A 0,179 11 A 0,373 4 A Padova 0,531 7 A 0,386 5 A 0,196 10 A 0,354 5 A Roma La Sapienza 0,550 5 A 0,428 4 A 0,068 21 B 0,321 6 A Bologna 0,670 2 A 0,310 8 A 0,027 29 C 0,305 7 A Pisa 0,558 4 A 0,276 9 A 0,132 14 B 0,303 8 A Milano Bicocca 0,303 14 A 0,337 6 A 0,206 9 A 0,275 9 B Milano Cattolica 0,057 52 D 0,071 31 B 0,560 2 A 0,262 10 B

Top 10 Valore dell'indicatore (I), posizione in graduatoria (P) e classe di merito (C) per criterio e per ambito IMPRENDITO- Impatto Impatto Collaborazione Exit Demografia Crescita RIALITA occupazionale economico con ateneo ACCADEMICA I P C I P C I P C I P C I P C I P C I P C Politecnico Milano 0,79 3 A 1,0 1 A 0,08 20 C 0,85 2 A 0,04 34 C 0,07 48 D 0,52 1 A Pisa S.Anna 0,91 1 A 0,4 11 B 0,22 3 A 0,83 4 A 0,04 37 C 0,16 28 C 0,44 2 A Padova 0,81 2 A 0,4 10 B 0,08 19 C 1,00 1 A 0,03 48 D 0,16 29 C 0,43 3 A Trieste 0,74 4 A 0,6 2 A 0,05 30 D 0,64 20 B 0,03 42 D 0,17 24 C 0,41 4 A Pavia 0,42 11 B 0,5 3 A 0,07 23 C 0,59 28 C 0,53 1 A 0,04 57 D 0,38 5 A Milano 0,39 13 B 0,2 19 B 0,65 1 A 0,64 19 B 0,03 49 D 0,17 25 C 0,35 6 A Bologna 0,56 6 A 0,4 8 A 0,02 39 D 0,73 8 A 0,04 36 C 0,15 34 C 0,34 7 A Calabria 0,66 5 A 0,1 29 C 0,09 18 C 0,78 5 A 0,07 20 C 0,18 20 C 0,33 8 A Pisa 0,38 14 B 0,5 7 A 0,10 15 C 0,70 12 B 0,01 53 D 0,13 39 C 0,31 9 B Firenze 0,45 9 B 0,2 16 B 0,11 12 B 0,72 9 A 0,05 33 C 0,22 16 B 0,31 10 B

Top 10 Valore dell'indicatore (I), posizione in graduatoria (P) e classe di merito (C) per criterio e per ambito Ricerca C/T Prestazioni & Servizi C/T Didattica C/T Relazioni istituzionali Finanziamento di imprese CONTO TERZI I P C I P C I P C I P C I P C I P C Milano Politecnico 1,000 1 A 0,236 4 A 0,032 6 A 0,695 5 A 0,632 2 A 0,583 1 A Milano Cattolica 0,440 6 A 1,000 1 A 0,235 2 A - - NV - - NV 0,423 2 A Milano Bocconi 0,384 10 A 0,275 2 A 1,000 1 A - - NV - - NV 0,409 3 A Roma La Sapienza 0,670 2 A 0,052 15 B 0,020 8 B 0,804 2 A 0,565 5 A 0,407 4 A Padova 0,451 5 A 0,054 14 B 0,037 5 A 1,000 1 A 1,000 1 A 0,398 5 A Torino Politecnico 0,601 3 A 0,084 11 B 0,013 15 B 0,778 4 A 0,616 4 A 0,391 6 A Bologna 0,543 4 A 0,126 7 A 0,015 11 B 0,622 8 A 0,474 7 A 0,348 7 A Pisa 0,438 7 A 0,070 13 B 0,004 29 C 0,558 9 B 0,402 10 B 0,278 8 B Torino 0,263 13 A 0,102 9 B 0,007 21 B 0,789 3 A 0,626 3 A 0,260 9 B Firenze 0,417 8 A 0,030 24 C 0,007 18 B 0,625 7 A 0,354 15 B 0,259 10 B

La valutazione di Pisa in sintesi

Top 10 Punteggio dell ateneo (A), dei dipartimenti (Dip), frazione di dipartimenti con tre schede valutate (F3) e numero di dipartimenti presenti nell ateneo (NDip); posizione in graduatoria e classe di merito per il 2014 2011-13 2014 A Dip F3 Ndip A Dip F3 Ndip Class e Pos. Grad. A Piemonte Orientale 0,692 0,4904 1,00 7 0,750 0,6680 1,00 7 A 2 1 Castellanza LIUC 0,545 0,7305 1,00 1 0,717 0,6204 1,00 1 A 5 2 Torino 0,710 0,4625 0,96 27 0,761 0,5528 1,00 27 A 1 3 Trento 0,802 0,4482 0,77 13 0,708 0,4669 0,85 13 A 6 4 Roma Tre 0,261 0,1682 0,92 12 0,689 0,4437 0,83 12 A 9 5 Ferrara 0,757 0,3363 0,75 12 0,717 0,4398 0,92 12 A 4 6 Urbino Carlo Bo 0,678 0,3772 0,88 0 0,700 0,4120 0,88 8 A 8 7 Parma 0,261 0,2509 0,67 18 0,672 0,3791 0,67 18 A 10 8 Padova 0,807 0,3826 0,84 32 0,700 0,3325 0,78 32 A 7 9 Pisa 0,682 0,3264 0,75 20 0,728 0,2847 0,50 20 A 3 10 Pos. Grad. Dip

Futuro della VQR Qualche riflessione in merito ( da parte dell ANVUR e non solo)

ANAGRAFE DELLA RICERCA Dal documento ANAC : si potrebbe affiancare l attualmente esistente Banca Dati Reprise all Anagrafe Nazionale dei Professori, Ricercatori e Prodotti scientifici (ANPRe PS), prevista dalla l. 9 gennaio 2009, n. 1, «Conversione in legge, con modificazioni, del decreto-legge 10 novembre 2008, n. 180, recante disposizioni urgenti per il diritto allo studio, la valorizzazione del merito e la qualità del sistema universitario e della ricerca» da parte delle università, si potrebbe prevedere l iscrizione obbligatoria come presupposto per la partecipazione a commissioni locali di reclutamento di professori o ricercatori 23?

Normalizzazione del coefficiente assegnato rispetto al numero degli Autori del prodotto di ricerca presentato. Tale normalizzazione fa riferimento ai corrispondenti SSD. Inoltre è stato introdotto un meccanismo premiale a partire dalla posizione degli Autori: al momento solo il primo ed ultimo nome sono stati presi in considerazione per tale meccanismo. Valorizzazione del Corresponding Author in corso di validazione

GRAZIE PER L ATTENZIONE