Corso: Banche dati e sistemi per l informazione e la valutazione della ricerca 23-24 giugno 2014 Parametri utilizzati dal Ministero della Salute per la valutazione della ricerca in Italia Giulia Piaggio piaggio@ifo.it Corso: Banche dati e sistemi informativi per la valutazione della ricerca - 23-24 giugno 2014
Criteri RC 2013-15 - Ministero della Salute A) Produzione scientifica e relativa efficienza ed impatto della produzione scientifica (55%) B) Capacita di attrarre risorse ed attivita assistenziale (30%) C) Capacita di operare in rete (15%) Corso: Banche dati e sistemi informativi per la valutazione della ricerca - 23-24 giugno 2014
Criteri RC 2013-15 - Ministero della Salute A) Produzione scientifica e relativa efficienza ed impatto della produzione scientifica (55%) INDICATORI BIBLIOMETRICI: 1) impact factor Journal Citation Reports (JCR) 2) Citation Index delle pubblicazioni valide negli ultimi 3 anni.!!!novita!!! (non piu del 5%dei soldi) Corso: Banche dati e sistemi informativi per la valutazione della ricerca - 23-24 giugno 2014
Criteri RC 2013-15 - Ministero della Salute A) Produzione scientifica e relativa efficienza ed impatto della produzione scientifica (55% ) A.1 Normalizzazione dell IF Step 1 categoria a cui appartiene la rivista - Impact factor grezzo (IFG) secondo il JCR Step 2 il Ministero ogni anno definisce ogni anno dei quartili per ogni categoria Step 3 L IFG <= del quartile 1 si normalizza con il valore 1 (IFN) <= del quartile 2 si normalizza con il valore 2 <= del quartile 3 si normalizza con il valore 4 > del quartile 3 si normalizza con il valore 6 > 7 e < 12 si normalizza con il valore 8 > 12 e <15 si normalizza con il valore 10 > 15 si normalizza con il valore 15 Gli articoli pubblicati su riviste non impattate otterranno il valore 0 Corso: Banche dati e sistemi informativi per la valutazione della ricerca - 23-24 giugno 2014
Criteri RC 2013-15 - Ministero della Salute A.1 Normalizzazione dell IF: esempi Subject Quartile 1 Quartile 2 Quartile 3 BIOCHEMICAL RESEARCH METHODS 1,546 2,203 3,223 BIOCHEMISTRY & MOLECULAR BIOLOGY 1,603 2,646 3,611 BIOLOGY 0,628 1,515 2,15 BIOPHYSICS 1,192 2,434 3,392 BIOTECHNOLOGY & APPLIED MICROBIOLOGY 1,099 1,948 3,045 CELL BIOLOGY 1,726 2,806 4 MULTIDISCIPLINARY SCIENCES 0,229 0,461 0,936 ONCOLOGY 1,363 2,458 3,5 PLOS ONE: IFG 3.730 - Multisciplinary Sciences: IF > quartile 3 IFN: 6 Cell Death Dis. IFG 6.044 - Cell Biology: IF > quartile 3 IFN: 6 J.EXP.C.C.RES: IFG 3.066 - Oncology: IF > quartile 2 IFN: 4 Corso: Banche dati e sistemi informativi per la valutazione della ricerca - 23-24 giugno 2014
Criteri RC 2013-15 - Ministero della Salute A) Produzione scientifica e relativa efficienza ed impatto della produzione scientifica (55%) LAVORI VALUTABILI lavori pubblicati con chiara affiliazione e nell area di riconoscimento dell Istituto (e pero possibile presentare controdeduzioni se non cooerenti ab initio ). Lavori su riviste impattate Lettere all editor solo se riportano dati: 50% dell IFN Lavori multicentrici Volumi di organismi internazionali tipo OMS - IFN=3 Corso: Banche dati e sistemi informativi per la valutazione della ricerca - 23-24 giugno 2014
IFN corretto per posizione degli autori Assegnazione del 100% dell IFN in cui: Criteri RC 2013-15 - Ministero della Salute A) Produzione scientifica e relativa efficienza ed impatto della produzione scientifica (55%) primo e/o secondo autore e/o ultimo autore e/o corresponding author abbia un affiliazione con l Istituto, =>3 autori dell Istituto in posizioni centrali abbiano un affiliazione con l Istituto studi multicentrici in cui anche solo 1 autore dell Istituto e citato come autore in elenco. Assegnazione del 50% dell IFN se 1 o 2 autori dell Istituto in posizioni centrali abbiano un affiliazione con l Istituto Assegnazione del 20% dell IFN per: studi multicentrici in cui anche solo 1 autore dell Istituto e citato come autore in appendice. Corso: Banche dati e sistemi informativi per la valutazione della ricerca -23-24 giugno 2014
Criteri RC 2013-15 - Ministero della Salute A) Produzione scientifica e relativa efficienza ed impatto della produzione scientifica (55% ) AFFILIAZIONE E ammessa la doppia affiliazione solo per personale univ., cnr o altro ente nazionale o internazionale solo se presente una convenzione esclusiva con l IRCCS. Non e ammessa la doppia affiliazione per il personale di ruolo e a tempo determinato dell IRCCS Non e ammessa la doppia affiliazione per i borsisti Non sono valutabili lavori presentati da specializzandi e dottorandi Non sono valutabili lavori senza affiliazione Corso: Banche dati e sistemi informativi per la valutazione della ricerca -23-24 giugno 2014
Criteri RC 2013-15 - Ministero della Salute A) Produzione scientifica e relativa efficienza ed impatto della produzione scientifica (55%) Citation index - metodo sperimentale per assegnare il 5% Somma dei Citation Index delle riviste su cui abbiamo pubblicato negli ultimi 3 anni precedenti l anno di attribuzione (2010-2012) Il risultato sara normalizzato rispetto: all area di riconoscimento all IF normalizzato valido prodotto al numero di pubblicazioni valide prodotte I valori ricavati dai vari IRCCS saranno distibuiti per quartili: primo quartile 100% delle risorse disponibili secondo qurtile 75% delle risorse disponibili terzo quartile 50% delle risorse disponibili quarto quartile 25 % delle risorse disponibili Corso: Banche dati e sistemi informativi per la valutazione della ricerca -23-24 giugno 2014
Criteri RC 2013-15 - Ministero della Salute B) PRODUTTIVITA, CAPACITA DI TRATTARE RISORSE E TRASFERIBILITA DELLA RICERCA B.1 Produttività Produzione scientifica dell anno precedente in funzione del finanziamento ottenuto per quell anno costo medio per punto di IFN IFN per ricercatore Finanziamenti totali non ministeriali: UE, Regione, NIH, INSERM, WHO, MIUR, AIRC, TELETHON, Fondazioni Bancarie etc. etc. Numero di progetti finanziati di cui sopra Finanziamenti totali ottenuti da privati diversi da quelli di cui sopra per progetti di ricerca deil'irccs Numero dei progetti finanziati di cui sopra Corso: Banche dati e sistemi informativi per la valutazione della ricerca -23-24 giugno 2014
Criteri RC 2013-15 - Ministero della Salute B) PRODUTTIVITA, CAPACITA DI TRATTARE RISORSE E TRASFERIBILITA DELLA RICERCA B.2 Attività Assistenziale N Di ricoveri per i 5 DRG più frequenti coerenti con l area di riconoscimento Capacita di attrazione in Italia, per disciplina di riconoscimento (% dimessi fuori regione) Capacita di attrazione in ambito Europeo per disciplina di riconoscimento (% dimessi di non residenti in Italia di nazionalità Europea diversa da quella Italiana) % dimessi da reparti chirurgici e clinici con DRG medico Rapporto ricoveri Ordinari/Ricoveri DH sia chirurgico che medico nell area di riconoscimento mortalità a 30 giorni per ricoveri chirurgici mortalità a 30 giorni per ricoveri medici % ricoveri ripetuti per lo stessa patologia % ricoveri coerenti con l area di riconoscimento indicatore di esito nell area di riconoscimento: posizione dell Istituto rispetto alla situazione nazionale quartile di posizionamento Corso: Banche dati e sistemi informativi per la valutazione della ricerca -23-24 giugno 2014
Criteri RC 2013-15 - Ministero della Salute C) Capacita di operare in rete (15%) Per la valutazione della Capacita di Operare in rete dovrà essere dimostrata la capacita dell'lstitutodi essere punto di riferimento, nell'area di riconoscimento, sia nell'attività scientifica che assistenziale facendo anche, ma non obbligatoriamente, riferimento a: A. Numero pazienti in sperimentazioni cliniche a fini diagnostici terapeutici B. Numero sperimentazioni cliniche a fini diagnostici terapeutici C. N Centri Assistenziali di riferimento Nazionale per patologia e attività correlata D. N Centri Assistenziali di riferimento Regionale per patologia e attività correlata E. Attività di scambio campioni di Biobanche Biobanche regionali autorizzate Corso: Banche dati e sistemi informativi per la valutazione della ricerca -23-24 giugno 2014
8.141.757 8.052.593 7.425.235 7.389.811 5.961.663 5.477.931 5.272.157 5.085.757 5.046.020 5.006.999 4.879.050 3.814.791 3.627.079 3.490.743 3.353.340 3.208.542 2.813.661 2.764.084 2.741.055 2.574.364 2.547.029 2.464.324 2.293.733 2.246.149 2.119.328 2.032.397 1.993.126 1.952.202 1.852.293 1.764.507 1.760.224 1.750.660 1.624.551 1.478.883 1.430.547 1.373.325 1.202.068 1.119.005 1.094.605 1.091.708 936.152 933.029 697.881 654.761 506.620 250.000 150.000 15.313.181 18.000.000,00 16.000.000,00 14.000.000,00 12.000.000,00 10.000.000,00 8.000.000,00 6.000.000,00 4.000.000,00 2.000.000,00 0,00 Ripartizione tra gli I.R.C.C.Sdi diritto pubblico e privato delle risorse finanziarie disponibili per l'anno 2013 per l'attività di ricerca corrente, pari a euro 150.758.923,20 Ospedale San Raffaele - Milano Ospedale Maggiore - Milano Istituto Nazionale per lo Studio e la Cura dei Istituto Europeo di Oncologia (IEO)- Milano Policlinico San Matteo - Pavia Fondazione Santa Lucia - Roma Istituti Ortopedici Rizzoli - Bologna Istituto Nazionale Neurologico Carlo Besta - Milano Fondazione Salvatore Maugeri - Pavia AOU S. Martino - Istituto Nazionale per la Ricerca Istituto Giannina Gaslini - Genova Ospedale pediatrico Bambino Gesù - Roma Centro di Riferimento Oncologico (CRO)- Aviano Istituto per lo Studio e la Cura dei Tumori Regina Istituto Auxologico Italiano - Milano Istituto Neurologico Mediterraneo Neuromed - Istituto Clinico Humanitas - Rozzano (MI) Fondazione Istituto Neurologico Casimiro Istituto Nazionale per lo Studio e la Cura dei Centro Cardiologico Monzino - Milano Istituto per le Malattie Infettive Lazzaro Ospedale Casa Sollievo della Sofferenza - San Istituto Oncologico Veneto (IOV)- Padova Centro San Giovanni di Dio Fatebenefratelli - Ospedale infantile Burlo Garofolo - Trieste Istituto Dermopatico dell'immacolata (IDI)- Roma Istituto San Raffaele Pisana - Roma Fondazione Stella Maris - San Miniato Istituto Ortopedico Galeazzi - Milano Istituto Nazionale di Riposo e Cura per Anziani Casa di cura multimedica - Milano Fondazione Don Carlo Gnocchi - Milano Istituto Eugenio Medea - Bosisio Parini (LC) Policlinico San Donato - San Donato Milanese (MI) Arcispedale Santa Maria Nuova - Istituto in Istituto tumori Giovanni Paolo II - Bari Istituto Santa Maria e San Gallicano - Roma Istituto delle Scienze Neurologiche - Bologna Associazione Oasi Maria SS. - Troina Ospedale San Camillo - Venezia Fondazione Bietti - Roma Istituto scientifico romagnolo per lo studio e la Ente Ospedaliero Specializzato in Centro di Riferimento Oncologico di Basilicata Centro Neurolesi Bonino Pulejo - Messina Fondazione SDN per la ricerca e l'alta formazione Istituto di ricerche farmacologiche Mario Negri - Fondazione del Piemonte per l'oncologia
19/46 L IRE e 19 su 46 istituti per numero di pubblicazioni presentate
18/46 L IRE e 18 su 46 istituti per Impact FactorNormalizzato (IFN) presentato
L IRE e 15 su 46 istituti per Impact FactorNormalizzato (IFN) presentato VALIDO
53 su 203 pubblicazioni presentate sono state considerate Non Coerenti (NC). Dopo la nostra argomentazione 9 sono risultate ancora NC e sono state escluse dal ministero. Il ministero ci fornira a breve l algoritmo (FINGER PRINT) che, utilizzando parole chiavi, analizza le nostre pubblicazioni. Stara a noi utilizzare queste parole il piu possibile nelle future pubblicazioni per evitare di avere pubblicazioni NC.
3 su 203 pubblicazioni presentate sono state escluse per doppia affiliazione. Questi 3 lavori avevano l affiliazione IRE (i lavori di questi autori con affiliazione diversa non sono stati presentati) ma sono stati esclusi lo stesso perche il ministero si e accorto che hanno pubblicato anche con altre affiliazioni!!!!
L IRE ha presentato un IFN leggermente sopra la media dell IFN totale presentato da tutti gli istituti pero
34/46 ha presentato nel 2013 un IFN leggermente piu basso di quello presentato nel 2012 collocandosi, per questo parametro, 34 su 46 istituti
Il finanziamento RC deriva: al 55% dalle pubblicazioni, al 30% dall assistenza (il 15% di questa voce deriva dalla capacita di reperire finanziamenti), al 15% dalla capacita di organizzare reti e centri di eccellenza. La performance dell IRE e risultata ben ripartita fra queste tre voci.
Tenendo conto di tutti i criteri l IRE si colloca al 12 posto
Ringraziamenti Maria Guttinger Federica Falcioni Barbara Matrascia Gaetana Cognetti Fabio D Orsogna Francesca Servoli Direzione Scientifica IRE Biblioteca IRE Armando Vitolo Servizio Amministrativo Ricerca IFO Corso: Banche dati e sistemi informativi per la valutazione della ricerca -23-24 giugno 2014