Ranking Conferenze: Relazione GdL GII-GRIN

Transcript

1 Ranking Conferenze: Relazione GdL GII-GRIN Assemblea Nazionale GRIN Roma 7 Novembre 2014 Ranking Conferenze: Relazione GdL GII-GRIN 1/13

2 Classificazione Conferenze: Perché Osservazioni di partenza: le conferenze (non solo le riviste) sono rilevanti per INF/01 ci sono conferenze competitive e prestigiose almeno quanto riviste di classe A manca una classificazione di riferimento per le conferenze = non facile la loro considerazione in VQR il problema è condiviso con ING-INF/05 Necessità/Opportunità: avere una classificazione delle conferenze condivisa dalla comunità scientifica INF/01 lavoro congiunto GRIN (INF01) e GII (ING-INF/05) Ranking Conferenze: Relazione GdL GII-GRIN 2/13

3 GdL Ranking Conferenze Composizione GdL congiunto GII (5 persone) e GRIN (5 persone) Mandato: individuare un possibile metodo classificazione da porre in discussione alla comunità scientifica GRIN Pierangela Samarati, Milano Carlo Blundo, Salerno Luca Chittaro, Udine Alessandro Mei, Roma-Sapienza Davide Sangiorgi, Bologna GII Rita Cucchiara, Modena Gerardo Canfora, Sannio Gianni Mecca, Basilicata Stefano Paraboschi, Bergamo Vincenzo Piuri, Milano Ranking Conferenze: Relazione GdL GII-GRIN 3/13

4 Alcune osservazioni Classificazione conferenze è estremamente utile se si vuole una loro (propria) considerazione in eventuali processi quali VQR, però non deve essere un criterio per valutare i singoli individui la valutazione degli individui è più complessa, e ne sono competenti opportune commissioni la considerazione di indicatori bibliometrici nel processo non deve essere interpretata come una scelta di un mero criterio numerico la ricerca non può essere valutata solo con i numeri classificare conferenze non mette in secondo piano le riviste semplicemente riconosce che ci sono anche conferenze competitive Ranking Conferenze: Relazione GdL GII-GRIN 4/13

5 Classificazioni conferenze: Passi 1 Produzione di una classificazione su base algoritmica individuazione sorgenti di classificazione/ranking traduzione sorgenti in classificazioni combinazione classificazioni 2 Valutazione processo e risultato con la comunità individuazione e correzione di eventuali errori materiali valutazione classificazione risultante rispetto alla percezione della comunità validazione sorgenti e algoritmo 3 Revisione della classificazione eventuale revisione algoritmo modifiche alla classificazione, in seguito a motivazioni argomentate da esperti Ranking Conferenze: Relazione GdL GII-GRIN 5/13

6 Sorgenti di classificazione CORE Australiano (eventi CS e non locali/australasian) 1622 eventi prodotto su base bibliometrica + pareri di esperti A+(65), A(252), B(431), C(874) MAS Microsoft Academic Search Conference Ranking 3500 eventi field rating e citazioni tradotto dall algoritmo in: A++/A+(75), A/A-(175), B/B-(250), C buona copertura di area informatica SHINE Google Scholar 1800 eventi h-index e citazioni tradotto dall algoritmo in: A++/A+(75), A/A-(175), B/B-(250), C sorgenti varie/ricco, diverso rispetto a MAS Ranking Conferenze: Relazione GdL GII-GRIN 6/13

7 Passi preliminari Entity resolution Conferenze identificate da nome Individuazione e risoluzione di eventi che hanno cambiato nome (utilizzo DBLP) vi potrebbero essere casi non individuati: segnalateli Risultato: 3210 eventi distinti Traduzione ranking MAS/SHINE in classi ottenuta sulla base del field rating/h-index (classe primaria), con correzione data dal numero medio di citazioni (classe secondaria) possibile declassamento di eventi con alto ranking dovuti a grandi dimensioni possibile promozione di eventi di piccole dimensioni ma con alto impatto Ranking Conferenze: Relazione GdL GII-GRIN 7/13

8 Combinazione delle classificazioni (1) INPUT CORE: A++, A, B, C, null MAS: A++, A+, A, A-, B, B-, C, null SHINE: A++, A+, A, A-, B, B-, C, null OUTPUT Tier 1 - Eccellente (70): A++(34), A+(36) Tier 2 - Molto buono (144): A(81), A-(63) Tier 3 - Buono (182): B(182) NC (2814): evento non classificabile per mancanza di input o appartenente a tier inferiore Tre casi, in dipendenza del numero di sorgenti che classifica un evento Ranking Conferenze: Relazione GdL GII-GRIN 8/13

9 Combinazione delle classificazioni (2) Tre sorgenti, criteri: in entity resolution si prende la classificazione migliore maggioranza due sorgenti almeno X, terza sorgente è superiore/inferiore di 1: classe risultante è X due sorgenti almeno X, terza sorgente è inferiore di 2: classe risultante è quella immediatamente inferiore a X monotonicità/linearità (applicabile negli altri casi e a correzione) traduci classi in numeri: A++=7, A+=6, A=5, A-=4, B=3, B-=2, C=1 i punti di un evento sono la somma dei punti delle sue classificazioni la classificazione finale associata agli eventi deve rispettare l ordinamento dato dai punti un evento non può avere una classificazione migliore di un altro evento con meno punti vengono mantenute solo le classificazioni maggiori o uguali a B Ranking Conferenze: Relazione GdL GII-GRIN 9/13

10 Combinazione delle classificazioni (3) Due sorgenti, criteri: fill the blank la terza classe viene assunta essere il minimo fra le due presenti, si applica quindi il caso precedente limitazione risultato la classe finale non può essere superiore ad A Una sorgente: non viene prodotta alcuna classificazione (NC) Ranking Conferenze: Relazione GdL GII-GRIN 10/13

11 Alcune osservazioni ricevute La classificazione è troppo conservativa si è voluto essere conservativi in prima battuta (es. 182 B rispetto ai 431 in CORE); la classificazione può essere allargata, ad es,: meno conservativi nella composizione (per la classe risultato B?) considerando la media (invece del minimo) come terza classe quando solo due sorgenti classificano un evento Le riviste sono più importanti / La classificazione è troppo generosa classificazione conferenze non benvenuta da tutte le sotto-aree Alcuni eventi non sembrano ben classificati necessità di identificazione casi non ben classificati e loro esame (passo successivo) Ranking Conferenze: Relazione GdL GII-GRIN 11/13

12 Osservazioni finali Classificazione algoritmica può soffrire limiti valutazione bibliometrica (favorisce eventi storici e di grandi dimensioni) + non soffre problematiche di difficoltà gestione meccanismi discrezionali/soggettivi + l uso di sorgenti esterne la rende più difendibile nei confronti delle altre discipline risultato deve essere valutato rispetto alla percezione della comunità Prossimi passi? valutazione processo e risultato con la comunità eventuale revisione della classificazione utilizzo della classificazione nella VQR? Ranking Conferenze: Relazione GdL GII-GRIN 12/13

13 Punti di discussione Approvazione della metodologia / revisione della classificazione con eventuali aggiustamenti o correzioni; es. composizione meno conservativa (allargamento classe B) o considerazione di pareri Valutazione processo e risultato con la comunità GdL con Commissione Scientifica, sulla base di pareri? Considerazione pertinenza al settore: valutare ed esplicitare affinità di ciascuna conferenza rispetto a INF/01? Quante fasce proporre ai fini della prossima VQR: nessuna, una, due, tre? Classificazione di riviste iniziare uno sforzo analogo per la classificazione di riviste Ranking Conferenze: Relazione GdL GII-GRIN 13/13

14 Ranking Conferenze: Relazione GdL GII-GRIN 14/13

15 MAS/SHINE Classi (1) Due etichette h: prodotta dall ordinamento nel field rating/h-index m: (a correzione) prodotta dal numero medio di citazioni per paper Rank h 1-50 A A A A B B C Media cit m [25... A++ [ ) A+ [ ) A [ ) A- [ ) B [ ) B- [ ) C [0... 7) D nella computazione di m: le classi di confine hanno ampiezza 2, le classi piene un ampiezza crescente 3,4,5 Ranking Conferenze: Relazione GdL GII-GRIN 15/13

16 MAS/SHINE Classi (2) La classe MAS/SHINE associata ad un evento è pari al suo indice h, corretto con l indice m declassamento: per abbassare eventi con alto ranking dovuto alla loro dimensione promozione: alzare eventi di piccole dimensioni ma con alto impatto Declassamento h m Classe A++ B/.../D A+ A+ B-/.../D A A C/D A- A- D B Promozione h m Classe A A++ A+ A- A++/.../A A B A++/.../A A- B- A++/.../A- B C A++/.../A- B- Ranking Conferenze: Relazione GdL GII-GRIN 16/13

17 MAS/SHINE Classi (3) h m Classe A++ A++/.../A A++ A++ B/.../D A+ A+ A++/.../A A+ A+ B-/.../D A A A++ A+ A A+/.../B- A A C/D A- A- A++/A A A- A-/.../C A- A- D B B A++/A A- B A-/.../D B B- A++/.../A- B B- B/.../D B- C A++/.../A- B- C B/.../D C Ranking Conferenze: Relazione GdL GII-GRIN 17/13

18 Composizione classificazioni Tier 1 A++ 34 A++ A++ A++ 24 A++ A++ A+ 10 A+ 36 A++ A++ A 5 A++ A+ A+ 10 A++ A+ A 13 A++ A+ A- 4 A+ A+ A 4 sono elencate solo le combinazioni esistenti Ranking Conferenze: Relazione GdL GII-GRIN 18/13

19 Composizione classificazioni Tier 2 A 81 A++ A+ B 2 A++ A+ C 1 A++ A A 6 A++ A A- 3 A++ A B 1 A++ A B- 1 A+ A+ B 3 A+ A+ 1 A+ A A 19 A+ A 4 A A A 16 A A 3 A A A- 13 A A A- 8 A- 63 A++ A C 1 A++ A- B 1 A++ A- 1 A+ A+ C 2 A+ A B 18 A+ A B- 1 A+ A- B 7 A+ A- 1 A A B 21 A A- A- 6 A A- 3 A- A- 1 sono elencate solo le combinazioni esistenti Ranking Conferenze: Relazione GdL GII-GRIN 19/13

20 Composizione classificazioni Tier 3 B 182 A++ A- C 1 A++ B C 1 A+ A C 2 A+ A- C 1 A A C 3 A A- B 10 A A- B- 3 A A- C 6 A B B 28 A B 13 A B B- 7 A B C 20 A B- B- 1 A B- C 9 A- A- B 2 A- A- C 1 A- B B 11 A- B B- 3 A- B C 15 A- B 8 B B B 19 B B B- 6 B B 12 sono elencate solo le combinazioni esistenti Ranking Conferenze: Relazione GdL GII-GRIN 20/13

21 Composizione classificazioni Non classificabili NC 2814 A C C 18 A- C C 6 B B C 45 B B- B- 3 B B- C 17 B C C 98 B- B- C 2 B- C C C 1613 sono elencate solo le combinazioni esistenti per i casi a tre ed il singolo caso più basso Ranking Conferenze: Relazione GdL GII-GRIN 21/13