QUALITA DEI DATI : MODULO IB

Transcript

1 Corso Gestione e qualità dei dati ai fini del monitoraggio e della valutazione della ricerca organizzato da Cineca Soluzioni per la Ricerca Istituzionale - tenuto il novembre 2014 presso la sede Cineca di Roma QUALITA DEI DATI : MODULO IB Paola Galimberti paola.galimberti@unimi.it Docente

2 Un sistema complesso L avvio di una anagrafe della ricerca (o catalogo prodotti) rende necessario prevedere una serie di competenze e di responsabilità che probabilmente fino ad ora non erano state pensate Un repository istituzionale è un sistema estremamente complesso, che accoglie e fornisce dati da e verso fonti interne ed esterne. Va dunque progettato con estrema cura. La prima azione da farsi da parte della Amministrazione di un ateneo è quella di prendersi la responsabilità della qualità dei dati inseriti e poi esposti Questo passo fondamentale richiede una riorganizzazione dei flussi di lavoro

3 I dati sono la base Da cui partire: Per fare analisi affidabili sulla ricerca svolta in una istituzione Per poter giustificare di fronte ai taxpayers gli investimenti fatti Per poter prendere decisioni informate Quanto più le decisioni da prendere sono importanti, tanto più è necessario che i dati forniti e le loro aggregazioni siano affidabili, ma soprattutto che ne sia data anche una interpretazione corretta

4 Caratteristiche dei dati Affidabilità Robustezza Completezza Esaustività Unicità Certificazione

5 Cosa significa certificare i dati sulla ricerca Ogni ufficio competente nell ateneo deve fare la sua parte nella validazione e certificazione dei dati utilizzati per il monitoraggio e la valutazione Ufficio personale per le anagrafiche Ufficio ricerca per i progetti Ufficio dottorati per le pratiche relative alla consegna e al deposito della tesi Ufficio che si occupa del catalogo della ricerca per le pubblicazioni L ufficio qualità dei dati si occupa di coordinare e verificare i dati e la loro coerenza

6 Catalogo della ricerca Non ci sono più scuse L enorme cambiamento per gli atenei Ugov è rappresentato dal fatto che l anagrafe è pubblica Chiunque può vedere i dati inseriti dai ricercatori afferenti all ateneo Chiunque può vedere i dati validati dall Ateneo, a cui l Ateneo ha apposto il proprio sigillo di qualità Ovviamente l Ateneo può decidere di non rendere visibili i dati di una anagrafe che per sua natura è aperta, ma ciò desterebbe qualche sospetto

7 Modifiche nel workflow La pubblicità dei dati relativi alle pubblicazioni scientifiche rende necessaria la modifica delle pratiche abituali La responsabilità dei dati inseriti nell archivio (la loro veridicità) resta in capo all autore (nessuno meglio dell autore può sapere cosa ha fatto, dove, con chi) La responsabilità del controllo sulla correttezza anche formale dei dati (ad esempio i dati sulla rivista o sul volume, la correttezza dell ISBN e del DOI, l indicazione di tutti gli autori interni e la loro elencazione formale, la presenza del numero delle pagine, il collegamento con eventuali progetti internazionali, i controlli sul full-text eventualmente associato) è invece in capo a personale che come minimo deve avere una formazione specifica

8 Necessario prevedere l intervento e la formazione di nuove figure Il personale di biblioteca, opportunamente formato rispetto ai processi che ruotano intorno alla valutazione della ricerca, ha le competenze necessarie per poter contribuire alla certificazione della qualità dei metadati bibliografici, e per essere di supporto a docenti e ricercatori in fase di inserimento dei dati Anche per il personale di biblioteca si tratta però di cambiare le logiche: è necessario pensare in chiave di valutazione e descrizione della ricerca, e non più in chiave di descrizione dell oggetto libro o articolo. Deve essere dunque predisposta una formazione ad hoc, segnalando anche i punti sensibili per la valutazione e rendendo partecipi tutti i vari attori dell importanza dei dati per le pratiche di valutazione

9 La licenza Per quanto riguarda la assunzione di responsabilità rispetto ai dati inseriti, Dspace prevede la sottoscrizione di una licenza. La licenza si trova, nella versione standard, alla fine del processo di inserimento La licenza garantisce all ateneo che i dati inseriti sono veri (vale a dire che l autore è veramente autore della pubblicazione inserita), che la pubblicazione è stata pubblicata su quella rivista con quei coautori. Garantisce anche una licenza non esclusiva per la messa a disposizione di terzi dei dati e dell eventuale fulltext allegato in accordo con le politiche editoriali (ed eventualmente degli enti di finanziamento della ricerca. Riservando all università il diritto di rimuovere metadati e fulltext in caso di plagio, retraction ecc. La licenza va sottoscritta necessariamente. La non sottoscrizione impedisce il completamento dell inserimento. Per questo unimi l ha posta all inizio del WF

10 I FLUSSI DEI DATI Dati in entrata e in uscita

11 Il repository istituzionale accoglie dati da banche dati interne ed esterne Database progetti Anagrafica Segreterie dottorati Repository istituzionale Database bibliografici (Wos, Scopus, Crossref, Pubmed)

12 Il repository istituzionale fornisce dati a banche dati interne ed esterne Modulo statistiche e valutazione Business intelligence Dati bibliometrici Repository istituzionale Supporto alle decisioni e alla governance Loginmiur e Altri database ministeriali Motori di ricerca (Google, Google Scholar ecc.) Dart Europe BNCF TEL Open AIRE

13 Azioni da fare prima di avviare l IR(1) Definizione della policy dell archivio Chi è autorizzato a depositare (personale docente, altri??) Gestione delle autorizzazioni (chi inserisce per conto di altri, tecnici che inseriscono per proprio conto perché collaborano col personale docente) Cosa è possibile depositare (solo lavori di ricerca o anche didattica? Solo pubblicato o anche pre-print? In corso di pubblicazione? Ahead of print?) Conseguenze determinate dalle scelte sui contenuti Quando si deve depositare (entro un certo periodo dalla pubblicazione) Si dovrebbe rendere chiaro che i dati vengono continuamente utilizzati per analisi e monitoraggio, quindi devono essere costantemente aggiornati (importanza della tempestività dell aggiornamento)

14 Azioni da fare prima di avviare l IR(2) Definizione delle tipologie di lavori accolti nell IR e dei metadati descrittivi fondamentali Esempi possono essere documento di Bologna o di Torino (tendenzialmente la definizione delle tipologie è compito dell osservatorio della ricerca) Il documento di partenza deve essere però l indagine fatta dal CUN sul carattere di scientificità delle pubblicazioni Si devono tenere presenti le tipologie di pubblicazioni e metadati previsti dal sito docente considerando che determinate tipologie più raffinate possono essere mappate Il sistema di metadati (e di tipologie) che si costruisce deve essere facilmente modificabile, ogni qualvolta sia necessario un adeguamento. I metadati devono essere più ricchi possibile, per evitare di dover rilavorare più volte sulle stesse registrazioni

15 L importanza degli identificativi Sono importanti quelli per le pubblicazioni (che servono in realtà anche per l import) Ma sono importanti anche quelli per le persone. In particolare ORCID

16 Azioni da fare prima di avviare l IR(3) Deve essere definito anche uno standard per il servizio di validazione: Tempi di validazione previsti Dati sui cui viene fatto un controllo Possibilità di modificare i dati formali introdotti dall autore (cambio tipologia o sottotipologia) Obbligo di validazione di qualsiasi modifica venga introdotta in una registrazione Possibilità di integrare i dati

17 Input forms E lo strumento attraverso il quale vengono gestite le modifiche nel set di tipologie e nelle descrizioni E opportuno che l input forms sia progettato e concordato fra chi deve utilizzare i dati per la valutazione e per il monitoraggio e chi invece ha conoscenza dei metadati descrittivi (informatico o bibliotecario) Attraverso l input forms definiamo i campi obbligatori e quelli opzionali, la loro ripetibilità, la presenza di selezioni alternative ecc.

18 Consapevolezza Si dovrà rendere chiaro a chi inserisce che la completezza dei dati è fondamentale. I dati non obbligatori non sono inutili, quindi se disponibili è meglio inserirli. Se l autore non inserisce dati che sono però utili per le analisi dell ateneo sarà il validatore a completare il dato (ad esempio il DOI per poter poi estrarre le citazioni da Scopus o altre informazioni via API, l ISBN, l abstract, il numero di pagine ecc.)

19 Flessibilità Gli oggetti descritti in un repository (le pubblicazioni) cambiano velocemente. La vera sfida consiste nel riuscire a tener dietro ai cambiamenti che avvengono nelle modalità di produzione e disseminazione della scienza e a quelli che avvengono nei sistemi di valutazione

20 Definizione di una policy per l archiviazione dei full-text Quale versione archiviare, condizioni per l archiviazione, Obbligatorietà dell archiviazione del PDF? Può essere utile per campagne di valutazione che coinvolgono gli atenei in prima persona. L ateneo dovrà anche decidere se supportare i ricercatori con un gruppo di lavoro ad hoc per l analisi delle clausole degli editori

21 Definizione dei flussi in entrata e in uscita Import da banche dati A seconda degli accordi con gli editori potrà essere possibile importare via API: I dati bibliografici I dati sulle affiliation dei coautori I dati bibliometrici Gli identificativi di alcune basi di dati (ad es. pubmed e Scopus o wos)

22 L import dalle banche dati Facilita l inserimento nell IR di dati corretti sia dal punto di vista della forma che della sostanza. Abbassa la possibilità di introdurre errori Fra gli sviluppi futuri potrebbe esserci l utilizzo di ORCID Se adottato da tutto l ateneo il flusso potrebbe invertirsi per cui l autore potrebbe essere avvisato dal sistema ogni volta che una nuova registrazione entra in Scopus o in WOS (collegamento con WOS, Scopus o con Orcid stesso)

23 Il monitoraggio dei dati(1) L IR deve essere costantemente monitorato. Problema delle registrazioni duplicate Problema degli ahead of prints (o dei preprints tipo arxiv o repec) per cui una registrazione non deve essere duplicata una volta che appaiono i dati del fascicolo, ma corretta (problema del conteggio di questi item se a cavallo di anni diversi) Problema della corretta attribuzione di un lavoro a tutti gli autori interni (in parte superato dalle richieste di riconoscimento ridondanza ) Problema della verifica del passaggio dei dati al sito docente Problema del collegamento (se l ir lo prevede) con il progetto (per l invio ad es. ad openaire. La comunicazione deve avvenire a cura del docente, ma spesso ciò non viene fatto)

24 Il monitoraggio dei dati (2) Problema del grado di proprietà rispetto ad un articolo (si pensi alle grandi collaborazioni tipo Atlas, o ad esempio la Normale e THE) Problema del ruolo di un autore all interno della collaborazione Necessità, per i settori in cui la posizione di un autore è significativa, l indicazione delle posizioni (primo secondo ultimo penultimo)

25 Passaggio dati a loginmiur Una serie di tipologie di lavori non trovano la loro collocazione (non perché non sono pubblicazioni scientifiche) Ad es. pubblicazioni digitali che non sono sovrapponibili alle tipologie cartacee (ad esempio voci di enciclopedia sul dizionario biografico degli italiani online) Rigidità di loginmiur che non è pronto per accogliere pubblicazioni che vengono fatte su portali o contenitori di contributi scientifici peer reviewed che non rientrano nelle tipologie ancora legate al mondo analogico, ma anche rigidità dei criteri fissati per alcune tipologie (ad esempio il contributo in volume deve essere pubblicato in volume con ISBN. La logica del «contenitore» si sta sgretolando ed è quindi necessario pensare ad altri elementi per la validazione dei «pezzi» di ricerca)

26 Pubblicità dei dati Un bel passaggio per gli atenei Ugov. I docenti italiani hanno un sito docente che è privato e una anagrafe locale che è chiusa. Il nuovo strumento che gli atenei adotteranno prevede in effetti che i dati siano pubblici. L esposizione della propria attività scientifica a qualsiasi utente è dunque totale Accanto ai dati bibliografici gli utenti esterni (e l autore) possono vedere anche una serie di dati statistici rispetto alla diffusione o popolarità di un lavoro Questo può essere di stimolo sia alla apertura che alla accuratezza nell inserimento dei dati

27 Effetto imitativo Quando mi rendo conto che il mio collega che ha inserito tutte le sue pubblicazioni (il cui numero per altro risulta evidente nell archivio) ha molte visite e citazioni nei social network, lo stimolo ad inserire le mie pubblicazioni sarà maggiore, e sarò dunque incentivato ad inserire tutti i miei lavori nell archivio in modo da poter poi verificare il ritorno in termini di immagine

28 L utilizzo dei dati E importante definire un arco temporale a partire da quando i dati devono essere completi. Su quell arco ci si deve concentrare per fare in modo che si raggiunga l esaustività (in alcuni casi ciò è stato fatto chiudendo l inserimento diretto nel sito docente Quando si è certi che tutti i dati sono stati inseriti, che i dati sono corretti e unici (non doppi) è possibile procedere con analisi sulla produzione scientifica Per tipo di pubblicazione Per area Per SSD Per fascia di docenza Per IF della rivista Per posizione dell autore Per grado di proprietà

29 Monitoraggio Ad esempio è possibile individuare i docenti che non hanno pubblicazioni su un arco temporale definito Definizione di soglie di produttività ritagliate sulle diverse aree Analisi delle sedi di pubblicazioni preferite dai ricercatori E possibile verificare il grado di collaborazione all interno del dipartimento o con l ateneo, con l Italia o con altre istituzioni estere

30 La valutazione: una pratica i cui effetti sul sistema devono poter essere previsti Sono validi tutti i caveat espressi nel modulo Ia. Quando si fissano delle misure target, il rischio che più che un mezzo diventino IL fine è molto alto, così come quello che si inneschino comportamenti adattivi o opportunistici che nulla hanno a che fare con la qualità della ricerca. Se ad esempio considero validi per il mio esercizio solo le pubblicazioni con IF, costringerò i miei ricercatori a rivolgersi a riviste mainstream, trascurando magari altre riviste che pubblicano lavori di nicchia e che non arrivano a raccogliere un numero di citazioni sufficiente per poter avere il bollino di TR Se ad esempio nell area di storia ritengo validi solo gli articoli, magati su riviste straniere, i ricercatori cominceranno a disertare le sedi di pubblicazione nazionale per rivolgersi a linee di ricerca meno locali (e forse anche meno interessanti) I più grandi studiosi ed esperti di bibliometria e scientometria mettono in guardia dall uso di indicatori quantitativi, soprattutto se applicati a dimensioni piccole In occasione della VQR ci sono stati atenei che hanno interrotto il flusso di dati dal catalogo interno a loginmiur per permettere ai singoli di modificare le proprie registrazioni. Ciò ha creato un danno enorme a livello di sistema, portando confusione in un database che era già problematico di suo