APPENDICE 1: DOCUMENTI SUI CRITERI DI VALUTAZIONE DELL AREA 08 APPENDICE 2: DOCUMENTI SUI CRITERI DI VALUTAZIONE DELL AREA 08 APPENDICE 3: IL

Transcript

1 APPENDICE 1: DOCUMENTI SUI CRITERI DI VALUTAZIONE DELL AREA 08 APPENDICE 2: DOCUMENTI SUI CRITERI DI VALUTAZIONE DELL AREA 08 APPENDICE 3: IL CONFRONTO TRA LA VALUTAZIONE PEER E LA VALUTAZIONE BIBLIOMETRICA APPENDICE 4: TABELLE

2 Appendice1. Documento sui criteri di valutazione Criteri per la valutazione dei prodotti di ricerca Gruppo di Esperti della Valutazione (GEV) dell'area 08 Ingegneria Civile e 1. Delimitazione dell'area GEV Il GEV dell'area 08 si occuperà della valutazione dei prodotti presentati dai ricercatori appartenenti ai 22 settori scientifico-disciplinari che sono compresi nell'area. ICAR/01 - IDRAULICA ICAR/02 - COSTRUZIONI IDRAULICHE E MARITTIME E IDROLOGIA ICAR/03 - INGEGNERIA SANITARIA-AMBIENTALE ICAR/04 - STRADE, FERROVIE ED AEROPORTI ICAR/05 - TRASPORTI ICAR/06 - TOPOGRAFIA E CARTOGRAFIA ICAR/07 - GEOTECNICA ICAR/08 - SCIENZA DELLE COSTRUZIONI ICAR/09 - TECNICA DELLE COSTRUZIONI ICAR/10 - ARCHITETTURA TECNICA ICAR/11 - PRODUZIONE EDILIZIA ICAR/12 - TECNOLOGIA DELL'ARCHITETTURA ICAR/13 - DISEGNO INDUSTRIALE ICAR/14 - COMPOSIZIONE ARCHITETTONICA E URBANA ICAR/15 - ARCHITETTURA DEL PAESAGGIO ICAR/16 - ARCHITETTURA DEGLI INTERNI E ALLESTIMENTO ICAR/17 - DISEGNO ICAR/18 - STORIA DELL'ARCHITETTURA ICAR/19 - RESTAURO ICAR/20 - TECNICA E PIANIFICAZIONE URBANISTICA ICAR/21 - URBANISTICA ICAR/22 - ESTIMO 2. Organizzazione del GEV 2

3 2.1 Sub-GEV Il GEV dell'area 08 sarà organizzato in due sottogruppi (sub-gev) uno comprendente i settori da 1 a 9 (corrispondenti alle discipline dell'ingegneria Civile), ed uno per i settori da 10 a 22 (corrispondenti alle discipline dell'architettura). Il coordinatore del sub-gev Ingegneria è il prof. Ferdinando Auricchio dell'università di Pavia; il coordinatore del sub-gev Architettura è il prof. Carlo Olmo del Politecnico di Torino. I due coordinatori affiancheranno il Presidente nell'organizzazione delle attività. Il sub-gev Ingegneria è composto dai professori: Aronne Armanini, Luigi Ascione, Ferdinando Auricchio, Francesco Canestrari, Alessandra Carucci, Mattia Giovanni Crespi, Manuel Pastor, Francesco Russo, Xavier Sanchez-Vila, Giovanni Solari, Thanasis Triantafillou, Fabrizio Vestroni. Il sub-gev Architettura è composto dai professori: Roberta Amirante, Enrico Bordogna, Flaviano Celaschi, Gianni Celestini, Helena Coch Roura, Stefano Della Torre, Marco Gaiani, Francesco Garofalo, Paolo Giandebiaggi, Hubertus Guenther, Howard Burns, Carlo Olmo, Sergio Poretti, Manuela Ricci, Paolo Rosato, Maria Chiara Torricelli, Luciano Vettoretto. 2.2 Allocazione dei prodotti all'interno del GEV L'allocazione dei prodotti nei sub-gev avverrà sulla base del SSD indicato dal soggetto valutato così come trasmesso dalle strutture. Il significato del SSD associato al prodotto, che può anche essere diverso dal SSD di appartenenza del soggetto valutato, si riferisce al GEV che con maggior competenza, secondo il soggetto valutato, può valutare il prodotto in questione. Nel caso in cui un prodotto sia assegnato a più GEV per il suo carattere interdisciplinare saranno adottati identici criteri di valutazione concordati tra i vari GEV. A tale scopo, i Presidenti dei GEV interessati istituiscono specifici Gruppi di Consenso Inter- Area. 2.3 Regole di funzionamento del GEV - La convocazione del GEV avviene almeno 15 giorni prima della riunione. La riunione è convocata dal Presidente, che fissa anche l'ordine del giorno. - Le decisioni all'interno del GEV vengono prese a maggioranza semplice dei presenti. Per partecipare alla votazione non è necessario essere fisicamente presenti alle riunioni, purché presenti in modalità telematica. - Alle riunioni del GEV partecipa, con funzioni di segretario senza diritto di voto, anche l'assistente al GEV attribuito da ANVUR al GEV, Dott.ssa Anna Barbara. Al termine di ciascuna riunione viene redatto un resoconto che verrà reso pubblico, in lingua italiana, e un estratto contenente le decisioni approvate in lingua italiana e inglese. I verbali vengono fatti circolare tra i membri del GEV e approvati tramite o utilizzando l'ambiente SW predisposto dal CINECA. 3

4 3. Mix valutativo del GEV08 La valutazione dei prodotti della ricerca sarà condotta in coerenza con i criteri del bando VQR che vengono qui richiamati dall'art. 2.4 del bando medesimo. a) rilevanza, da intendersi come valore aggiunto per l'avanzamento della conoscenza nel settore e per la scienza in generale, anche in termini di congruità, efficacia, tempestività e durata delle ricadute; b) originalità/innovazione, da intendersi come contributo all'avanzamento di conoscenze o a nuove acquisizioni nel settore di riferimento; c) internazionalizzazione, da intendersi come posizionamento nello scenario internazionale, in termini di rilevanza, competitività, diffusione editoriale e apprezzamento della comunità scientifica, inclusa la collaborazione esplicita con ricercatori e gruppi di ricerca di altre nazioni; d) relativamente ai brevetti, i giudizi devono contenere anche riferimenti al trasferimento, allo sviluppo tecnologico e alle ricadute socio-economiche (anche potenziali). I giudizi descrittivi devono alla fine essere compendiati in un giudizio sintetico, con attribuzione della pubblicazione a uno dei seguenti livelli di merito: A. Eccellente: la pubblicazione si colloca nel 20% superiore della scala di valore condivisa dalla comunità scientifica internazionale (peso 1); B. Buono: la pubblicazione si colloca nel segmento 60% - 80% (peso 0.8); C. Accettabile: la pubblicazione si colloca nel segmento 50% - 60% (peso 0.5); D. Limitato: la pubblicazione si colloca nel 50% inferiore (peso 0); E. Non valutabile: la pubblicazione appartiene a tipologie escluse dal presente esercizio o presenta allegati e/o documentazione inadeguati per la valutazione o è stata pubblicata in anni precedenti o successivi al settennio di riferimento (peso -1). F. In casi accertati di plagio o frode, la pubblicazione viene pesata con peso -2. Ai fini della attribuzione delle pubblicazioni ai livelli di merito si seguiranno i seguenti criteri: 1. I prodotti di livello eccellente sono quelli riconosciute come eccellenti a livello internazionale per originalità, rigore metodologico e rilevanza interpretativa; oppure quelli che hanno rinnovato in maniera significativa il campo degli studi a livello nazionale. 2. I prodotti di livello buono sono quelli di importanza internazionale e nazionale riconosciute per originalità dei risultati e rigore metodologico. 4

5 3. I prodotti di livello accettabile sono quelli a diffusione internazionale o nazionale che hanno accresciuto in qualche misura il patrimonio delle conoscenze nei settori di pertinenza. 4. I prodotti di livello limitato sono quelli a diffusione nazionale o locale, oppure in sede internazionale di non particolare rilevanza, che hanno dato un contributo modesto alle conoscenze nei settori di pertinenza. I prodotti da valutare, definiti all'art. 2.3 del bando ANVUR VQR , sono i seguenti: a) articoli su riviste; b) libri, capitoli di libri ed atti di congressi, solo se dotati di ISBN; c) edizioni critiche, traduzioni e commenti scientifici; d) brevetti concessi nel settennio di cui risulti autore/coautore il soggetto valutato che lo presenta; e) Composizioni, disegni, design, performance, mostre ed esposizioni organizzate, manufatti, prototipi e opere d'arte e loro progetti, banche dati e software, carte tematiche, esclusivamente se corredati da pubblicazioni atte a consentirne adeguata valutazione. L'impostazione che si propone di adottare è concettualmente unitaria, anche se adattata alle differenti tradizioni scientifiche dell'area 08. I settori di ingegneria hanno una tradizione di analisi bibliometrica sufficientemente sviluppata, anche se non in grado di coprire la totalità dei prodotti. I settori di architettura ne dispongono ancora in misura limitata per diversi motivi (disomogeneità tra le discipline, maggiore varietà tipologica dei prodotti, tradizioni della pubblicistica di settore, non solo italiana ma anche straniera - con poca editoria "scientifica", limitata presenza nelle banche dati). 4. Mix valutativo per il sub-gev Ingegneria Nei settori di Ingegneria il GEV utilizzerà per la valutazione la tecnica della "informed peer review", vale a dire un mix di criteri bibliometrici e di revisione "peer". In particolare, i prodotti di cui alla tipologia a del Bando ed identificati nelle banche dati Web of Science (WoS) di Thomson Reuters e/o Scopus (SCOPUS) di Elsevier B.V verranno valutati utilizzando i criteri bibliometrici descritti nella sezione 4.2. I rimanenti prodotti di cui alle tipologie b, c, d ed e del Bando saranno inviati a '"peer review". Nei confronti dei prodotti di cui alla tipologia a del Bando non identificati nelle banche dati Web of Science (WoS) di Thomson Reuters e/o Scopus (SCOPUS) di Elsevier B.V (articoli su riviste nonindicizzate), il GEV ha formulato una classificazione contenuta in 5

6 allegato a questo documento, in 4 classi A, B, C, D, utilizzando la procedura descritta nel documento di lavoro stesso. Tali prodotti saranno anch'essi inviati a peer review. I prodotti valutati mediante "peer review'" (che prevede l'invio a revisori esterni oppure, in alcuni casi limitati per i quali vi siano le competenze richieste all'interno, la valutazione diretta "peer' all'interno del GEV) possono quindi appartenere a 4 categorie: 1. Prodotti di ricerca di cui alle tipologie b,c,d,e; 2. Articoli che sono indicizzati nelle banche dati Web of Science (WoS) di Thomson Reuters e/o Scopus (SCOPUS) di Elsevier B.V che richiedono la "peer review" in base all'algoritmo bibliometrico descritto nella sezione 4.2; 3. Articoli che sono indicizzati nelle banche dati Web of Science (WoS) di Thomson Reuters e/o Scopus (SCOPUS) di Elsevier B.V e che saranno valutati utilizzando l'algoritmo bibliometrico e la "peer review" al fine di studiare la correlazione tra i due metodi di valutazione: tali articoli saranno individuati tramite un algoritmo di campionamento casuale stratificato studiato da un Gruppo di lavoro dell'anvur. 4. Articoli su riviste non indicizzate 4.1 Peer review Il GEV ha formulato la classificazione delle riviste non- indicizzate, contenuta in allegato a questo documento, in 4 classi di merito, utilizzando la procedura descritta nell'allegato stesso. Nel caso di utilizzo della "peer review" i prodotti saranno inviati a due revisori esterni, oppure valutati, sussistendo le condizioni di competenza e di assenza di conflitti, all'interno del GEV utilizzando le stesse procedure e la stessa scheda di revisione. La selezione dei revisori esterni, italiani e stranieri, attese le sue rilevanti finalità di pubblico interesse, si ispira al principio di leale cooperazione istituzionale ed è retta da criteri di correttezza, obiettività e imparzialità. Ciascun componente del GEV è tenuto a garantire l'anonimato degli esperti cui è affidata la valutazione dei prodotti. Le informazioni acquisite ai fini della selezione dei revisori possono essere utilizzate esclusivamente ai fini della valutazione della qualità della ricerca. La scelta dei revisori esterni verrà effettuata evitando conflitti di interesse tra i revisori stessi e gli autori e/o la struttura di affiliazione. Inoltre, verrà garantita l'indipendenza dei revisori ponendo attenzione alla sede di affiliazione, alla collaborazione scientifica, e, ove possibile, alla nazionalità. Per minimizzare i conflitti di interesse, si privilegeranno i revisori operanti al di fuori dei confini nazionali. Ove possibile, l'individuazione dei 2 revisori peer verrà fatta separatamente da 2 membri distinti del GEV di riferimento. 6

7 4.1.1 L'individuazione dei revisori "peer" Il GEV intende coinvolgere revisori esterni con un profilo di ricerca internazionale, un curriculum di altro profilo, testimoniato, in particolare negli ultimi anni, da un elevato numero di pubblicazioni nelle sedi di riferimento della comunità scientifica internazionale del settore, un significativo numero di citazioni e la necessaria competenza nella specifica area di valutazione. Il GEV preparerà un elenco di revisori esterni, stabilendo standard minimi di qualità scientifica, di impatto sulla comunità scientifica internazionale e di esperienza nella valutazione. Grande attenzione verrà posta al mantenimento dell'anonimato dei revisori, sia nella fase di predisposizione dell'elenco dei revisori, che nella fase operativa di valutazione. Per quanto attiene alla prima, il Presidente GEV consulterà la lista di revisori della propria area resa disponibile dal CINECA, e chiederà ai componenti GEV, tramite i coordinatori dei sub-gev, di suggerire un numero significativo di esperti che soddisfano i criteri indicati nel paragrafo precedente. Il Presidente GEV raccoglierà le indicazioni corredate di informazioni fornite sulla base di una scheda condivisa, e, anche con l'ausilio dei coordinatori di sub-gev, provvederà a modificare la lista CINECA con integrazioni e/o cancellazioni. Il processo di integrazione della lista continuerà per tutta la durata della valutazione, sulla base delle necessità che dovessero emergere a valle della trasmissione dei prodotti da parte delle strutture Assegnazione dei livelli di merito VQR sulla base delle valutazioni " peer" Ai revisori verrà inviata la classificazione delle riviste di cui al punto 4.1. Tale classificazione non vincolerà l'operato del revisore esterno, ma costituirà un ulteriore elemento per operare la "informed peer review" da parte del sub-gev. La valutazione dei revisori "peer" si baserà su una apposita scheda revisore predisposta dal GEV, costituita da una serie di domande a risposta multipla e da un campo libero con numero limitato di parole. Il GEV trasformerà le indicazioni contenute nella scheda revisore in una delle 4 classi finali di merito. Nel caso di valutazioni non convergenti dei revisori "peer" o, nel caso di disponibilità di entrambe, tra "peer review" e analisi bibliometrica, il sub-gev creerà al suo interno un Gruppo di Consenso con il compito di proporre al GEV il punteggio finale del prodotto oggetto del giudizio difforme dei revisori esterni mediante la metodologia del "consensus report". Il Gruppo di Consenso potrà avvalersi anche del giudizio di un terzo esperto. In ogni caso la responsabilità della valutazione conclusiva è dell'intero GEV. I brevetti saranno sottoposti a peer review. I livelli di merito VQR A (eccellente) e B (buono) potranno essere assegnati esclusivamente a brevetti internazionali che siano già stati ceduti o dati in licenza a un'azienda. 7

8 4.2 Analisi bibliometrica Basi di dati Il GEV utilizzerà le basi di dati seguenti: - Web of Science (WoS) di Thomson Reuters V - Scopus (SCOPUS) di Elsevier B Finestra temporale delle citazioni Nel calcolo dell'indicatore bibliometrico il GEV utilizzerà le citazioni fino al 31 dicembre Auto-citazioni L'opportunità di includere o escludere le autocitazioni nella valutazione bibliometrica è tuttora oggetto di dibattito nella comunità scientifica. Nella VQR , per motivi di ordine tecnico legati soprattutto all'uso di ISI WoS, che non lo consente direttamente, e ai problemi legati all'ambiguità dei nomi degli autori se lo si volesse realizzare a partire dai dati grezzi, non verranno escluse le autocitazioni Gli indicatori bibliometrici La valutazione utilizzerà, per tutti gli articoli pubblicati su riviste indicizzate nelle basi di dati Web of Science (WoS) di Thomson Reuters e/o Scopus (SCOPUS) di Elsevier B.V, un algoritmo che tiene conto, in misura diversa a seconda della data di pubblicazione dell'articolo, sia del numero di citazioni che dell'indicatore bibliometrico della rivista ospitante: Impact Factor (IF) di Journal Citation Reports (JCR) di Thomson Reuters o equivalente per SCOPUS. Tale scelta è dettata dalla considerazione che il puro indicatore citazionale in alcuni casi a seconda della disciplina e/o del breve tempo trascorso dal momento della sua pubblicazione assume valori anche molto bassi rendendo difficile una discriminazione tra le possibili classi di merito di cui al bando del presente esercizio VQR. In questi casi l'indicatore della rivista ospitante diventa un elemento significativo nella valutazione. In aggiunta, si ritiene importante comunicare ai ricercatori il messaggio che esiste un livello qualitativo anche profondamente diverso tra le varie riviste e che si debba avere, quale obiettivo, quello di pubblicare nelle migliori riviste del proprio settore. L'algoritmo utilizzato per la classificazione degli articoli nelle 4 classi di merito della VQR è il seguente: 8

9 1. Dato l'articolo e la rivista che lo ha pubblicato, si identifica la corrispondente subject category (SC) in WoS e la science journal classification (ASJC) in Scopus; nel seguito l'algoritmo verrà descritto con riferimento alle sole SCs e all'if, essendo implicito che identica procedura viene seguita per le ASJCs e per altri indicatori bibliometrici; 2. Se la rivista appartiene a più di una SC, si utilizza, ai fini dell'individuazione univoca della SC, l'indicazione del soggetto valutato che ha proposto l'articolo, o, se necessario per casi evidenti, una eventuale e motivata modifica da parte del GEV; 3. Sia in WoS che in Scopus esiste la categoria: multidisciplinary science, che include rivistecaratterizzate da una pluralità di argomenti scientifici, quali Nature, Science, ecc.. Gli articoli pubblicati su una rivista di tale categoria saranno riassegnati ad un'altra SC sulla base delle citazioni contenute nell'articolo. In particolare, per ognuna delle riviste citate si individuerà una (o più) SC di appartenenza, e si sceglierà la SC finale con una regola di decisione maggioritaria. Nell'assegnazione alla nuova SC, l'articolo porterà con sé l'if della rivista e il numero di citazioni ricevute; 4. Si calcola la funzione di distribuzione cumulativa empirica dell'if delle riviste appartenenti alla SC individuate per l'anno di pubblicazione dell'articolo da valutare; 5. Si divide la funzione di distribuzione cumulativa dell'if in 4 classi, caratterizzate dai valori di probabilità 0.2 (classe 1), 0.2 (classe 2), 0.1 (classe 3), 0.5 (classe 4); 6. Si calcola la funzione di distribuzione cumulativa del numero di citazioni degli articoli (dalla data di pubblicazione al 31 dicembre 2011) pubblicati dalle riviste appartenenti alla SC individuata per l'anno di pubblicazione dell'articolo da valutare; 7. Si divide la funzione di distribuzione cumulativa empirica del numero di citazioni in 4 classi, caratterizzate dai valori di probabilità 0.2 (classe 1), 0.2 (classe 2), 0.1 (classe 3), 0.5 (classe 4); 8. Dati l'if e il numero di citazioni dell'articolo da valutare, esso viene attribuito ad una delle 16 coppie di classi rappresentate in una matrice 4x4, che contiene in riga le classi della distribuzione dell'if e in colonna le classi della distribuzione del numero di citazioni; 9. L'attribuzione della classe finale di merito avviene secondo l'algoritmo seguente, nel quale la lettera "A" si riferisce alla classe finale "eccellente", la "B" a "buono", la "C" a accettabile, e la "D" a "limitato": 9

10 Indicato re bibliom etrico ciitazioni zioni Indicatore bibliometrico A A A IR A B B IR IR C C IR IR D D D Indicatore bibliometrico n. citazioni 1 A A A A IR 2 B 3 C A B B IR 4 D IR C C IR Figura 1. Matrice di corrispondenza tra classi iniziali di IF, citazioni e classe finale VQR nel quinquennio IR D D D a. Quando le coordinate dell'articolo lo posizionano in uno dei 4 elementi della diagonale principale, e quindi le indicazioni basate sull'indicatore bibliometrico e sulle citazioni coincidono, la classe finale è la stessa (vedi Figura 1) co b. Quando le coordinate danno indicazioni diverse (elemento della matrice non appartenente alla diagonale principale), occorre distinguere due casi a seconda della data di pubblicazione dell'articolo. c. Se l'articolo è stato pubblicato nel quinquennio , e potendo quindi considerare sufficientemente consolidata la distribuzione di citazioni ad esso associata, si utilizza la matrice riportata in Figura 2 per l'attribuzione della classe finale di merito, nella quale si privilegia l'indicazione fornita dalla classificazione citazionale. Indicatore bibliometrico A A A IR 2 A B B IR 3 IR C C IR 4 IR D D D 10

11 Figura 2. Matrice di corrispondenza tra classi iniziali di IF, citazioni e classe finale VQR per articoli pubblicati nel quinquennio d. Se l'articolo è stato pubblicato nel biennio , e quindi la sua "storia" citazionale è, al contrario, ritenuta non sufficientemente consolidata, si utilizza la matrice seguente per l'attribuzione della classe finale di merito (vedi Figura 3), nella quale si privilegia l'indicazione fornita dalla classificazione basata sull'if n. citazioni Indicatore bibliometrico A B IR IR n. di citazioni 2 A B C D 3 A B C D 4 A IR IR D Figura 3. Matrice di corrispondenza tra classi iniziali di IF, citazioni e classe finale VQR per articoli pubblicati e. Le caselle delle matrici di Figura 2 e Figura 3 etichettati "IR" si riferiscono ai casi nei quali la valutazione non verrà fatta in maniera automatica, ma mediante la informed peer review. In tali casi, il GEV valuterà direttamente l'articolo, ed eventualmente si avvarrà della peer review. 10. L'algoritmo distinguerà, calcolando funzioni di distribuzione cumulative empiriche separate per le citazioni, gli articoli "scientifici" da quelli di rassegna, che ricevono notoriamente un maggior numero di citazioni. 4.3 Gestione dei conflitti Nel caso di articoli sottoposti a valutazione bibliometrica utilizzando sia WoS che Scopus che ottengano una valutazione diversa si adotterà la valutazione più favorevole. 11

12 Nel caso di disponibilità di una o più valutazioni "peer" e della valutazione bibliometrica per lo stesso prodotto, eventuali conflitti di attribuzione verranno risolti dal GEV su proposta del sub-gev tramite un gruppo di consenso. 5. Mix valutativo per il sub-gev di architettura Nei settori di architettura, saranno utilizzati una serie di criteri per classificare alcuni prodotti in base alle loro caratteristiche specifiche ed estrinseche (ranking delle riviste per gli articoli, caratteristiche editoriali per le monografie, livelli di riconoscimento pubblico per i progetti - vedi documento di lavoro). 5.1 Articoli su rivista Il GEV ha formulato la classificazione delle riviste, contenuta in allegato a questo documento, in 4 classi di merito, utilizzando la procedura descritta nell'allegato stesso. In ogni caso, i prodotti di cui alla tipologia a del Bando ed identificati nelle banche dati WoS e/o Scopus verranno valutati utilizzando i criteri bibliometrici descritti nella sezione "Peer review" Tutti gli articoli saranno inviati a 2 revisori "peer" esterni. La selezione dei revisori esterni, italiani e stranieri, attese le sue rilevanti finalità di pubblico interesse, si ispira al principio di leale cooperazione istituzionale ed è retta da criteri di correttezza, obiettività e imparzialità. Ciascun componente del GEV è tenuto a garantire l'anonimato degli esperti cui è affidata la valutazione dei prodotti. Le informazioni acquisite ai fini della selezione dei revisori possono essere utilizzate esclusivamente ai fini della valutazione della qualità della ricerca. La scelta dei revisori avverrà evitando conflitti di interesse tra gli esperti stessi e gli autori e/o la struttura di affiliazione. Inoltre, verrà garantita l'indipendenza dei revisori con l'attenzione alla sede di affiliazione, alla collaborazione scientifica, e, ove possibile, alla nazionalità. Per minimizzare i conflitti di interesse, si privilegeranno i revisori operanti al di fuori dei confini nazionali. Ove possibile, l'individuazione dei 2 revisori peer verrà fatta separatamente da 2 membri distinti del GEV di riferimento. Ove possibile, l'individuazione dei 2 revisori peer verrà fatta separatamente da 2 membri distinti del GEV di riferimento L'individuazione dei revisori "peer" Il GEV intende coinvolgere revisori esterni con un profilo di ricerca internazionale, un curriculum di altro profilo testimoniato, in particolare negli ultimi anni, da un elevato numero di pubblicazioni nelle sedi di riferimento della comunità scientifica internazionale del settore e la necessaria competenza nella specifica area di valutazione. Il GEV preparerà un elenco di revisori esterni, stabilendo standard minimi di qualità scientifica, di impatto sulla comunità scientifica internazionale e di esperienza nella valutazione. 12

13 Grande attenzione verrà posta al mantenimento dell'anonimato dei revisori, sia nella fase di predisposizione dell'elenco dei revisori, che nella fase operativa di valutazione. Per quanto attiene alla prima, il Presidente GEV consulterà la lista di revisori della propria area resa disponibile dal CINECA, e chiederà ai componenti GEV, tramite i coordinatori dei sub-gev, di suggerire un numero significativo di esperti che soddisfano ai criteri indicati nel paragrafo precedente. Il Presidente GEV raccoglierà le indicazioni corredate di informazioni fornite sulla base di una scheda condivisa, e, anche con l'ausilio dei coordinatori di sub-gev, provvederà a modificare la lista CINECA con integrazioni e/o cancellazioni. Il processo di integrazione della lista continuerà per tutta la durata della valutazione, sulla base delle necessità che dovessero emergere a valle della trasmissione dei prodotti da parte delle strutture Assegnazione dei livelli di merito VQR sulla base delle valutazioni " peer" Ai revisori verrà inviata la classificazione delle riviste di cui al punto 5.1. Tale classificazione non vincolerà l'operato del revisore esterno, ma costituirà un ulteriore elemento per operare la "informed peer review" da parte del sub-gev. La valutazione dei revisori "peer" si baserà su una apposita scheda revisore predisposta dal GEV, costituita da una serie di domande a risposta multipla e da un campo libero con numero limitato di parole. Il GEV trasformerà le indicazioni contenute nella scheda revisore in una delle 4 classi finali di merito. Nel caso di valutazioni non convergenti degli esperti esterni, il sub-gev creerà al suo interno un Gruppo di Consenso con il compito di proporre al GEV il punteggio finale del prodotto oggetto del giudizio difforme degli esperti esterni mediante la metodologia del "consensus report". Il Gruppo di Consenso può avvalersi anche del giudizio di un terzo esperto. In ogni caso, la responsabilità della valutazione conclusiva è dell'intero GEV. 5.2 Libri, capitoli di libri, volumi a cura ed atti di congressi, solo se dotati di ISBN "Peer review" Tutti i prodotti appartenenti a queste tipologie saranno inviati a 2 revisori "peer" esterni. La scelta dei revisori avverrà evitando conflitti di interesse tra gli esperti stessi e gli autori e/o la struttura di affiliazione. Inoltre, verrà garantita l'indipendenza dei revisori con l'attenzione alla sede di affiliazione, alla collaborazione scientifica, e, ove possibile, alla nazionalità. Per minimizzare i conflitti di interesse, si privilegeranno i revisori operanti al di fuori dei confini nazionali. 13

14 5.2.2 Assegnazione dei livelli di merito VQR sulla base delle valutazioni "peer" Ai revisori verrà anche inviata la classificazione dei volumi in base ai criteri di cui all'allegato 1, quando disponibile. Tale classificazione non vincolerà l'operato del revisore esterno, ma costituirà un ulteriore elemento per operare la "informed peer review". Anche per questi prodotti, la valutazione dei revisori "peer" si baserà su una apposita scheda revisore predisposta dal GEV, costituita da una serie di domande a risposta multipla e da un campo libero con numero limitato di parole. Il GEV trasformerà le indicazioni contenute nella scheda revisore in una delle 4 classi finali di merito. Nel caso di valutazioni non convergenti degli esperti esterni, il sub-gev creerà al suo interno un Gruppo di Consenso con il compito di proporre al GEV il punteggio finale del prodotto oggetto del giudizio difforme. degli esperti esterni mediante la metodologia del "consensus report". Il Gruppo di Consenso può avvalersi anche del giudizio di un terzo esperto. In ogni caso, la responsabilità della valutazione conclusiva è dell'intero GEV, che terrà conto delle valutazioni "peer" e dei criteri de1 documento di lavoro. 5.3 Altri prodotti Il Bando ANVUR VQR , all'art. 2.3, definisce i seguenti prodotti ai punti c), d) ed e): c) edizioni critiche, traduzioni e commenti scientifici; d) brevetti concessi nel settennio di cui risulti autore/coautore il soggetto valutato che lo presenta; e) Composizioni, disegni, design, performance, mostre ed esposizioni organizzate, manufatti, prototipi e opere d'arte e loro progetti, banche dati e software, carte tematiche, esclusivamente se corredati da pubblicazioni atte a consentirne adeguata valutazione. Per i prodotti elencati al punto e), occorre chiarire che essi sono oggetto della valutazione per le proprie caratteristiche, e non in quanto siano stati pubblicati. La pubblicazione ha solo un carattere di filtro che attesta la dimensione "pubblica" della ricerca che si concretizza nel prodotto. Pertanto, nel caso in cui la pubblicazione sia ritenuta insufficiente a illustrare i contenuti, sarà facoltà dei ricercatori allegare al pdf della pubblicazione una documentazione, anch'essa in pdf, non eccedente 10 fogli in formato A4. La documentazione dovrà essere strettamente attinente al prodotto presentato, pena l'attribuzione al prodotto del giudizio di "non valutabile" come definito dal punto 2.4 del bando "Peer review" Tutti i prodotti appartenenti a queste tipologie saranno inviati a 2 revisori "peer" esterni. La scelta dei revisori avverrà evitando conflitti di interesse tra gli esperti stessi e gli autori e/o la struttura di affiliazione. Inoltre, verrà garantita l'indipendenza dei revisori con l'attenzione alla 14

15 sede di affiliazione, alla collaborazione scientifica, e, ove possibile, alla nazionalità. Per minimizzare i conflitti di interesse, si privilegeranno i revisori operanti al di fuori dei confini nazionali. Ove possibile, l'individuazione dei 2 revisori peer verrà fatta separatamente da 2 membri distinti del GEV di riferimento Assegnazione dei livelli di merito VQR sulla base delle valutazioni " peer" Ai revisori verrà anche inviata la classificazione dei progetti in base ai criteri di cui al documento di lavoro, quando disponibile. Tale classificazione non vincolerà l'operato del revisore esterno, ma costituirà un ulteriore elemento per operare la "informed peer review". Anche per questi prodotti la valutazione dei revisori "peer" si baserà su una apposita scheda revisore predisposta dal GEV, costituita da una serie di domande a risposta multipla e da un campo libero con numero limitato di parole. Il GEV trasformerà le indicazioni contenute nella scheda revisore in una delle 4 classi finali di merito. Nel caso di valutazioni non convergenti degli esperti esterni, il sub-gev creerà al suo interno un Gruppo di Consenso con il compito di proporre al GEV il punteggio finale del prodotto oggetto del giudizio difforme degli esperti esterni mediante la metodologia del "consensus report". Il Gruppo di Consenso può avvalersi anche del giudizio di un terzo esperto. In ogni caso, la responsabilità della valutazione conclusiva è dell'intero GEV, che terrà conto delle valutazioni "peer" e dei criteri del documento di lavoro. I brevetti saranno sottoposti a peer review. I livelli di merito VQR A (eccellente) e B (buono) potranno essere assegnati esclusivamente a brevetti internazionali o che siano già stati ceduti o dati in licenza a un'azienda. 6. Risoluzione dei conflitti di interesse I membri dei GEV si asterranno dal valutare o dall'assegnare ad altri membri dei GEV o a esperti esterni: a. prodotti di cui siano autori o co-autori; b. prodotti di cui siano autori o co-autori parenti o affini fino al 4 grado; c. prodotti presentati da università presso cui i membri stessi abbiano o abbiano avuto un rapporto di lavoro o con le quali abbiano svolto incarichi o collaborazioni ufficiali negli anni a partire dal 1/1/2007; d. prodotti presentati da enti di ricerca vigilati dal MIUR e da altri soggetti pubblici e privati sottoposti volontariamente alla VQR presso cui i membri stessi abbiano o abbiano avuto un rapporto di lavoro o con le quali abbiano svolto incarichi o collaborazioni ufficiali, inclusa l'affiliazione a enti di ricerca, negli anni a partire dal 1/1/2007. Nei casi di cui al punto d) precedente, esiste conflitto di interesse: 15

16 i. nel caso in cui la struttura abbia una permanente strutturazione interna di tipo territoriale o disciplinare (es. sezione locale di ente di ricerca, istituto, dipartimento), limitatamente ai prodotti presentati dalla stessa articolazione; ii. nel caso in cui la struttura non abbia una permanente strutturazione interna di tipo territoriale o disciplinare (es. sezione locale di ente di ricerca, istituto, dipartimento), in riferimento a tutti i prodotti presentati nei limiti in cui ciò sia possibile senza precludere la possibilità di valutare il prodotto; iii. nel caso in cui la strutturazione interna abbia luogo a più livelli gerarchici (es. più istituti riuniti sotto un dipartimento) il conflitto di interesse sorge al livello più basso (es. membri GEV affiliati ad istituti diversi di uno stesso dipartimento, sono in conflitto di interesse soltanto rispetto a prodotti presentati da autori appartenenti allo stesso istituto). Nei casi di conflitto di interesse, il Presidente del GEV incaricherà delle procedure di valutazione un altro membro del GEV per i quali non vi siano conflitti di interesse. Nel caso di conflitti di interesse che coinvolgano il Presidente del GEV, l'assegnazione dei prodotti relativi sarà fatta dal coordinatore del VQR o da persona da lui incaricata. In aggiunta alle regole generali sul conflitto di interesse della VQR e dell'anvur, il GEV08 intende adottare regole specifiche in riferimento alla area scientifica di pertinenza. In particolare, nella valutazione dei progetti, non sarà possibile assegnare a un revisore la valutazione di un prodotto nel quale lo stesso compaia in qualsiasi veste tra gli autori, i consulenti e i collaboratori o, nel caso di concorsi di progettazione, in cui il revisore sia stato membro della giuria. Nel caso della cura di mostre, analogamente non sarà possibile assegnare il prodotto a un revisore che abbia collaborato in qualsiasi forma alla mostra, o nella mostra abbia esposto il proprio lavoro. 16

17 Appendice2. Documento di lavoro Classificazione di categorie di prodotti privi di indicatori citazionali Premessa I prodotti per i quali il GEV ha fatto una classificazione al fine di ottenere una valutazione aggiuntiva oltre alla "peer review" sono: - articoli su riviste non-indicizzate; - monografie, cataloghi, edizioni critiche, volumi a cura con saggio dell'autore e Isbn; - progetti premiati e che hanno ottenuto risultati in concorsi di progettazione. Questa scelta dipende dalle seguenti motivazioni: - l'articolo su rivista è il prodotto più diffuso e in comune tra le aree scientifiche e umanistiche; - la monografia e il catalogo sono prodotti rilevanti per molti SSD dell'area 08 che hanno radici comuni alle aree umanistiche; - il progetto è un prodotto caratteristico e specifico dell'area 08. I prodotti in questione corrispondono a un sottoinsieme di quelli dei punti a), b), c) ed e) dell'art del bando VQR: a) articoli su riviste; b) libri, capitoli di libri ed atti di congressi, solo se dotati di ISBN; c) edizioni critiche, traduzioni e commenti scientifici; e) Composizioni, disegni, design, performance, mostre ed esposizioni organizzate, manufatti, prototipi e opere d'arte e loro progetti, banche dati e software, carte tematiche, esclusivamente se corredati da pubblicazioni atte a consentirne adeguata valutazione. Tutti gli altri prodotti dei settori scientifico-disciplinari di architettura saranno valutati tramite peer review. Per questi motivi la sperimentazione della "informedpeer review", combinata con la peer review, potrebbe coprire un campione significativo dei prodotti presentati alla VQR nell'area 08. Di seguito, per ciascun tipo di prodotto, si elencano i criteri e gli indicatori utilizzati per la classificazione con i pesi relativi. I soggetti valutati dovranno evidenziare nelle schede CINECA le informazioni utili a identificare la rispondenza dei prodotti delle tipologie b, c ed e, ai criteri. 17

18 1. Riviste L'elenco dei criteri è basato su quello adottato dalla Conferenza dei Presidi di Architettura per l'esercizio di rating I criteri sono di ordine generale per le riviste scientifiche e quindi di vasta applicabilità. La redazione del nuovo rating include come riferimento anche le indicazioni fornite dalle società scientifiche e raccolte dai rappresentanti CUN dell'area 08. Le riviste Web of Science (WoS) di Thomson Reuters e/o Scopus (SCOPUS) di Elsevier non saranno soggette a rating, in quanto saranno utilizzati gli indicatori bibliometrici illustrati nel documento sui criteri. Modalità di selezione - Comitato scientifico - Blind peer review - Peer review Internazionalità - Abstract lingua inglese - Articolo lingua inglese - Presenza di esperti stranieri nei comitati di selezione e tra i coautori Diffusione - Diffusione biblioteche (4 biblioteche appropriate per il SSD, prevalentemente straniere) - Diffusione banche dati (2 banche dati appropriate per SSD) 2. Monografie, cataloghi, edizioni critiche, volumi a cura con saggio dell'autore e Isbn I criteri per le monografie danno un peso alla casa editrice, all'internazionalizzazione e alla fortuna critica. Questi criteri saranno anch'essi oggetto di verifica al termine della procedura, e oggetto di riflessione nel report finale. Caratteristiche degli editori - Numero volumi in catalogo - Numero novità all'anno - Presenza di area tematica specifica o affine (Specificità della collana, durata nel tempo della collana (n. anni), numero di volumi/anno pubblicati in quella collana) - Casa editrice con modalità di selezione 18

19 (Comitato editoriale/comitato scientifico/comitato di referee o Comitato scientifico cui sono attribuite anche le funzioni di referaggio) Caratteristiche del volume - Quantità: Numero di pagine - Fortuna critica: Recensioni/citazioni (almeno 3 in periodici di cl. A,B,C,D se pubblicati prima del 2010; citazioni su Google Scholar) Internazionalizzazione - Volume tradotto in lingua straniera - Volume pubblicato da casa editrice straniera in lingua straniera - Volume pubblicato in Italia in due lingue - Introduzione (summary inglese) o sintesi capitoli in inglese. 3. Progetti In questo caso i criteri per la classificazione sono stati individuati solo per le ricerche progettuali, i progetti, i piani premiati o classificati in concorso, per i quali si dà peso alla rilevanza internazionale o nazionale e, nel caso dei concorsi, anche al posizionamento in graduatoria. Tutti gli altri progetti (purché "pubblicati") saranno valutati solo attraverso lapeer review. Ricerca progettuale, progetto, piano, premiati - Di rilevanza internazionale - Di rilevanza nazionale Ricerca progettuale, progetto, piano classificati in concorso - Con giuria internazionale. Primo premio - Con giuria internazionale. Premio diverso dal primo - Con giuria internazionale. Menzione / Shortlist - Con giuria nazionale. Primo premio - Con giuria nazionale. Premio diverso dal primo Elenchi delle riviste soggette al ranking per SSD - avvertenze IMPORTANTI 1. Gli elenchi delle riviste sono stati forniti dal CINECA. Essi comprendono unicamente le riviste su cui i docenti e ricercatori italiani hanno pubblicato articoli tra il 2004 e il L'attribuzione delle riviste ad un SSD è stata effettuata dal CINECA sulla base dell'appartenenza al SSD degli autori degli articoli. Il GEV ha verificato la pertinenza delle 19

20 riviste al SSD. Nei casi in cui la stessa rivista era presente negli elenchi di più settori, è stato in generale adottato il criterio di assegnarla al SSD in cui c'era il numero più alto di articoli. La divisione in SSD è solo un ausilio alla lettura, e non ha nessuna conseguenza sulla valutazione di articoli pubblicato su riviste di un settore diverso dal proprio. 3. Il GEV ha rimosso dagli elenchi riviste del tutto non pertinenti e ritenute dalle linee guida dell'anvur non oggetto di valutazione (come ad esempio i quotidiani e i settimanali di opinione). 4. Il GEV ha rimosso dagli elenchi le riviste in cui nei sette anni erano stati pubblicati meno di tre articoli. Questa scelta non intende dare un giudizio sulla rilevanza o autorevolezza della rivista, ma è servito solo a ridurre la mole di lavoro, visto il grande numero di riviste con pochissimi articoli pubblicati. 5. Il GEV provvederà a classificare con gli stessi criteri e indicatori anche le riviste, non comprese negli elenchi CINECA, a cui appartengono articoli sottoposti alla valutazione. 6. Le riviste ISI non sono state assoggettate a rating, in quanto per i loro articoli sarà adottato il procedimento bibliometrico illustrato nel documento sui criteri. 7. La colonna CUN/SOC SC ISI-LIKE raccoglie i risultati della consultazione operata dal CUN delle società scientifiche della maggioranza dei settori. In alcuni casi l'assenza di "A" e "B" è dovuta alla decisione di fare riferimento esclusivamente alle riviste ISI da parte di alcuni SSD, in altri casi alla mancanza di risposta. 20

21 8. Il rating è stato attribuito alle riviste di tutti i SSD con gli stessi criteri. La presenza di ogni criterio ha determinato l'attribuzione di un punteggio, e il punteggio ha determinato l'assegnazione ad una delle quattro classi del rating. L'assenza di valutazione corrisponde ai casi in cui non è stato possibile, al momento, reperire informazioni sufficienti per applicare gli indicatori. Valore dei criteri comitato scientifico = 1 peer review = 1 blindpeer review = 1,5 (alternativo al precedente) abstract in inglese = 0,5 articolo in inglese = 1 presenza di esperti stranieri = 1 1 per ogni banca dati in cui la rivista è presente 0,5 per ogni biblioteca in cui la rivista è presente Totale massimo = 9 Attribuzione alla classe = = 2 3-4,5 = 3 meno di 3 = 4 21

22 NUMERO ARTICOLI CINECA ICAR/01 IDRAULICA TITOLO ISSN ISI/SCOPUS CUN/SOC SC_ISI-LIKE 75 WATER RESOURCES RESEARCH x JOURNAL OF HYDRAULIC RESEARCH x JOURNAL OF HYDRAULIC ENGINEERING x JOURNAL OF FLUID MECHANICS x JOURNAL OF GEOPHYSICAL RESEARCH x L'ACQUA PHYSICS OF FLUIDS x COASTAL ENGINEERING x ADVANCES IN WATER RESOURCES x GEOPHYSICAL RESEARCH LETTERS x JOURNAL OF HYDROLOGY x EXPERIMENTS IN FLUIDS x ENVIRONMENTAL FLUID MECHANICS x HYDROLOGICAL PROCESSES x JOURNAL OF WATER RESOURCES PLANNING AND MANAGEMENT-ASCE x STOCHASTIC ENVIRONMENTAL RESEARCH AND RISK ASSESSMENT x TRANSPORT IN POROUS MEDIA x URBAN WATER JOURNAL X x JOURNAL OF GEOPHYSICAL RESEARCH. OCEANS x PHYSICAL REVIEW E, STATISTICAL, NONLINEAR, AND SOFT MATTER PHYSICS x JOURNAL OF FLOW VISUALIZATION AND IMAGE PROCESSING 1 11 STUDI COSTIERI JOURNAL OF COMPUTATIONAL PHYSICS x REVUE PARALIA JOURNAL OF INFRASTRUCTURE SYSTEMS x MECCANICA x CONTINENTAL SHELF RESEARCH x COMPUTERS & FLUIDS x EUROPEAN JOURNAL OF MECHANICS. B, FLUIDS x PHYSICAL REVIEW LETTERS x REVIEWS OF GEOPHYSICS x IA. INGEGNERIA AMBIENTALE COASTAL ENGINEERING JOURNAL x WSEAS TRANSACTIONS ON FLUID MECHANICS 1 6 EARTH SURFACE PROCESSES AND LANDFORMS x GEOMORPHOLOGY X x JOURNAL OF BIOMECHANICS x JOURNAL OF WATERWAY PORT COASTAL X x - - GEV 08 22

23 AND OCEAN ENGINEERING-ASCE 5 ESTUARINE, COASTAL AND SHELF SCIENCE x JOURNAL OF THORACIC AND CARDIOVASCULAR SURGERY x JOURNAL OF TURBULENCE x OCEAN ENGINEERING x ARCHIVES OF HYDROENGINEERING AND ENVIRONMENTAL MECHANICS 2 4 JOURNAL OF INTERDISCIPLINARY MATHEMATICS 2 4 GEAM. GEOINGEGNERIA AMBIENTALE E MINERARIA 4 4 COMPUTERS & GEOSCIENCES x COMPUTERS & MATHEMATICS WITH APPLICATIONS x INTERNATIONAL JOURNAL FOR NUMERICAL METHODS IN FLUIDS x JOURNAL OF COASTAL RESEARCH x JOURNAL OF CONTAMINANT HYDROLOGY x JOURNAL OF ENVIRONMENTAL ENGINEERING x JOURNAL OF MARINE SYSTEMS x NUOVO CIMENTO DELLA SOCIETÀ ITALIANA DI FISICA. C, GEOPHYSICS AND x - - SPACE PHYSICS 4 WIND ENGINEERING X x ACTA GEOPHYSICA x AQUATIC SCIENCES x CARDIOVASCULAR ULTRASOUND x EUROPHYSICS LETTERS x IEEE TRANSACTIONS ON INSTRUMENTATION AND MEASUREMENT x IL NUOVO CIMENTO DELLA SOCIETÀ ITALIANA DI FISICA. B, GENERAL PHYSICS, RELATIVITY, ASTRONOMY AND x - - MATHEMATICAL PHYSICS AND METHODS 3 INTERNATIONAL JOURNAL OF OFFSHORE AND POLAR ENGINEERING x JOURNAL OF APPLIED BIOMATERIALS & BIOMECHANICS x NATURAL HAZARDS AND EARTH SYSTEM SCIENCES x OCEAN DYNAMICS x PHYSICS IN MEDICINE AND BIOLOGY x PROCEEDINGS OF THE NATIONAL ACADEMY OF SCIENCES OF THE UNITED x - - STATES OF AMERICA 3 RIVER RESEARCH AND APPLICATIONS x STUDIES IN APPLIED MATHEMATICS x WATER SCIENCE AND TECHNOLOGY x

24 ICAR/02 COSTRUZIONI IDRAULICHE E MARITTIME E IDROLOGIA NUMERO ARTICOLI CINECA NOME RIVISTA ISSN ISI/SCOPUS CUN/SOC SC_ISI- LIKE 199 WATER RESOURCES RESEARCH x L'ACQUA JOURNAL OF HYDROLOGY x HYDROLOGY AND EARTH SYSTEM SCIENCES x JOURNAL OF HYDRAULIC ENGINEERING x HYDROLOGY AND EARTH SYSTEM SCIENCES DISCUSSIONS ADVANCES IN WATER RESOURCES x COASTAL ENGINEERING x ADVANCES IN GEOSCIENCES HYDROLOGICAL PROCESSES x STUDI COSTIERI GEOPHYSICAL RESEARCH LETTERS x NATURAL HAZARDS AND EARTH SYSTEM SCIENCES x JOURNAL OF GEOPHYSICAL RESEARCH x PHYSICS AND CHEMISTRY OF THE EARTH x WATER SCIENCE AND TECHNOLOGY x WATER RESOURCES MANAGEMENT x JOURNAL OF HYDRAULIC RESEARCH x JOURNAL OF HYDROINFORMATICS x JOURNAL OF HYDROMETEOROLOGY X x JOURNAL OF HYDROLOGIC ENGINEERING x URBAN WATER JOURNAL X x ATMOSPHERIC RESEARCH x OCEAN ENGINEERING x BOUNDARY-LAYER METEOROLOGY x JOURNAL OF WATER RESOURCES PLANNING AND MANAGEMENT-ASCE x ADVANCES IN GEOSCIENCES JOURNAL OF COASTAL RESEARCH x ENVIRONMENTAL MODELLING & SOFTWARE x HYDROLOGICAL SCIENCES JOURNAL x JOURNAL OF IRRIGATION AND DRAINAGE ENGINEERING x JOURNAL OF WATERWAY PORT COASTAL AND OCEAN ENGINEERING-ASCE X x IA. INGEGNERIA AMBIENTALE INTERNATIONAL JOURNAL OF OFFSHORE AND POLAR ENGINEERING x OPTIONS MÉDITERRANÉENNES. SÉRIE B: ÉTUDES ET RECHERCHES CIVIL ENGINEERING AND x - - GEV 08 24

25 ENVIRONMENTAL SYSTEMS 8 COASTAL ENGINEERING JOURNAL x PHYSICAL REVIEW E, STATISTICAL, NONLINEAR, AND SOFT MATTER PHYSICS x PROCEEDINGS OF THE INSTITUTION OF CIVIL ENGINEERS-WATER MANAGEMENT x APPLIED OCEAN RESEARCH x ECOLOGICAL MODELLING x ESTUARINE, COASTAL AND SHELF SCIENCE x GEOMORPHOLOGY X x NATURAL HAZARDS X x PHYSICS OF FLUIDS x COLD REGIONS SCIENCE AND TECHNOLOGY X x ECOHYDROLOGY x SITI CONTAMINATI GROUND WATER X x JOURNAL OF OFFSHORE MECHANICS AND ARCTIC ENGINEERING-TRANSACTIONS OF x - - THE ASME 5 NONLINEAR PROCESSES IN GEOPHYSICS x ANNALS OF GLACIOLOGY OPTIONS MÉDITERRANÉENNES. SÉRIE A: SÉMINAIRES MÉDITERRANÉENS X WATER CHEMISTRY AND ECOLOGY x JOURNAL OF HYDRO-ENVIRONMENT RESEARCH x AGRICULTURAL AND FOREST METEOROLOGY x JOURNAL OF HAZARDOUS MATERIALS x PHYSICAL REVIEW LETTERS x PROCEEDINGS OF THE NATIONAL ACADEMY OF SCIENCES OF THE UNITED x - - STATES OF AMERICA 3 AMBIENTE TERRITORIO ESTIMO E TERRITORIO GEAM. GEOINGEGNERIA AMBIENTALE E MINERARIA GEOLOGIA DELL'AMBIENTE IL PROGETTO SOSTENIBILE INTERNATIONAL JOURNAL OF ENVIRONMENTAL TECHNOLOGY AND MANAGEMENT 3 PUBLIC SERVICE REVIEW. SCIENCE & TECHNOLOGY GEOGRAFIA FISICA E DINAMICA QUATERNARIA x IEEE TRANSACTIONS ON GEOSCIENCE AND REMOTE SENSING x DESALINATION x

26 3 INTERNATIONAL JOURNAL OF CLIMATOLOGY x INTERNATIONAL JOURNAL OF SEDIMENT RESEARCH x IRRIGATION AND DRAINAGE x JOURNAL OF FLUID MECHANICS x JOURNAL OF GEOPHYSICAL RESEARCH. BIOGEOSCIENCES x JOURNAL OF GEOPHYSICAL RESEARCH. OCEANS x JOURNAL OF GEOPHYSICAL RESEARCH. SPACE PHYSICS x LANDSLIDES X x QUARTERLY JOURNAL OF THE ROYAL METEOROLOGICAL SOCIETY x RIVISTA ITALIANA DI TELERILEVAMENTO x STOCHASTIC ENVIRONMENTAL RESEARCH AND RISK ASSESSMENT x VADOSE ZONE JOURNAL x