Selezione ex ante dei progetti di ricerca industriale

Transcript

1 Presidenza del Consiglio dei Ministri Agenzia per la diffusione delle tecnologie per l innovazione COLLANA DEL Progetto Sostegno alle Politiche di Ricerca e Innovazione delle Regioni QI05CP02 Selezione ex ante dei progetti di ricerca industriale Report intermedio del Gruppo di lavoro 3 Coordinatore: Leda Bologni Dicembre 2011 Questa opera è distribuita con licenza Creative Commons Attribuzione Condividi allo stesso modo 3.0 Unported.

2 Il Progetto Sostegno alle Politiche di Ricerca e Innovazione delle Regioni è stato realizzato nell ambito del PON Governance e Assistenza Tecnica Investiamo nel vostro futuro PROGETTAZIONE E COORDINAMENTO Presidenza del Consiglio dei Ministri AGENZIA PER LA DIFFUSIONE DELLE TECNOLOGIE PER L INNOVAZIONE Via Camperio, Milano Direttore: Dr. Mario Dal m.dalco [at] governo.it 2

3 Prefazione Il Quaderno che qui viene presentato costituisce il primo di una serie di lavori realizzati nell ambito del progetto Sostegno alle politiche di ricerca e innovazione delle Regioni avviato nel 2010 su iniziativa congiunta del Dipartimento per lo Sviluppo e la Coesione Economica (DPS) e dell Agenzia per la Diffusione delle Tecnologie per l Innovazione. Il progetto ha riunito gruppi di dirigenti e funzionari delle amministrazioni regionali e degli organismi tecnici e intermediari, allo scopo di sviluppare concetti innovativi e di mettere a punto strumenti operativi cantierabili. La convinzione di fondo è che le Regioni siano un soggetto fondamentale per le politiche di ricerca e innovazione, ma che occorra aumentare il grado di professionalizzazione, sia nella decisione pubblica che nella amministrazione. Ciò richiede interventi sistematici di condivisione di conoscenze, creazione di comunità professionali visibili e stimate, sperimentazione e verifica di nuovi strumenti giuridici e tecnici. Non si fanno politiche pubbliche efficaci per l innovazione senza la capacità di innovare le politiche e l amministrazione che le supporta. I temi coperti dal progetto sono i seguenti: Technology foresight regionali e definizione delle priorità Mappatura e miglioramento dei processi di selezione nei bandi di ricerca industriale e sviluppo pre-competitivo Griglia di criteri di selezione ex ante dei progetti di ricerca industriale e sviluppo precompetitivo Bandi a più stadi e Pre Commercial Public Procurement Indicatori intermedi Valutazione di impatto e metodo controfattuale Il Quaderno del Gruppo di lavoro 3 sulla selezione dei progetti di ricerca e sviluppo delle imprese, coordinato da Leda Bologni, è un contributo di straordinaria utilità. Non vi è analisi rigorosa delle politiche per ricerca e innovazione delle imprese, dalla Commissione Europea all OCSE, dalla Banca d Italia al Consiglio per le Scienze Sociali, che non sottolinei la criticità dei tempi di esecuzione delle procedure amministrative e della qualità della selezione ex ante. Problemi di asimmetria informativa, cattura del regolatore, spiazzamento di risorse possono rendere queste politiche inefficaci. È uno spreco che il Paese non può permettersi, nel momento in cui vi è un bisogno drammatico di più innovazione, ma le risorse pubbliche sono scarse. Andrea Bonaccorsi Coordinatore scientifico del progetto 3

4 Sommario 1. Introduzione, scopo Definizioni Perimetro di interesse Analisi quantitativa nel perimetro di interesse Principi generali Un attività fortemente concorrente Funzioni presenti nel processo di valutazione ex-ante Soggetti coinvolti nel processo di valutazione ex-ante Il Processo Modalità di valutazione ex-ante Criteri di valutazione ex-ante Definizione della graduatoria Esecuzione della valutazione ex-ante Identificazione di elenchi di revisori Sistemi informatizzati per la valutazione ex-ante La valutazione ex-post APPENDICE

5 1. Introduzione, scopo 1. Questo lavoro documenta l attività svolta da un Gruppo di lavoro istituito nell ambito del progetto Sostegno alle politiche di ricerca e innovazione delle Regioni avviato nel 2010 su iniziativa congiunta del Dipartimento per lo Sviluppo e la Coesione Economica del Ministero dello Sviluppo Economico e dell Agenzia per la Diffusione delle Tecnologie per l Innovazione. Il progetto ha lo scopo di fornire alle amministrazioni dell intero territorio nazionale e in particolare alle quattro Regioni della Convergenza il supporto tecnico in materia di ricerca e innovazione, in continuità con le attività del Progetto di Accompagnamento alla programmazione della Priorità 2 del QSN già realizzate dal Dipartimento nel corso del , e capitalizza l esperienza raccolta nel Rapporto Migliorare le politiche di ricerca e innovazione per le Regioni. 2. Nell ambito del progetto si sono costituiti sei gruppi di lavoro, ciascuno dei quali affronta problematiche specifiche nella definizione strategica e nella implementazione concreta di politiche regionali in favore della ricerca di interesse industriale, dello sviluppo sperimentale e dell innovazione. Il Gruppo di lavoro 3 - Griglia di criteri di selezione ex ante dei progetti di ricerca industriale e sviluppo pre-competitivo affronta il tema della valutazione ex-ante delle proposte e della loro selezione, con particolare riferimento alle griglie di valutazione ed alla realizzazione della valutazione stessa, inclusi criteri per l utilizzo di revisori esterni e sistemi per la valutazione web-based. 3. Obiettivo principale del Gruppo di lavoro è mettere a fattore comune le singole esperienze regionali e locali, al fine di capitalizzare, nel rispetto di ciascuna particolarità strategica ed economica, gli elementi di successo e minimizzare i rischi. L identificazione di elementi comuni e di procedure simili può anche produrre la definizione di strumenti condivisi, in grado di minimizzare i costi non necessari di ridefinizione, nello spirito di un necessario miglioramento nell utilizzo delle risorse disponibili. 4. I membri del Gruppo di lavoro hanno raccolto materiali, presentato casi, partecipato attivamente alla discussione guidata dal coordinatore. Sono raccolti qui gli elementi dell attività svolta: essi delineano il processo di selezione di proposte progettuali di Ricerca Industriale e Innovazione dalla pubblicazione del bando alla approvazione delle proposte selezionate, toccando tutti i principali passi organizzativi. Nell esame del processo l attenzione è sempre focalizzata sugli aspetti che possono consentire di realizzare un efficiente, rapido e trasparente processo di selezione. Ove possibile sono riportati casi applicativi, anche internazionali. 5

6 5. I contenuti qui riportati sono stati oggetto di analisi nelle attività di gruppo e sono basati su informazioni e documenti forniti dai partecipanti al Gruppo di lavoro. Alcune considerazioni quantitative derivano dall attività di rilevazione effettuata in collaborazione con il Gruppo di lavoro 2 - Mappatura e miglioramento dei processi di selezione nei bandi di ricerca industriale e sviluppo pre-competitivo, nella quale sono stati censiti 55 bandi rilevanti per i temi trattati. Per essi è ora possibile proporre un originale fotografia dell attività di sostegno all innovazione da parte delle Regioni, che consente anche interessanti considerazioni di tipo generale. 6. Nell auspicare una partecipazione sempre maggiore delle amministrazioni e di tutti i soggetti che a vario titolo sono coinvolti nel processo di implementazione di politiche di sostegno all innovazione alle attività che prenderanno l avvio anche grazie alle conclusioni qui proposte, è d obbligo elencare le persone che hanno contribuito, con la propria presenza o fornendo informazioni, al lavoro che è qui presentato. 7. Partecipanti al Gruppo di lavoro: Claudia ABATECOLA - MIUR, Adriana AGRIMI - Regione Puglia, Matteo AMETIS - Veneto Innovazione, Teresa ANDRIANI - Regione Basilicata, Sonia BASSO - Camera di Commercio di Milano, Alessandra BENNI - Regione Umbria, Maurizio BERGAMINI RICCOBON - Provincia Autonoma di Bolzano, Salvatore CASILLI - Innova Puglia, Pier Luigi CATALDI - Regione Lazio, Cinzia CERVETTO - Regione Liguria, Teresa CIANNI - Tecnostruttura delle Regioni, Laura CORTI - Innovub SSI- Camera di Commercio di Milano, Patrizia DE BARDI - Invitalia, Matteo DE FELICE - Regione Piemonte, Bruno DELLA ROCCA - ENEA, Roberto DE LUCA - Provincia autonoma di Trento, Gianluca D INDICO - Regione Toscana, Andrea FABRIZI - MISE, Benedetta FRANCESCONI - MISE, Diego GALLIARI - Regione Toscana, Antonio MACRI - Regione Calabria, Lucia MAGNESCHI - Regione Toscana, Roberto MARGONI - Provincia autonoma di Trento, Federico MOLINO - Camera Valdostana Imprese e Professioni - Attiva Srl, Silvano PAONE - Regione Lazio, Marina PATERNA - Regione Basilicata, Daniela PIEMONTESE - Regione Lazio, Franz SCHöPF - Provincia Autonoma di Bolzano, Daniela TOCCACELO - Regione Umbria. 6

7 2. Definizioni 1. Ricerca Industriale ( 1 ) - Ricerca pianificata o indagini critiche miranti ad acquisire nuove conoscenze, da utilizzare per mettere a punto nuovi prodotti, processi o servizi o permettere un notevole miglioramento dei prodotti, processi o servizi esistenti. Essa comprende la creazione di componenti di sistemi complessi necessari per la ricerca industriale, in particolare per la validazione di tecnologie generiche. 2. Sviluppo sperimentale ( 2 ): Attività consistenti nell acquisizione, combinazione, strutturazione e utilizzo delle conoscenze e capacità esistenti di natura scientifica, tecnologica, commerciale ed altro, allo scopo di produrre piani, progetti o disegni per prodotti, processi o servizi nuovi, modificati o migliorati. Può trattarsi anche di altre attività destinate alla definizione concettuale, pianificazione e documentazione di nuovi prodotti, processi e servizi. Tali attività possono comprendere l elaborazione di progetti, disegni, piani e altra documentazione, purché non siano destinati a uso commerciale. Rientra nello sviluppo sperimentale la realizzazione di prototipi utilizzabili per scopi commerciali e di progetti pilota destinati a esperimenti tecnologici e/o commerciali, quando il prototipo è necessariamente il prodotto commerciale finale e il suo costo di fabbricazione è troppo elevato per poterlo usare soltanto a fini di dimostrazione e di convalida. L eventuale ulteriore sfruttamento di progetti di dimostrazione o di progetti pilota a scopo commerciale comporta la deduzione dei redditi così generati dai costi ammissibili. Possono, altresì, ricomprendersi attività di produzione e collaudo di prodotti, processi e servizi, a condizione che non possano essere impiegati o trasformati in vista di applicazioni industriali o per finalità commerciali. Non si ricomprendono le modifiche di routine o le modifiche periodiche apportate a prodotti, linee di produzione, processi di fabbricazione, servizi esistenti e altre operazioni in corso, anche se tali modifiche possono rappresentare miglioramenti. 3. Innovazione ( 3 ): L innovazione è la realizzazione di un prodotto (bene o servizio) o di un processo nuovo o significativamente migliorato, l applicazione di un nuovo metodo di marketing, di un nuovo modello organizzativo nella pratica degli affari, dell organizzazione del lavoro e delle relazioni con l esterno. 4. Attività innovative ( 3 ): Sono tutte le attività di tipo scientifico, tecnologico, organizzativo, commerciale e finanziario utilizzate per l implementazione dell innovazione. Alcune attività innovative sono innovative di per sé, altre non 1 Disciplina comunitaria in materia di aiuti di stato a favore di ricerca, sviluppo e innovazione, (2006/C 323/01). 2 Disciplina comunitaria in materia di aiuti di stato a favore di ricerca, sviluppo e innovazione, (2006/C 323/01). 3 Oslo Manual, OECD/EC

8 sono nuove ma sono necessarie per l implementazione dell innovazione. Le attività innovative includono anche la R&S che non è direttamente connessa con lo sviluppo di una specifica innovazione. 5. Prodotto innovativo( 3 ): Per prodotto innovativo si intende l introduzione di un bene o un servizio nuovo o significativamente migliorato rispetto alle sue caratteristiche o al suo utilizzo. Questo include miglioramenti sulle specifiche tecniche, sui componenti, sui materiali, sul software incorporato sulla facilità d uso o sulle caratteristiche funzionali. 6. Cambiamenti che non rientrano nella definizione di innovazione ( 3 ): Dismissione di un processo, di un prodotto, di un metodo di marketing o organizzativo Cambiamenti derivanti da cambi di prezzo Personalizzazioni Cambiamenti stagionali o periodici 7. Valutazione ex-ante: Analisi del grado di rispondenza di una proposta a tutti i criteri (tecnico-scientifici, gestionali, manageriali, economici ed altri ) stabiliti nel bando o avviso nell ambito del quale è stata presentata. La valutazione non dovrebbe avere unicamente la funzione di stabilire questo grado di rispondenza e dunque la qualità di una proposta ma anche di favorire il miglioramento dell attività di progettazione. Per realizzare ciò è opportuno mettere in campo azioni organizzative che favoriscano una adeguata circolazione di informazioni verso i proponenti, in modo che essi abbiano la possibilità di comprendere eventuali fattori critici e porre in essere i dovuti aggiustamenti per diminuirli. 8. Graduatoria e selezione: Definizione di una classifica di merito delle proposte presentate nell ambito di un avviso. Essa richiede sempre l effettuazione di una operazione di confronto e dunque risulta particolarmente complessa quando le proposte sono fortemente eterogenee per obiettivi, temi e settori di riferimento. 8

9 3. Perimetro di interesse Le attività che rientrano nel perimetro di interesse di questa analisi sono quelle di RICERCA INDUSTRIALE, SVILUPPO SPERIMENTALE ED INNOVAZIONE, con particolare riferimento al RAPPORTO RICERCA-IMPRESA e al TRASFERIMENTO TECNOLOGICO. Esse sono caratterizzate da: 1. Obiettivi complessi, che affrontano aspetti differenti di tipo scientifico, tecnico ed organizzativo 2. Coinvolgimento di soggetti diversi, a vario modo partecipanti agli obiettivi, con ruoli complementari 3. Un piano di lavoro che consenta di effettuare tutte le attività necessarie al raggiungimento degli obiettivi attesi, adeguatamente posizionate nel tempo 4. Un programma di allocazione delle risorse finanziarie, umane e tecnologiche coerente con il piano di lavoro e con gli obiettivi prefissati 5. Un piano di miglioramento delle competenze delle risorse umane per adeguarle ai nuovi contenuti disponibili a seguito della realizzazione del progetto di innovazione (opzionale) 6. Un piano per la diffusione delle conoscenze acquisite (opzionale) 4. Analisi quantitativa nel perimetro di interesse Nel seguito di questo documento saranno riportati, quando possibile, alcuni dati quantitativi che derivano da una attività di ricognizione effettuata in collaborazione con il Gruppo di lavoro 2 - Mappatura e miglioramento dei processi di selezione nei bandi di ricerca industriale e sviluppo pre-competitivo, ed alimentata su base volontaria dai partecipanti ad entrambi i Gdl. L attenzione della ricognizione effettuata attraverso questionario è stata rivolta essenzialmente a bandi emanati dalle Regioni con riferimento ai temi connessi alla ricerca industriale ed allo sviluppo pre-competitivo, nonchè all innovazione, di cui sono stati acquisiti dati relativi alle fasi di preparazione, lancio e gestione, fino alla pubblicazione delle graduatorie o degli elenchi dei progetti approvati. Nella tabella che segue è riportata una sintetica descrizione dell universo di riferimento. 9

10 Numero di bandi censiti 55 (*) di cui nel perimetro di interesse del Gdl 3 50 Amministrazioni partecipanti 14 Impegno finanziario complessivo M Proposte presentate Proposte selezionate (*) Non tutti i bandi sono, al momento dell analisi, nello stesso stadio di sviluppo, alcuni sono già chiusi, altri appena pubblicati Per ulteriori informazioni sull analisi qualitativa realizzata, si veda il Cap. 17 APPENDICE. 5. Principi generali All avvio del Settimo Programma Quadro, la Commissione Europea ha emanato una comunicazione dal titolo Rules for submission of proposals, and the related evaluation, selection and award procedures, che contiene la descrizione generale di tutte le procedure di presentazione, valutazione e selezione delle proposte presentate Quelli che seguono sono alcuni principi generali 4 che dovrebbero essere considerati al fine di realizzare una attività di valutazione ex-ante efficace e di qualità. sul risultato della valutazione effettuata sulla propria proposta. 1. Eccellenza. I progetti selezionati dimostrano un alto livello di qualità nell ambito dei criteri previsti 2. Trasparenza. Le decisioni assunte sono basate su procedure e regole chiaramente descritte nel bando e i proponenti ricevono una adeguata comunicazione 3. Equità e imparzialità. Tutte le proposte sono trattate allo stesso modo e valutate in modo imparziale, senza considerare la loro origine o l identità dei proponenti 4 COM(2008)4617 (FP7) 10

11 4. Riservatezza. Tutte le proposte e i dati contenuti, le conoscenze e i documenti presenti sono trattati con confidenzialità. 5. Efficienza e rapidità. I tempi per la valutazione ex-ante, la selezione e l assegnazione del cofinanziamento sono i più rapidi possibili compatibilmente con il mantenimento della qualità complessiva del processo e nell ambito della normativa prevista. NOTA1: Il principio di trasparenza esprime l opportunità che tutti i criteri, gli indicatori e le modalità per pervenire alla decisione relativa alla selezione o meno di una proposta siano note ex-ante ai proponenti, in modo che essi adeguino le proprie scelte progettuali a tali procedure e rendano massima la probabilità di successo. In altre parole, il proponente dovrebbe essere messo nelle condizioni di presentare una proposta che incrocia al massimo livello gli obiettivi strategici dell avviso. E però da sottolineare che la trasparenza sui criteri e indicatori e sulle procedure può generare nei proponenti comportamenti opportunistici che mirano a massimizzare l esito della valutazione indipendentemente dalla reale qualità delle proposte. E dunque opportuno assumere adeguate misure per limitare il ricorso a tali comportamenti, anche ricorrendo a criteri addizionali, utili essenzialmente per cautelarsi rispetto a questo rischio e limitare al minimo l uso di criteri e procedure automatici. NOTA2: Il principio di trasparenza può determinare i contenuti principali di un bando competitivo che dovrebbe quindi includere sia aspetti relativi ai requisiti delle proposte che potranno essere presentate che aspetti relativi alle modalità organizzative nella gestione del processo. 11

12 Il principio di eccellenza richiede infine di poter mettere a disposizione dei proponenti già in fase di preparazione della proposta tutto l insieme delle informazioni utili per gestire correttamente il progetto, quali il fac-simile della convenzione da sottoscrivere, se prevista, le regole di rendicontazione sia tecnica che finanziaria. In questo modo, infatti, i proponenti avranno piena consapevolezza dei propri diritti e doveri una volta raggiunto il successo, e potranno includere le attività necessarie per una corretta gestione del contratto nel piano di lavoro previsto, incrementando, così, la propria capacità gestionale. 6. Un attività fortemente concorrente L efficacia di una attività di valutazione dipende in gran parte dalla progettazione contemporanea ( concorrente, appunto) di tutti gli elementi che incidono sulle componenti delle proposte e sulla dimensione organizzativa che sta alla base del processo di presentazione, valutazione ex-ante e selezione delle proposte. Il documento più importante in questo senso è quello base dal quale si origina l implementazione concreta di una politica, cioè l avviso pubblico o bando per la presentazione delle proposte. Esso dovrà, fin dal capitolo 1 Oggetto, offrire gli elementi più importanti per una corretta identificazione degli obiettivi da perseguire e delle modalità più opportune per conseguirli. Inoltre, ad esempio, nella preparazione del formato di presentazione delle proposte occorrerà tenere conto anche della necessità di identificare revisori esterni. Se questi sono previsti dal processo di selezione, è infatti necessario prevedere nel formato la presenza delle informazioni che consentiranno di identificare, tra i tanti disponibili, il sottoinsieme di revisori che possiedono le competenze adeguate. Queste stesse informazioni dovranno poi essere presenti anche nell insieme di dati disponibili per ogni revisore. 12

13 7. Funzioni presenti nel processo di valutazione ex-ante 1. Definizione del quadro strategico: E la funzione di più alto livello (il capitolo 1 Oggetto), e riguarda la responsabilità di indirizzo strategico ed operativo di un programma regionale o bando o avviso. Gli obiettivi strategici di un attività che è basata su una competizione tra proposte dovrebbero essere esplicitati con grande chiarezza in tutti i documenti che stanno alla base di tale competizione, quali le leggi, i regolamenti, i bandi, le delibere, le determinazioni dirigenziali. Questa funzione di solito gestisce anche la responsabilità finanziaria e il budget dei programmi di finanziamento, e associa in modo finale ad ogni progetto selezionato un ammontare di cofinanziamento, tenendo conto della normativa ma anche esercitando la sua funzione di responsabilità complessiva, che a volte può anche generare scelte determinate da obiettivi addizionali (aree geografiche particolarmente svantaggiate e attività economiche da sostenere, temi particolarmente rilevanti per un territorio, ecc.). 2. Indirizzo: E una funzione che lega logicamente gli obiettivi strategici con quelli operativi; riguarda le modalità attraverso cui si possono, concretamente, affrontare gli obiettivi e dunque dare attuazione efficace alle misure innovative richieste. In questa funzione si ricomprendono le indicazioni relative alle misure da implementare, alle modalità organizzative da utilizzare, alle cautele da considerare. La funzione di indirizzo dovrebbe essere sempre inclusa tra quelle necessarie per la definizione e preparazione dei bandi competitivi. In casi particolarmente strategici può essere opportuna ed utile una funzione di indirizzo Tecnico-Scientifico che offra la possibilità di programmare le iniziative al massimo livello di aggiornamento rispetto allo stato dell arte tecnico-scientifico. 3. Garanzia: E una funzione che permette di vigilare sul rispetto delle procedure previste e sulla qualità del processo realizzato. Di solito è svolto da soggetti terzi rispetto all Amministrazione ed agli uffici che hanno in carico gli aspetti organizzativi. 13

14 4. Valutazione: E la funzione che realizza concretamente l attività di valutazione ex-ante e genera i documenti che vengono utilizzati per la realizzazione della selezione. 5. Monitoraggio: E la funzione che analizza sia il grado di rispondenza tra l attività prevista e quella effettuata, che gli effetti complessivi derivanti da una attività, confrontandoli con quanto previsto a livello di progettazione. A seconda che questa funzione venga svolta durante la realizzazione del progetto o dopo la sua conclusione, il monitoraggio viene definito in-itinere o ex-post. Nel primo caso è parte della funzione di monitoraggio anche identificare/suggerire eventuali misure correttive per il superamento di criticità emerse nell analisi. 6. Organizzazione: E la funzione che si occupa della gestione concreta di tutte le attività che rientrano nell ambito della valutazione ex-ante. Essenzialmente essa riguarda la gestione ed il controllo del rispetto del piano di lavoro associato alla valutazione, le relazioni tra i vari soggetti, la redazione, gestione e archiviazione di documenti rilevanti, la redazione e il controllo dei verbali. 14

15 8. Soggetti coinvolti nel processo di valutazione ex-ante 1. Amministrazione: E il soggetto che ha la più alta responsabilità nella definizione degli obiettivi e delle modalità attraverso le quali tali obiettivi sono affrontati. 2. Comitati: Raccolgono più soggetti con compiti specifici quali la garanzia, l indirizzo o la valutazione nel suo insieme. Possono essere costituiti da membri esterni rispetto all amministrazione o interni ad essi, ma in ogni caso la loro funzione è terza rispetto all amministrazione. La LR 4/2006 emanata dalla Regione Piemonte prevede un Comitato regionale per la ricerca e l innovazione con compiti di raccordo, consultazione e partecipazione della comunità regionale e un Comitato Scientifico con compiti di consulenza al Comitato regionale e alla Giunta regionale per la definizione dei criteri di valutazione. 3. Revisori, monitori: Sono l insieme dei soggetti che svolgono direttamente le operazioni di valutazione ex-ante e/o monitoraggio in itinere ed ex-post secondo le procedure previste dal bando o dai regolamenti vigenti. Anche se le funzioni di valutazione e di monitoraggio sono differenti, spesso La LR 7/2002 emanata dalla Regione Emilia-Romagna prevede un Comitato degli Esperti con compiti di indirizzo, garanzia e valutazione. esse vengono svolte dagli stessi soggetti, che possono diventare quindi delle specie di tutors che seguono fin dall inizio le attività svolte nell ambito di un progetto di innovazione. 15

16 4. Segreteria tecnica: Sono i soggetti che coordinano la gestione di un bando dal punto di vista organizzativo e hanno l obiettivo di mantenere il programma di lavoro in linea con quanto previsto. 5. Soggetti intermediari: Può essere talvolta funzionale assegnare ad un soggetto terzo rispetto all Amministrazione, ma da essa controllato, l insieme delle funzioni necessarie alla gestione di un bando, dalla organizzazione delle procedure di presentazione delle proposte, alla verifica di ammissibilità, alla valutazione ex-ante e così via, fino a giungere, in non pochi casi, alla gestione finanziaria. Si tratta, in sostanza, di una vera esternalizzazione che può offrire alcuni vantaggi in termini di rispetto dei tempi di attuazione e di certezza dei costi associati. Nel 2007 la Commissione Europea ha costituito la REA Research Executive Agency a cui ha delegato la gestione operativa di gran parte delle azioni attuate nell ambito del 7 Programa Quadro rch/rea/ In Veneto il ruolo di Soggetto (o Organismo) Intermediario per le misure di sostegno alla ricerca industriale e all innovazione è svolto da Veneto Innovazione, in Puglia da ARTI/InnovaPuglia, e in Piemonte da Finpiemonte 16

17 9. Il Processo Sebbene questo documento si focalizzi essenzialmente sulle fasi di Valutazione ex-ante e di Selezione delle proposte, le due fasi di pubblicazione del bando e di presentazione della proposte hanno una diretta influenza sulle modalità di valutazione e sulla sua qualità complessiva. Della prima di queste fasi si è già detto al capitolo 5, Principi generali. Le procedure prescelte per la presentazione delle proposte e, in particolare, il formato di presentazione, hanno una influenza primaria sulla qualità della valutazione ex-ante. 1. Versioni cartacee/su file: La disponibilità delle proposte in formato digitale rappresenta un importante elemento che può modificare sensibilmente i tempi della valutazione e la sua qualità. Esse, infatti, possono essere agevolmente gestite informaticamente, facendo salve le necessarie cautele sulla sicurezza dei dati, circolate ai revisori e archiviate. 2. Informazioni elaborabili : Qualora si effettui la scelta di organizzare la presentazione delle proposte su formato elettronico, occorre definire quali tipologie di informazioni si ritiene che debbano essere successivamente elaborabili, quindi estraibili e raggruppabili per farne un utilizzo specifico o per generare report di sintesi. E in questo caso necessario considerare due tendenze in contrapposizione tra loro, tra le quali trovare una posizione di equilibrio. Da una 17

18 parte, infatti, sarebbe particolarmente utile poter elaborare tutte le informazioni presenti sul formato di presentazione, perché in questo modo sarebbe possibile generare report di analisi su qualunque contenuto. Si pensi, ad esempio, al contenuto informativo presente sull insieme delle proposte presentate su un determinato avviso con riferimento ai temi specifici dei progetti, alle modalità realizzative, agli obiettivi, ai risultati attesi, e a quali interessanti considerazioni potrebbe portare con riferimento alla interpretazione della capacità progettuale di un territorio. E però vero che attualmente i sistemi di gestione dei contenuti che abbiano le necessarie caratteristiche di portabilità, facilità di utilizzo, adeguatezza dell interfaccia ed efficienza necessari sono costosi e, quel che è peggio, devono essere personalizzati per l utilizzo specifico, e dunque non possono essere, a meno di non essere molto sovradimensionati (e quindi ancora più costosi), di utilizzo generale. E dunque necessario identificare, per ogni caso specifico, il punto di pareggio tra il costo del sistema informativo (non necessariamente online) da mettere a punto e i vantaggi che possono derivare dalla disponibilità di informazioni elaborabili. Un ulteriore importante elemento è la numerosità delle proposte: se infatti esse sono in numero molto limitato è anche ipotizzabile che i dati necessari per l elaborazione siano trasferiti in un secondo tempo, manualmente, su supporto informativo. Questa soluzione è ovviamente impraticabile quando le proposte sono in numero molto elevato. A partire dal 6 programma Quadro, la CE ha predisposto un sistema online per la presentazione di proposte (rif. Il sistema consente la compilazione online delle parti relative alla descrizione generale della proposta, all anagrafica dei partners e al piano finanziario. Tutte queste informazioni sono dunque elaborabili. Le sezioni della proposta che descrivono gli obiettivi, i contenuti tecnico-scientifici e il piano di lavoro sono invece organizzate sulla base di un template scaricabile. Questa parte, una volta pronta, viene up-loadata sul sistema online in formato pdf. Questa parte, dunque, non contiene informazioni elaborabili. 3. Informazioni necessarie per la identificazione dei revisori: Qualora si intenda utilizzare revisori specializzati negli argomenti trattati nelle proposte di progetto, si pone il problema di classificare sia le proposte che i 18

19 revisori secondo una modalità coerente, in modo che sia possibile e agevole verificare potenziali competenze adeguate ad ogni caso specifico. Solitamente si utilizzano due criteri di classificazione, uno relativo al tema trattato nella proposta e il secondo al settore economico prevalente del proponente. 4. In relazione al primo di essi, è possibile utilizzare il settore scientifico/disciplinare più vicino al tema della proposta, adottando la classificazione proposta dal MIUR (rif. ed utilizzata per la classificazione dei progetti di questo tipo anche a livello nazionale. Per il secondo criterio è utile usare la classificazione delle attività economiche ATECO2007 (rif. usata anche dal sistema statistico nazionale, che costituisce la versione italiana della nomenclatura europea NACE rev. 2. NOTA: Anche se le due opzioni sopra descritte costituiscono concretamente l unica possibilità di classificazione che utilizzi criteri oggettivamente noti, esse non risultano completamente affidabili: L utilizzo corretto del settore disciplinare per descrivere la tematica di un progetto richiede una profonda conoscenza dei settori stessi, che non sempre è presente nel proponente, e risulta particolarmente critica per i temi fortemente interdisciplinari (nanotecnologie, biotecnologie, ) Il codice ATECO è richiesto in fase di costituzione delle attività economiche (iscrizione alla Camera di Commercio) e viene riportato sui documenti ufficiali (ad esempio le visure camerali). Nonostante la normativa richieda che esso venga aggiornato a seguito di cambiamenti significativi del settore economico, questo vincolo non sempre viene rispettato, e quindi accade spesso che il codice ufficiale sia sensibilmente distante dalla reale attività svolta dal proponente. Da notare che la stessa criticità si riscontra nel caso di misure indirizzate a settori economici specifici, nei quali l ammissibilità formale è determinata appunto dal codice ATECO. 5. Informazioni rilevanti per la valutazione ex-ante: E utile sottolineare che nella preparazione del formato di presentazione delle proposte occorre tenere in grande considerazione i criteri e gli indicatori che verranno utilizzati per la valutazione e selezione. Infatti, è necessario che tutte le informazioni utili per chiarire il grado di adeguatezza di una proposta e la sua qualità siano immediatamente e chiaramente identificabili nel documento, limitando al massimo la necessità di interpretazioni ed elaborazioni da parte del valutatore. 19

20 10. Modalità di valutazione ex-ante 1. Procedura automatica: Secondo quanto indicato nel DLgs 123/98 (Disposizioni per la razionalizzazione degli interventi di sostegno pubblico alle imprese, a norma dell articolo 4, comma 4, lettera c), della legge 15 marzo 1997, n. 59) art. 4, la procedura si applica nei casi in cui non si vuole verificare la qualità delle proposte rispetto ad alcuni parametri, e non è richiesta alcuna misura di questa. Con la procedura automatica è necessario verificare la presenza di alcune condizioni specificate ex-ante ed eventualmente associare ad alcuni parametri qualitativi un valore definito. Ai proponenti è richiesta una dichiarazione di possesso dei requisiti previsti; i soggetti competenti verificano che tali requisiti siano effettivamente presenti e che quindi sia garantita la completezza formale. Le risorse sono assegnate alle proposte nell ordine di presentazione, nella forma e nell intensità previste, e fino ad esaurimento. 2. Procedura valutativa: Questa procedura, descritta anche nell art. 5 del DL 123/98, è da applicare nei casi di progetti di particolare complessità, anche tecnico-scientifica, per i quali vengono emessi bandi pubblici (a sportello o a graduatoria) che descrivono tutti gli elementi che saranno utilizzati per la valutazione ex-ante. La procedura è solitamente applicata alle proposte così come esse risultano dopo la presentazione. Non è prevista la richiesta di delucidazioni o approfondimenti successivi al fine di migliorare il processo di valutazione, per non generare situazioni di non parità tra le proposte. La procedura prevede una valutazione di merito rispetto ai criteri previsti e la conseguente analisi delle proposte. 3. Procedura negoziale (o valutativa negoziale): Questa procedura, descritta anche nell art. 6 del DL 123/98, è da applicare nei casi di progetti di particolare complessità che richiedono l integrazione di molti soggetti e che rivestono particolare interesse strategico per un territorio. In questo caso si ricorre solitamente al bando per espressioni di interesse in cui i potenziali gestori di progetti si dichiarano disponibili ad avviare una attività basata su alcune idee di 20

21 massima. Su tali espressioni di interesse viene svolta una prima valutazione che ha essenzialmente l obiettivo di selezionare le proposte maggiormente attinenti agli obiettivi strategici e non riguarda le modalità attuative, che invece sono oggetto appunto di una attività negoziale tra proponenti e amministrazione che può modificare anche sostanzialmente la proposta originaria, ad esempio proponendo l integrazione con altre proposte. 4. Procedure miste automatiche-valutative: Può a volte essere efficace ipotizzare di utilizzare le tecniche della procedura automatica su alcuni criteri (tipicamente quelli associabili a valori quantitativi, quali quelli finanziari o economici, ma anche altri addizionali) e quella della procedura valutativa su altri, in cui l analisi di merito rivesta una importanza particolare. Questa soluzione ha il pregio di ridurre gli inevitabili ambiti di arbitrarietà sempre legati ad una valutazione di merito, solo a quegli aspetti per i quali essa è strettamente necessaria e quindi elevare la qualità e l efficacia della valutazione ex-ante. 11. Criteri di valutazione ex-ante 1. Criteri tecnico-scientifici: Con questi elementi si intende valutare il grado di rispondenza della proposta agli obiettivi del bando, la chiarezza degli obiettivi e l aggiornamento rispetto allo stato dell arte (sia assoluto che contestuale), la qualità dell approccio scientifico e la sua capacità di raggiungere gli obiettivi attesi, nonchè l impatto atteso in termini di aumento della competitività del territorio, la qualità del piano di disseminazione e diffusione dei risultati del progetto (se richiesto). 2. Criteri gestionali-manageriali: Sono utilizzati per analizzare la qualità del piano di lavoro proposto, soprattutto in relazione alla sua coerenza con gli obiettivi dichiarati, la adeguatezza delle risorse tecnologiche ed umane impiegate, la qualità della partnership (se presente) soprattutto in relazione al grado di integrazione e complementarietà, l adeguatezza del soggetto proponente alla gestione del progetto in relazione alle esperienze pregresse, la credibilità e la qualità del piano di gestione previsto. Rientra generalmente in questa sezione l analisi del piano di sfruttamento dei diritti di proprietà intellettuale. 3. Criteri economico-finanziari: Rientra in questa categoria la verifica del grado di rispondenza del piano finanziario agli obiettivi ed al piano di lavoro previsto, e la sua sostenibilità. 4. Altri criteri: Accanto alle tre categorie generali sopra discusse, possono essere utilizzati altri criteri specifici per i singoli casi, relativi, ad esempio, alla capacità del progetto di attrarre risorse umane o finanziarie dall esterno, o la capacità di 21

22 creazione di nuovi posti di lavoro ad elevata qualificazione, o ancora, la valorizzazione di vocazioni specifiche di una certa area. 12. Definizione della graduatoria Al termine della fase di valutazione l amministrazione forma la graduatoria, inserendo i progetti ammissibili in ordine decrescente in relazione al punteggio assegnato, individuando quelli agevolabili sulla base delle risorse disponibili e fino ad esaurimento delle stesse. Inoltre sono individuati, con un proprio punteggio, i progetti ammissibili ma non finanziabili per indisponibilità di risorse. Questi ultimi progetti possono essere agevolati nel caso in cui si liberino delle risorse in caso di revoca o di rinuncia totale o parziale da parte dei beneficiari inizialmente finanziati (cd. scorrimento delle graduatorie). Già in fase di stesura dell avviso pubblico è consigliabile prevedere la facoltà per l amministrazione regionale di procedere allo scorrimento delle graduatorie. 1. Punteggi e valori di soglia: Il giudizio finale sui criteri prescelti può essere concretamente espresso tramite un valore numerico (o un valore qualitativo scarso, buono, ottimo, - a cui assegnare successivamente un valore o un range di valori). La modalità con la quale definire l intervallo di valori assegnato ad ogni criterio e il suo contributo alla determinazione del punteggio complessivo devono essere definite in funzione dell importanza che si desidera assegnare a tale criterio nell economia generale della valutazione. Esistono infatti alcuni modi che possono essere utilizzati per dosare l importanza di un elemento rispetto ad altri: Assegnare ad esso un intervallo di valori numerici superiore a quello degli altri; Assegnare ad esso un peso (fattore moltiplicativo) superiore a quello degli altri nella composizione del punteggio generale; Assegnare ad esso un alto valore di soglia per l accesso in graduatoria. 22

23 Caso 1: REGIONE LAZIO - PROGETTI E PIANI PER LE FRONTIERE TECNOLOGICHE Avviso per la presentazione di progetti di RSI nelle PMI I valori assunti da due parametri economici-finanziari (Parametro di congruenza tra capitale netto e costo del progetto: CN > (CP-I)/3 e Parametro di onerosità della posizione finanziaria: OF/F < 10) costituiscono condizioni per l ammissibilità della proposta. Questi elementi costituiscono dunque una barriera all entrata. 3. Due indicatori hanno uguale importanza nella composizione del punteggio finale. 4. Non sono previste soglie minime sui singoli indicatori. 5. Esiste una soglia sul totale del punteggio per l inserimento in graduatoria. 5 domanda- RSI- PMI.pdf 23

24 Caso 2: REGIONE EMILIA- ROMAGNA PROGETTI DI RICERCA COLLABORATIVA DELLE PMI Elementi Criteri Suff. Punteggio massimo Tecnicoscientifici Economicofinanziari Impatto regionale Innovatività della proposta e progresso rispetto allo stato dell arte e/o alle condizioni di contesto, impatto dei risultati attesi in termini di incremento della competitività industriale di medio/lungo periodo, qualità della metodologia e del piano di lavoro proposto, congruenza tra il piano finanziario e gli obiettivi del progetto, rilevanza dei risultati attesi per il sistema economico regionale con particolare riguardo ai processi di disseminazione delle competenze, fattibilità industriale, capacità tecnicoscientifica e capacità gestionale dei proponenti. capacità di cofinanziamento del proponente determinata secondo il seguente schema: OF/F<= 5% p. 5 OF/F > 5% <=8% p. 4 OF/F >8% < 10% p. 3 Nei casi in cui il soggetto è di recente costituzione o interessato da modifiche sostanziali dell assetto aziendale 3 p. Coerenza con gli obiettivi del PRRIITT e del POR e con le attività finanziabili di cui al punto 2) del bando, integrazione con la Rete regionale dell Alta Tecnologia e con il sistema delle università ed enti di ricerca, valutati come segue: Valore di spesa categoria 1 >= < p. 3 Valore di spesa categoria 1 >= < p. 4 Valore di spesa categoria 1 >= p. 5 Valore di spesa categorie 2+3 >= < p. 3 Valore di spesa categorie 2+3 >= < p. 4 Valore di spesa categorie 2+3 >= p Saranno considerati ammissibili a finanziamento i progetti che otterranno sia almeno il punteggio minimo in ogni elemento, sia un punteggio complessivo pari almeno a 35, prima della attribuzione dei punteggi aggiuntivi previsti dai criteri di priorità 6. I valori assunti da due parametri economici-finanziari (Parametro di congruenza tra capitale netto e costo del progetto: CN > (CP-I)/3 e Parametro di onerosità della posizione finanziaria: OF/F < 10) costituiscono condizioni per l ammissibilità della proposta. Questi elementi costituiscono dunque una barriera all entrata. 7. Valori di soglia su tutti gli indicatori. 8. Il primo indicatore è il più importante (70% dei valori massimi e con un valore di soglia alto). 9. Il secondo indicatore è automatico, calcolato su valori di parametri dell ultimo bilancio depositato. 6 romagna.it/allegati/bando- asse- 1/il- bando- con- le- modifiche- apportate- il- 25- agosto

25 10. Il terzo indicatore è automatico, calcolato su valori di progetto di alcune voci di costo considerate strategiche (categoria 1: costo del nuovo personale, categorie 2 e 3: contratti di collaborazione con università ed enti di ricerca, anche appartenenti alla Rete regionale Alta Tecnologia), con valore di soglia maggiore del secondo. 11. La soglia sul totale è maggiore della somma delle soglie (proposte solo sufficienti su tutti gli indicatori sono escluse). Caso 3: REGIONE PIEMONTE RICERCA INDUSTRIALE S SVILUPPO PRECOMPETITIVO Tutti i criteri possono assumere valori da 1 a e- finanziamenti/bandi- chiusi/bando- di- ricerca- industriale- e- sviluppo- precompetitivo html 25

26 13. L importanza di ciascuno di essi nella composizione del punteggio totale è determinata mediante pesi differenziati. 14. I criteri relativi alla qualità scientifica dei progetti e al loro impatto sui partecipanti sono i più importanti. 15. Uguali valori di soglia su tutti i criteri. 16. Punteggio finale ottenuto come media pesata dei singoli punteggi. 17. La tecnica valutativa è la stessa del caso 3, ma in questo caso sono cambiati i pesi degli indicatori, per tenere conto della differenza degli obiettivi tra le misure attuate nei due bandi. 18. L importanza del soggetto proponente e la sua esperienza precedente è qui molto più alta, e dunque il relativo indicatore (lettera c) è conseguentemente con peso maggiore e con valore di soglia più alto. Caso 4: REGIONE PIEMONTE CONVERGING TECHNOLOGIES e- finanziamenti/bandi- in- corso- di- valutazione/bando- converging- technologies.html 26

27 13. Esecuzione della valutazione ex-ante La realizzazione pratica della valutazione ex-ante può essere analizzata dal punto di vista di: numerosità e tipologia dei pareri acquisiti tipologia e differenziazione dei pareri acquisiti modalità di esecuzione della valutazione modalità di restituzione del parere modalità di raggiungimento del parere finale da inviare al proponente 1. La prima differenziazione sulla esecuzione della valutazione ex-ante è relativa alla tipologia di revisori da utilizzare. In alcuni casi, infatti, l attività di valutazione viene realizzata da comitati o nuclei di valutazione interni alle amministrazioni appositamente costituiti da membri interni alle amministrazioni stesse o da membri identificati all esterno. Tali nuclei possono realizzare la valutazione direttamente o ricorrere a esperti esterni. Nel primo caso l esito della valutazione è una responsabilità collettiva del comitato. Nel secondo caso sono possibili alcune varianti, descritte nei quadri normativi che stanno alla base del funzionamento del comitato. Talvolta i revisori sono consulenti dei comitati e come tali forniscono il loro parere che viene acquisito ed utilizzato dal comitato stesso che ha la responsabilità ultima della valutazione. Altre volte i revisori hanno la responsabilità diretta della valutazione, che viene acquisita ed utilizzata talquale per gli atti interni ed esterni al comitato (può anche essere parte integrante della delibera di approvazione delle proposte). Si segnala che 27

28 l utilizzo di comitati interni può presentare qualche criticità, essenzialmente dovuta alla difficoltà di individuazione di competenze tecniche adeguate al perimetro di nostro interesse. 2. A seconda della complessità tecnica, del valore strategico del programma e della dimensione finanziaria associata, è possibile optare per l acquisizione di uno solo o di più pareri tecnici per ciascuna candidatura. Pareri multipli offrono teoricamente maggiori garanzie di qualità della valutazione, ma richiedono uno sforzo organizzativo superiore e necessitano della accurata definizione delle procedure da utilizzare in caso di differenze importanti nel giudizio. In tali casi si può prevedere anche l ulteriore allargamento del numero di giudizi. Naturalmente pareri multipli hanno anche costi di gestione superiori, e, concretamente, sono utilizzati prevalentemente per candidature di elevato valore in termini di investimento e in casi che rivestono particolare importanza strategica, per temi affrontati o per settori interessati, per il territorio di riferimento. 3. I pareri acquisiti su ciascuna candidatura possono rientrare nelle seguenti tipologie: Parere completo, che affronta tutti gli criteri di valutazione ex-ante, in particolare sia quelli tecnico-scientifici che quelli economico-finanziariomanageriale. Questo caso è abbastanza frequente, e offre l indubbio vantaggio di considerare la candidatura nel suo insieme, e quindi tenere conto, ad esempio, delle connessioni logiche piano di lavoro-costi associati, evidenziando e risolvendo eventuali incoerenze. In questo caso occorre selezionare revisori che offrano competenze ampie ed esperienze specifiche di esecuzione di valutazioni di questo tipo. Non è utile, ad esempio, una competenza molto accurata sui contenuti scientifici ma superficiale su quelli economici. Parere specialistico, risultato del giudizio espresso da due o più revisori, ciascuno dei quali analizza una parte specifica della candidatura. Una possibile suddivisione in parti della candidatura può considerare, ad esempio, la parte tecnico-scientifica, la parte economico-finanziaria e la parte di impatto territoriale. Quando tali parti sono singolarmente di grande importanza e specificità, richiedono competenze talmente specifiche da essere presenti difficilmente nello stesso revisore. Si preferisce, in questi casi, affidare a revisori diversi le diverse sezioni della candidatura, ottenendo solitamente pareri di buona qualità specifica. In questi casi il parere completo è ottenuto come unione dei pareri singoli, integrati con eventuali sezioni relative agli aspetti trasversali, inserite da parte dei soggetti che hanno la responsabilità finale dell esecuzione della valutazione. 4. La valutazione ex-ante può anche essere classificata dal punto di vista delle sue modalità di esecuzione: 28

29 Valutazione indipendente da parte del singolo revisore. In questo caso essa viene realizzata autonomamente dal revisore, e fornisce come risultato il report di valutazione che viene acquisito nella forma e nel contenuto fornito dal revisore. Valutazione indipendente multipla con ricerca del consenso. In questo caso revisori multipli, operanti sull intera proposta o su parti di essa come indicato precedentemente, operano in autonomia, ma raggiungono una opinione unica condivisa dopo una eventuale discussione per chiarire eventuali dubbi o rivedere parti discordanti della revisione singola. In questo caso tutto il processo rimane tracciato agli atti, sia i report autonomi che il report finale, redatto dopo la discussione per la ricerca del consenso. Valutazione in plenaria. In questo caso la valutazione è effettuata mediante una discussione, eventualmente moderata dal revisore incaricato, nella quale vengono esaminati i vari criteri di valutazione ed assegnati i punteggi. Il report di valutazione viene redatto sulla base della discussione effettuata ed è un risultato collettivo. 5. Le modalità di esecuzione della valutazione sono largamente influenzate dalle modalità con cui sono acquisite e gestite le proposte, con particolare riferimento alla disponibilità delle stesse in formati più o meno evoluti che consentano una agevole gestione informatizzata. Sono riconoscibili i seguenti due casi estremi: Caso più sfavorevole: proposte presentate esclusivamente su supporto cartaceo. In questo caso l utilizzo di revisori indipendenti presenta qualche criticità, se non altro per le difficoltà generate dalla circolazione dei documenti cartacei. L uso di comitati interni che si riuniscono e deliberano sulla qualità delle proposte può essere la soluzione più efficiente in questi casi, con le cautele già menzionate al punto 1 di questo paragrafo. Caso più favorevole: proposte presentate su sistema on-line che prevede anche una sezione specifica dedicata alla valutazione ex-ante. In questo caso è estremamente agevole assegnare in valutazione esterna (anche a più revisori) le candidature, ed acquisirne gli esiti finali in tempo reale, appena essi sono disponibili. Il monitoraggio nell esecuzione delle valutazioni (ad esempio il controllo dei tempi di esecuzione) è efficace e i tempi associati minimi. In questo caso si ha la massima flessibilità nell individuazione delle procedure più adeguate al caso specifico. Nella pratica valutativa può accadere di trovarsi in situazioni intermedie, nelle quali la identificazione della soluzione più efficace può essere effettuata tenendo conto anche dei vincoli economici ed organizzativi connessi. A valle della esecuzione della valutazione, è utile prevedere una fase di redazione del report di valutazione che, oltre a contenere le considerazioni del revisore o del comitato e il giudizio di sintesi (ammesso o non ammesso alla graduatoria) preveda, nel caso di non ammissione, anche suggerimenti utili al miglioramento della proposta in vista di una eventuale ripresentazione o, in generale, di una revisione del piano di lavoro contenuto. Non è da dimenticare, infatti, che l esercizio di valutazione e-ante dovrebbe contribuire al 29

30 graduale miglioramento delle candidature e all innalzamento del livello qualitativo dei programmi in esse contenuti. 14. Identificazione di elenchi di revisori 1. Qualora si ritenga di utilizzare revisori esterni esperti sia nei temi scientifici trattati dalle candidature che nei settori di appartenenza dei proponenti, si pone il problema di organizzare e manutenere una lista di possibili revisori che consenta, con diversi gradi di automazione, l identificazione di un set di nominativi che rispettano le specifiche previste, nell ambito del quale selezionare quello o quelli da utilizzare. 2. E intanto da sottolineare che la redazione della lista dei revisori è una attività da realizzare su base continuativa. Essa si arricchisce e si completa nella realizzazione dell esercizio di valutazione, dal momento che è sempre possibile integrarla con competenze necessarie ma non presenti nella lista, o con nominativi addizionali. 3. Diverse sono le scelte che possono essere effettuate per la definizione della lista di revisori: Chiamata pubblica Utilizzo di liste esistenti Chiamata diretta Sistemi misti 4. Chiamata pubblica per esperti revisori: E la soluzione utilizzata dalla Commissione Europea nell ambito del Programma Quadro per la Ricerca, lo Sviluppo Tecnologico e la Dimostrazione (vedi La chiamata è aperta in permanenza, per tutta la durata del Programma Quadro. Ogni esperto interessato può registrarsi ed inserire i La Regione Lazio, in attuazione dell art 13 della LR 4/ Promozione della ricerca e sviluppo dell'innovazione e del trasferimento tecnologico si è dotata di un elenco di revisori costituito mediante avviso pubblico aperto in permanenza (si veda News=450) La Regione Marche ha emanato una legge (LR 16/ Valutazione degli interventi di ricerca, sviluppo, innovazione e trasferimento tecnologico) che istituisce un elenco regionale di revisori da identificare mediante avviso pubblico p r propri dati nel sistema on-line. Non esiste alcun tipo di valutazione delle competenze o di validazione delle candidature, che quindi si basano essenzialmente su informazioni di cui il proponente si assume la piena 30

31 responsabilità. L inserimento nell elenco degli esperti della CE non è in alcun modo garanzia di ottenere un contratto per valutazione. La selezione da parte della CE avviene sulla base dell incrocio delle caratteristiche delle candidature da valutare con le competenze dell esperto valutatore. Inoltre, un certo grado di avvicendamento tra esperti è assicurato dalle procedure interne della Commissione, che consentono anche un monitoraggio dell attività svolta mediante giudizio dato dai servizi comunitari sulla qualità della valutazione effettuata. 5. Utilizzo di liste esistenti: E una soluzione molto efficace quando ci si trovi in situazioni di urgenza, o nel transitorio di realizzazione di liste proprie di cui al punto precedente. Due sono essenzialmente le fonti utilizzate in questo caso: la banca dati italiana SIRIO e gli elenchi disponibili nei siti della CE e relativi agli esperti utilizzati nel Programma Quadro. La banca dati SIRIO Sistema informatico Ricerca Italia Online è stata istituita dal MIUR con DD e sebbene un po datata (e a volte non adeguatamente mantenuta) è attualmente la più completa lista italiana disponibile ed utilizzabile ( Tale banca dati può essere consultata liberamente, ma in tale caso il sistema non fornisce gli estremi per il contatto, ma solo nome e cognome. L intera banca dati, o un suo sottoinsieme, può essere formalmente richiesta al MIUR da parte di Amministrazioni pubbliche interessate, ottenendo tutte le informazioni disponibili. Una ulteriore possibilità è rappresentata dagli esperti utilizzati dalla CE, le cui liste aggiornate possono essere consultate qui In questo caso è possibile utilizzare solo le informazioni pubbliche e occorre individuare in altro modo gli estremi per il contatto. 6. Chiamata diretta: A volte può essere funzionale attuare procedure simili alle short-list, individuando un set di esperti ex-ante. Questa soluzione è spesso adottata quando si desidera coinvolgere nell esercizio di valutazione i membri di un soggetto strategico per l implementazione di una azione, quale, ad esempio, i ricercatori di un dipartimento o di un ente di ricerca. 7. Può essere utile sottolineare che per la costituzione di elenchi nei casi di utilizzo di liste esistenti e per chiamata diretta non è opportuno procedere all inserimento automatico dell intera lista, ma è al contrario utile contattare ciascun potenziale membro chiedendo esplicitamente la sua intenzione di entrare a fare parte dell elenco, e cogliendo l occasione per chiarire gli estremi normativi dell elenco (a cosa serve, su quale legge), le procedure (come si realizza la valutazione, quali i tempi di risposta) e i dettagli contrattuali (che tipo di incarico, quale compenso). In questo modo l elenco sarà costituito da membri che sono consapevoli dell ambito di attività e la risposta a seguito di assegnazione di proposte da valutare non richiederà inutili e dispendiose circolazioni di informazioni che possono portare anche ad un rifiuto. Le liste 31

32 disponibili o le short-list devono quindi essere considerate un universo di riferimento all interno del quale operare una prima selezione sulla base della presenza di un interesse comune. 8. La costituzione di un elenco richiede in via prioritaria di effettuare scelte relative ai criteri di inclusione di revisori in tale elenco. I criteri posso riguardare sia competenze specifiche, che altri elementi quali la lingua di lavoro, la residenza, o la nazionalità. Questi criteri possono essere valutati in fase di identificazione dell universo di riferimento, eliminando fin da subito tutti i soggetti che con evidenza non rispondono a tali requisiti, e ulteriormente riconfermati dall acquisizione delle informazioni addizionali per l inserimento definitivo nell elenco. Se si desiderano revisori che non operano in Italia, si potrà, ad esempio, escludere tutti quelli con residenza Italiana, ma occorrerà richiedere esplicitamente agli altri la conferma di questa situazione. 9. Informazioni da reperire: La formazione di un elenco di potenziali revisori richiede la disponibilità di tutte le informazioni necessarie, oltre che alla definizione degli ovvi aspetti contrattuali, anche la selezione ai fine dell associazione con una specifica candidatura. Queste informazioni possono essere diverse e dipendono essenzialmente dalla tipologia di proposte in esame. Sono già state indicate al punto 3 del capitolo 9 alcune informazioni di base che devono essere contenute nella proposta per consentire l identificazione di un revisore adeguato. Tali informazioni naturalmente devono essere disponibili anche per ogni membro dell elenco dei revisori. Esse sono essenzialmente la disciplina di afferenza (rif. e il settore economico su cui si viene posseduta competenza ed esperienza (rif. E possibile inoltre utilizzare altre classificazioni addizionali e, in aggiunta, inserire parole chiave sia predefinite che libere, utili per meglio comprendere il campo di esperienza specifica di ogni revisore. 32

33 15. Sistemi informatizzati per la valutazione ex-ante Si è più volte fatto riferimento nei precedenti capitoli all opportunità o meno di usare sistemi informatizzati per la valutazione e già si sono date delle indicazioni di massima sulle condizioni che rendono opportuna ed efficace l introduzione di questi sistemi. In questo capitolo cercheremo quindi di fare sintesi concentrando l attenzione sugli elementi da considerare e sulle opportunità e i vincoli per l introduzione di un sistema informatizzato. Pensare ad un sistema informatizzato di gestione della valutazione sarebbe poco efficiente se non integrato in un più ampio e complesso/completo sistema di gestione informatizzata del bando, o quantomeno delle fasi dalla presentazione della proposta alla selezione e preparazione della graduatoria, si veda grafo cap.9 il processo. Il trattamento informatizzato della valutazione exante richiede la disponibilità in formato digitale delle proposte, degli elenchi di valutatori o dei comitati, degli schemi e delle regole di valutazione. Vincoli - Il primo vincolo è quello della disponibilità della documentazione in formato digitale, diversamente si dovrebbe procedere alla scansione della documentazione introducendo ritardi e complessità al processo. Molte amministrazioni si sono dotate di sistemi online per la gestione informatizzata di bandi e avvisi. Tra le altre si segnalano Regione Basilicata: a.it/registrazione/index.asp Regione Lombardia: Regione Piemonte: dustria/por/procedura.htm Regione Puglia: 33

34 - - L informatizzazione spinta richiede la precisa definizione del processo, anche con l intento di immaginare a priori la gestione delle innumerevoli possibili eccezioni che si possono presentare nel corso della valutazione. I costi di un sistema informatizzato tailored sono mediamente elevati, l investimento che si andrà a fare è quindi giustificato quando si prevede di gestire più bandi e numeri importanti di progetti. Pochi bandi e con bassa numerosità di istanze, anche se di ammontare economico importante probabilmente non giustificano l investimento. Opportunità - Parallelizzazione spinta dei processi, con abbinamento a liste di esperti esterni, ottenendo significative riduzioni dei tempi di valutazione. - Monitoraggio dello stato della valutazione, salvaguardando la tutela della riservatezza dei contenuti informativi, in modo da avere istante per istante lo stato di avanzamento dei lavori, ottenendo visibilità su possibili criticità legate al rispetto dei tempi programmati e potendo avviare apposite azioni correttive. - L integrazione dei sistemi informatici consente inoltre una più agevole gestione documentale, ogni pratica è facilmente accessibile e si può analizzarne la storia. - Superata la soglia di giustificazione dell investimento iniziale il costo di gestione per pratica con un sistema informatizzato risulta di gran lunga inferiore ad un sistema tradizionale. Con un adeguata preparazione della modulistica e delle liste dei valutatori attraverso sistemi di keywords è possibile facilitare procedure di abbinamento semiautomatico tra progetti e revisori esterni. 16. La valutazione ex-post E l attività che, realizzata dopo la conclusione del programma di lavoro approvato, consente di verificare il grado di raggiungimento degli obiettivi attesi, sia per il programma approvato in sé che per l insieme dei programmi che costituiscono una misura di intervento dell Amministrazione. In generale la valutazione ex-post analizza indicatori quantitativi e attraverso questi ottiene una misura del raggiungimento degli obiettivi. Tuttavia, per temi quali la R&S e l Innovazione, tale procedure non è agevole, poiché la caratteristica di intangibilità delle attività e in larga misura anche dei suoi output non consente una indicazione quantitativa chiara. Ciò determina la necessità di applicazione di metodi specifici che hanno l obiettivo appunto di aggirare tale difficoltà e fornire indicazioni attendibili ed efficienti sulla qualità del risultato raggiunto (che, sia detto per inciso, può anche non essere completamente positivo ma fornire ugualmente indicazioni utili sia in riferimento agli obiettivi tecnico-scientifici che di policy). Questo tema è oggetto di interesse e di attività del Gdl6: Modelli di valutazione di impatto; preme qui sottolineare che, qualunque modello di valutazione di impatti si applichi esso deve essere basato su 34

35 elementi quantitativi che devono essere forniti all amministrazione ed essere disponibili quando necessario. Occorre quindi prevedere anche tali dati o informazioni nella fase di presentazione della candidatura o di realizzazione della eventuale negoziazione. 17. APPENDICE Durante l attività del Gruppo di lavoro è stata realizzata una ricognizione di informazioni strutturate sulla base di un questionario appositamente predisposto, in collaborazione con il Gruppo di lavoro 2 - Mappatura e Miglioramento dei processi di selezione. L attività è stata realizzata al fine di produrre una migliore conoscenza dei processi di selezione nei bandi regionali per la ricerca industriale e lo sviluppo precompetitivo, al fine di facilitare una re-ingegnerizzazione e un miglioramento delle procedure. Con riferimento all attività del Gruppo di lavoro 3 la disponibilità di dati ha permesso di approfondire le principali questioni relative alla valutazione ex-ante come quelle del ricorso ad esperti esterni o dell istituzione di specifici nuclei. E utile sottolineare che la fornitura dei dati è stata effettuata su base volontaria dai funzionari coinvolti nell implementazione di politiche per la ricerca e l innovazione, e che la distribuzione di tali dati alle varie amministrazioni non è statisticamente rappresentativa della completezza della situazione locale, né per quantità di bandi o avvisi trattati, né per la loro tipologia e diversificazione. Tuttavia essa offre un interessante prospettiva di tipo qualitativo e consente alcune considerazioni utili per gli obiettivi generali del Gruppo di lavoro, anche per la numerosità assoluta dei casi considerati. Per l elaborazione completa dei dati si rimanda a un documento specifico; vengono invece qui riportate alcune considerazioni per le parti di specifico interesse all attività di valutazione ex-ante. 35

36 1. I dati raccolti Amministrazione Numero bandi censiti Di cui di interesse Gdl3 (*) No Si Basilicata 1 1 Bolzano 1 1 Calabria Emilia-Romagna 1 1 Lazio 1 1 Liguria 1 1 Lombardia 6 6 Marche 5 5 Piemonte 3 3 Puglia Sicilia 2 2 Toscana Umbria 9 9 Veneto 6 6 Totale (*) I dati sono stati depurati dai casi in cui la tipologia di azioni oggetto del bando non rientra tra quelle considerate nell attività del Gruppo di lavoro (rif. Par.0) Amministrazione Bandi censiti Risorse disponibili (M ) N. proposte presentate N. proposte selezionat e Basilicata 1 7,00 Bolzano 1 5, Calabria 5 25, Emilia-Romagna 1 35, Lazio 1 36, Liguria 1 20, Lombardia 6 129, Marche 5 69, Piemonte 3 82, Puglia 8 824, Sicilia 2 75, Toscana 1 41, Umbria 9 42, Veneto 6 128, Totale ,

37 Presentazione informatizzata Presentazione non informatizzata 2. Le modalità di presentazione Numero bandi Risorse disponibili Proposte presentate Proposte selezionate , , n. d , Totale , Nel 50% dei casi la presentazione delle proposte è cartacea. 307 mln sono stati gestiti elaborando quasi 3000 proposte presentate con queste modalità. 3. Le modalità di valutazione Utilizzo di nucleo di valutazione specifico Numero bandi Risorse disponibili Proposte presentate Proposte selezionate SI , NO , n. d. 1 7, Totale , Utilizzo di revisori esterni al nucleo Numero bandi Risorse disponibili Proposte presentate Proposte selezionate SI , NO 9 223, n. d , Totale , Il ricorso a esperti esterni al nucleo è abbastanza comune, ma una parte significativa di risorse viene gestita senza il loro utilizzo. 37

38 4. I tempi della valutazione ex-ante Nota: i grafici riportano le durate della valutazione ex-ante per i 50 casi considerati, indipendentemente dal numero di proposte presentate ed approvate, dalle risorse disponibili e dal valore medio delle proposte. Il 75% dei casi considerati ha durata della valutazione ex-ante inferiore a 7 mesi, mentre la media delle durate è 5,6 mesi. 38