p a r t e i i i - c a p i t o l o 5 l a v a l u t a z i o n e n e l l e i s t i t u z i o n i s c i e n t i f i c h e e d i f o r a z i o n e s u p e r i o r e i n f r a n c i a : u n a d e s c r i z i o n e p r a t i c a a d u s o d e g l i o p e r a t o r i
La valutazione in francia: una descrizione pratica parte iii - capitolo 5 L a v a L u t a z i o n e n e L L e i s t i t u z i o n i s c i e n t i f i c H e e d i f o r M a z i o n e s u p e r i o r e i n f r a n c i a : u n a d e s c r i z i o n e p r a t i c a a d u s o d e g L i o p e r a t o r i di Massio Balducci Qui di seguito tenterò di presentare le odalità concrete con cui vengono valutate le Istituzioni di ricerca e forative in Francia. La presentazione si basa prevalenteente su un esperienza personale di circa quindici anni di collaborazione con alcune Istituzioni forative francesi (in aniera particolare gli ENACT e gli INET del Centro Nazionale della Funzione pubblica territoriale) e su una esperienza biennale di collaborazione in qualità di auditor esterno con Agence d évaluation de la recherche et de l enseigneent supérieur (AERES). Pria di affrontare la teatica risulta opportuno descrivere soariaente per il lettore italiano il background in cui questa attività di valutazione prende corpo. Dovreo dare un idea: della variegata coplessità del ondo della forazione superiore in Francia (cfr. par 1); del coune odo di intendere il concetto di valutazione (cfr. par. 2). LA FORMAZIONE SUPERIORE IN FRANCIA: UNA PRESENTAZIONE SOMMARIA Le Università in Francia non rappresentano la parte quantitativaente più iportante della forazione superiore né quella che gode del aggior prestigio 1. Accanto alle Università esiste tutta una serie di Istituzioni di forazione superiore che, in generale, godono, nell opinione pubblica francese, di un prestigio superiore a quello delle Università. Soariaente, l insiee di queste Istituzioni può essere classificato coe segue: università nel senso tradizionale cui si accede con la aturità (BAC); solo alcune di queste Università prevedono (generalente solo per la facoltà di edicina e per quella di faracia) un qualche tipo di selezione all accesso (nuero chiuso) oltre al possesso della aturità; scuole di ingegneria (l ingegnere in Francia non ha frequentato l università!), gestite congiuntaente dagli ordini professionali, dai inisteri copetenti (un ruolo iportante è giocato dal Ministero per le infrastrutture) e, in alcuni dipartienti, dalle associazioni iprenditoriali; da notare che il concetto di ingegneria, in Francia, rappresenta l idea di utilizzare conoscenze tecnico-scientifiche per controllare e anipolare l universo; esistono quindi scuole di ingegneria coerciale (dove si ipara a progettare e gestire strutture di vendita) e l ingegneria genetica afferisce alle scuole di ingegneria piuttosto che alle facoltà di biologia; l accesso è a nuero chiuso e olto selettivo; 1 La stessa cosa, anche se con odalità organizzative profondaente diverse, succede un po in tutta Europa. Citiao qui il caso della Gerania con le sue Fachhochschulen e le sue Buruefliche Hochschulen. 13 rapporto sulla forazione nella pubblica ainistrazione 2009 283
parte iii - capitolo 5 La valutazione in francia: una descrizione pratica le scuole afferenti al gruppo così detto arti e estieri ; si tratta di Istituti ad alto contenuto professionale gestiti prevalenteente dagli ordini; a questo gruppo afferiscono gli istituti di architettura, urbanistica, notariato 2, gestione bancaria; l accesso è a nuero chiuso e olto selettivo; esistono, poi, le così dette grandes ecoles la cui funzione è quella di governare l accesso alle funzioni dirigenziali nella Pubblica Ainistrazione; all estero è nota l E- NA. L ENA è, in effetti, una delle 60 scuole di accesso alla funzione pubblica; il Ministero dell agricoltura ha le sue scuole, così coe il Ministero dell aénageent du territoire, Il CNFPT 3, il Ministero degli esteri, il Ministero del lavoro, la Scuola nazionale della agistratura ecc 4. Un ruolo particolare rivestono gli Istituti di scienze politiche (ne esistono 9 in tutta la Francia e sono indipendenti dalle Università). Gli Istituti di scienze politiche rappresentano una sorta di percorso preparatorio obbligato per poter accedere alla aggior parte delle scuole di accesso alla funzione pubblica (ENA, Scuola della agistratura, le scuole del CNFPT ecc.). Tutti questi svariati Istituti sono sottoposti ad una pubblica di tutela (che varia, ovviaente, a seconda dell Istituzione) che valuta sisteaticaente gli Istituti sottoposti alla sua tutela 5. VALUTARE: I FONDAMENTI DELLA CONCEZIONE FRANCESE Nella cultura razionale e laica francese qualunque valutazione deve riferirsi a dei paraetri chiari di riferiento. Nella cultura francese sarebbe inconcepibile parlare (coe avviene oggi spesso nel nostro Paese) di analisi valutativa. L analisi attiene al capo della ricerca, la valutazione attiene al capo del giudizio di valore. La valutazione professionale è un processo di verifica, secondo criteri rigorosaente galileiani, del grado di corrispondenza di uno o più eventi a valori dati. Quindi è intrinsecaente indispensabile stabilire quali siano i valori secondo cui si valuta. Questi valori devono essere definiti pria che inizi il ciclo di operazioni che dovranno essere valutate e devono essere condivisi tra l Autorità di tutela e l Ente tutelato 6. Questi valori possono essere solo di due tipi: obiettivi da raggiungere (definiti in aniera isurabile con scadenze certe e tappe interedie ben individuate); standard da rispettare (norativi, di qualità, etici, professionali ecc.). Il processo valutativo si inserisce, quindi, in un processo negoziale che ha, grosso odo, questa struttura: 2 In effetti i percorsi per diventare notaio sono due : (i) licenza triennale universitaria in diritto privato e scuola gestita dal Ministero della giustizia; (ii) scuola ad hoc del gruppo arti e estieri 3 Il Centro nazionale della funzione pubblica territoriale è un Ente così detto paritetico, cioè gestito dalle organizzazione dei datori di lavoro (in questo caso le varie associazioni di Couni e dipartienti) e dai sindacati della funzione pubblica territoriale; tra le sue varie funzioni c è quella di curare la forazione iniziale degli agenti della funzione pubblica locale appena reclutati. 4 Non facciao riferiento, qui, alle scuole ilitari. 5 Fa eccezione il CNFPT ed i suoi centri di forazione (ENACT e INET) che non sono sottoposti ad alcuna tutela statale. 6 Dovranno essere parienti condivise le etodiche di raccolta dei dati ai fini della valutazione. Cfr www.cnfpt.fr. 284 13 rapporto sulla forazione nella pubblica ainistrazione 2009
La valutazione in francia: una descrizione pratica parte iii - capitolo 5 condivisione dei valori tra Ente di tutela e Ente valutato; questa fase consiste, in buona sostanza: nello sviluppare un etodo coune di interpretare gli standard già definiti da nore preesistenti (di legge, professionali ecc.), nell adeguare alla situazione di partenza della singola Istituzione tutelata il Δ di iglioraento (definizione dell obiettivo); stesura di un contratto quadriennale tra Ente di tutela e Ente tutelato. Il contratto definisce: situazione di partenza (secondo una serie di paraetri predefiniti da nore diverse che cabiano a seconda degli Enti coinvolti), situazione di arrivo definita in terini di rispetto degli standard e di iglioraento della perforance, tappe interedie, risorse aggiuntive che dovranno essere progressivaente esse a disposizione del tutelato da parte del tutelante, individuazione delle funzioni che saranno progressivaente decentrate, an ano che l Ente tutelato raggiunge la aturità gestionale nelle varie funzioni (risorse uane, contabilità, finanze, ercati pubblici, area tecnica-anutenzioni ecc.) 7 ; auto-valutazione dopo il prio anno, secondo una etodologia standardizzata essa a punto dall AERES, realizzata dall Ente tutelato; l AERES valuta l affidabilità tecnica di questa auto-valutazione che resta, counque, interna al tutelato e non viene portata a conoscenza dell Autorità di tutela 8 ; valutazione realizzata dalla AERES dopo il secondo anno dello stato di avanzaento rispetto alle scadenze stabilite nel contratto; da questa valutazione dipende: l eventuale essa a disposizione di ulteriori risorse, l eventuale decisione di recuperare risorse già erogate nel caso in cui non siano state rispettate le tappe di ezzo periodo, l eventuale decentraento di funzioni, l eventuale riaccentraento di funzioni già precedenteente decentrate; auto-valutazione dopo il terzo anno, secondo una etodologia standardizzata essa a punto dall AERES, realizzata dall Ente tutelato; l AERES valuta l affidabilità tecnica di questa auto-valutazione che resta, anche in questo caso interna al tutelato e non viene portata a conoscenza dell Autorità di tutela; valutazione realizzata dalla AERES alla fine del periodo contrattuale; su questa valutazione si basa: l eventuale decisione di recuperare risorse già erogate nel caso in cui non siano stati raggiunti gli obiettivi e non siano stati rispettati gi standard contrattuali, l eventuale riaccentraento di funzioni già precedenteente decentrate, la negoziazione del contratto per il quadriennio successivo. 7 Nel caso di cattiva gestione queste funzioni possono venir riconcentrate presso l Ente di tutela. 8 Nella cultura francese il controllo interno è nettaente separato dal controllo esterno; i risultati del controllo interno non debbono essere, per nessun otivo, portati a conoscenza dell Autorità di tutela (devono, peraltro, essere portati a conoscenza delle istanze giurisdizionali in caso di violazioni di nore cogenti). 13 rapporto sulla forazione nella pubblica ainistrazione 2009 285
parte iii - capitolo 5 La valutazione in francia: una descrizione pratica Qui vanno fatte alcune osservazioni: la valutazione degli Istituti di ricerca e di forazione si discosta fondaentalente dalla politica di valutazione tradizionale francese che concentra l esercizio della valutazione nelle ani dell Autorità di tutela o del superiore gerarchico facendo della valutazione un potente struento di direzione e coando 9 ; l AERES è un Autorità indipendente e i contenuti della valutazione vengono definiti in un contratto i cui contraenti godono di pari dignità; il finanziaento degli Enti di ricerca e di forazione dipende solo in parte dai contenuti del contratto (ediaente il contratto può pervenire all Ente di ricerca e forazione all incirca ¼ della cifra globale di cui usufruisce l Ente tutelato); nei contratti, di solito, è specificato che la quota destinata alla ricerca trasferita dall Ente di tutela auenta in proporzione all aontare dei contratti di ricerca acquisiti dal tutelato; questa scelta ira a spingere gli Enti a isurarsi sul ercato e, nel contepo, a garantire un argine di autonoia dell Ente nella definizione della propria strategia di ricerca 10 ; le grandes ecoles e gli Istituti arti e estieri si trovano in una situazione particolare per quanto riguarda i loro obiettivi nel capo della forazione; qui si parte di solito da una lista di faiglie professionali (rigidaente definite secondo i canoni della gestione delle copetenze); la forazione ira a creare personaggi adeguati per le funzioni espletabili dalle varie faiglie professionali; la valutazione qui si concentra su una serie di indagini (gestite di solito dall Ente stesso che eroga la forazione) volte a valutare: il grado di soddisfazione dei vari stakeholders, le necessità di attualizzare il contenuto professionale delle varie faiglie professionali; questa duplice attività viene, usualente, definita coe osservatorio socio-professionale e rappresenta una delle principali attività di ricerca delle grandes ecoles; la valutazione che prendiao in considerazione qui riguarda la valutazione della perforance delle Istituzioni forative e di ricerca e non riguarda la valutazione del rendiento dei singoli individui; le Istituzioni di ricerca e di forazione francesi hanno, per quanto riguarda la valutazione degli individui, politiche olto diverse: gli INET e gli Istituti arti e estieri adottano etodi alquanto stringenti di valutazione della perforance individuale, entre le Università sono olto restie ad introdurre sistei di valutazione della perforance individuale. 9 Cfr. A. Fouquet, L. Méasson, (a cura di.), L évaluation Des Politiques Publiques En Europe, Culture Et Futurs, Parigi, L harattan, 2009. 10 Negli Enti alla cui valutazione ho sin qui partecipato (Istituto di Scienze politiche di Parigi, Istituto di Scienze politiche di Lille, Università di Bordeaux 4, Università di Tolosa 3 e Università di Lione 2), l aontare della ricerca finanziato con risorse provenienti dall Autorità di tutela è inferiore al 15% del budget totale della ricerca che si avvale per l 85% circa di finanziaenti su contratti; gli Istituti francesi, più che risorse provenienti dallo sfruttaento di brevetti e royalties, ricevono risorse per la loro capacità di fare ricerca (capacità che ettono sul ercato); una parte inore, counque, non trascurabile, di risorse deriva anche dalla capacità di vendere forazione continua. 286 13 rapporto sulla forazione nella pubblica ainistrazione 2009
La valutazione in francia: una descrizione pratica parte iii - capitolo 5 L AGENCE D ÉVALUATION DE LA RECHERCHE ET DE L ENSEIGNEMENT SUPÉRIEUR (AERES) E I PARAMETRI DELLA VALUTAZIONE 11 Il contratto e la valutazione si articolano attorno a dei paraetri predefiniti. Questi paraetri sono articolati coe segue: La ricerca il potenziale di ricerca dell Istituto: l Istituto conosce il suo effettivo potenziale di ricerca? Sa descrivere, identificare e posizionare la capacità di ricerca nel suo abiente regionale, nazionale e internazionale? È in grado di appare le proprie attività di ricerca e di definire i principali punti di eccellenza e di debolezza della propria ricerca? i tei di ricerca; coerenza degli stessi con la politica dell Istituto e dell Ente di tutela; è in grado di elaborare e ipleentare una strategia coerente e sostenibile di ricerca? Esiste o deve essere creato un cruscotto dell attività di ricerca? organizzazione interna della ricerca: laboratori, risorse uane, ipianti; organizzazione esterna della ricerca: cooperazione con Enti pubblici (CNRS, Agenzia spaziale, Ufficio statistica, Ministeri, collettività locali ecc.), Enti stranieri, Ente internazionali, privati; prograazione teporale della ricerca e rispetto della stessa; visibilità dell Istituto in tea di ricerca: nuero pubblicazioni, nuero citazioni 12, nuero brevetti; visiting professors invitati all estero, docenti ebri di coitati di redazione, tasso di successo negli appalti/finanziaenti internazionali, proporzione di stranieri tra i docenti-ricercatori, articoli co-pubblicati con partner dell UE, con partner extra UE; risorse uane per la ricerca; percentuale di ricercatori provenienti da altre Università; obiettivi strategici nel reclutaento, politica di inseriento del neoreclutato; risorse finanziarie per la ricerca: origine (risorse proprie, provenienti dall Ente di tutela, da contratti di ricerca con Enti internazionali, con Enti stranieri, con Enti pubblici nazionali, con privati, valorizzazione di brevetti, partecipazione ad aziende di sfruttaento della ricerca); criteri per la distribuzione delle risorse (uane, finanziarie, tecniche) per la ricerca; capacità di utilizzo del sistea di indicatori dell attività di ricerca esso a punto dall AERES; contributo della ricerca al iglioraento della copetitività del sistea Paese; capacità di valorizzare econoicaente la ricerca ed i suoi risultati. La valorizzazione della ricerca politica della proprietà intellettuale; PPP; 11 Cfr www.aeres-evaluation.fr. 12 Esiste una lista gerarchizzata di riviste, articolate per settore, su cui è iportante pubblicare e dalle quali è iportante essere citati; si sostiene da olti che tale lista (dove ai prii posti figurano riviste anglosassoni) stia deterinando la orte di olte riviste francesi nei capi della fisica, chiica, e, più in generale, della hard sciences. 13 rapporto sulla forazione nella pubblica ainistrazione 2009 287
parte iii - capitolo 5 La valutazione in francia: una descrizione pratica gli incubatori; i pollai; politica di trasferiento del know how; politica editoriale. La forazione e la sua strategia in che isura e con quale coerenza l offerta di forazione risponde ad una strategia? Il differenziale della forazione offerta dall Ente; interdisciplinarietà della forazione; % di obiettivi forativi in terini di saper fare ; coerenza tra ricerca e forazione; % di forazione continua rispetto alla forazione totale offerta; integrazione della forazione continua con la forazione iniziale; leggibilità dell offerta di forazione: chiarezza dell architettura dell offerta e dei singoli syllabus (obiettivi in terini di sapere e di saper fare, etodologie, ipiegate, natura dei test di verifica interedi e finali); validazione dell esperienza acquisita; offerta forativa in collaborazione con gli attori socio-econoici del territorio; osservatorio sullo sviluppo dei contenuti professionali; osservatorio sull inseriento professionale e la carriera degli ex allievi; percentuale degli insegnaenti affidati ad esperti esterni; corrispondenza dell offerta con i profili professionali richiesti dal territorio 13. Lo studente lo studente è accolto ed inserito in aniera strutturata? i risultati dello studente vengono onitorati? quali struenti vengono usati per tentare di recuperare lo studente in situazione di falliento? lo studente partecipa alle decisioni dell Istituto? esistono politiche iranti a sviluppare una sorta di identità di gruppo, di appartenenza degli studenti? esiste una politica degli ex allievi? 14 i licenziati vengono aiutati nella ricerca di stages e di un occupazione? gli studenti hanno la possibilità di valutare i loro insegnanti? in caso di risposta afferativa alla doanda 8, i risultati della valutazione vengono resi pubblici? varie percentuali sui tassi di successo/insuccesso. Le relazioni esterne e internazionali percentuale di docenti in uscita coe visiting professors verso altre Università francesi e straniere; percentuale di docenti in entrata coe visiting professors da altre Università francesi e straniere; percentuale di studenti in uscita per periodi di studio verso altre Università francesi o straniere; 13 In Francia ed in Gerania esistono dei veri e propri annuari dei estieri costanteente aggiornati; per la Funzione pubblica centrale e territoriale esistono degli inventari delle faiglie professionali. 14 La politica degli ex allievi è la vera forza dell Istituto di Scienze politiche di Parigi; gli ex allievi tengono costanteente aggiornato l Istituito sul reale sviluppo del contenuto professionale elle varie faiglie professionali, al di là di ogni eventuale attività di onitoraggio istituzionalizzato. 288 13 rapporto sulla forazione nella pubblica ainistrazione 2009
La valutazione in francia: una descrizione pratica parte iii - capitolo 5 percentuali di studenti in entrata provenienti da altre Università francesi o straniere; percentuali docenti chiaati coe co-sponsor di tesi di altre università francesi o straniere; percentuali di docenti di altre Università francesi o straniere chiaati coe cosponsor di tesi dell Istituto; % di ricercatori di altre Istituti coinvolti in ricerche proprie; % di ricercatori propri coinvolti in ricerche di altri Istituti; % di progetti di ricerca con altri Istituti. La docuentalistica nuero abbonaenti riviste, di cui in forato digitale; nuero testi disponibili di cui catalogati elettronicaente; nuero di nuove acquisizioni per anno; servizio di assistenza docuentale alla ricerca. LA VALUTAZIONE DELLA FORMAZIONE CONTINUA Una considerazione a parte richiede la valutazione dei servizi di forazione continua. Ogni Istituto utilizza etodi diversi. Per l esperienza personale aturata, counque, questi etodi hanno una serie di punti in coune. Innanzitutto si basano su di un progetto ben definito in cui vengono chiaraente esplicitati gli obiettivi in terini di sapere e di saper fare 15. Qui sotto riportiao la tabella usata a tal fine dagli INET del CNFPT. La valutazione, poi, non viene fatta solo dai corsisti. Vengono sepre essi in piedi sistei di valutazione incrociata in cui si confrontano i giudizi dati: dai corsisti, dai datori di lavoro che hanno inviato i corsisti e dai foratori. Il giudizio verte prevalenteente sul fatto se gli obiettivi forativi siano stati raggiunti o eno. Va poi notato che tutti gli interventi di forazione continua terinano con una prova, un test per verificare se gli obiettivi forativi sono stati acquisiti dal partecipante. Di nuovo: si parte sepre da obiettivi e standard predefiniti. LA GED E IL BENCHMARKING L AERES ha creato una potente base docuentale (gestion électronique des docuents/ged) che, oltre a facilitare il lavoro di ricerca della docuentazione e dei dati da parte degli operatori offre una ricca griglia di riferiento sulle perforance di tutti gli Istituti del Paese. 15 Si richiaa qui il fatto che, per una serie di otivi legali, è pressoché ipossibile in Francia (con l eccezione delle Scuole ilitari) realizzare interventi forativi sul saper essere ed è ancor più probleatico valutare il saper essere dei collaboratori. 13 rapporto sulla forazione nella pubblica ainistrazione 2009 289
parte iii - capitolo 5 La valutazione in francia: una descrizione pratica i processi decisionali comunitari CORSO/ARGOMENTO SAPERI DA ACQUISIRE SAPER FARE DA ACQUISIRE PROFILO DOCENTI DURATA PROVE DI VERIFICA Profili istituzionali dell integrazione europea Le Organizzazioni europee, i loro Organi, le loro Istituzioni, le rispettive fonti norative Sapersi orientare nello schea istituzionale Universitari ½ giornata a scelta ultipla I settori di copetenza dell Unione Individuare le fonti norative, l acquis counautaire Individuare le Istituzioni, le DG, le Unità copetenti; saper individuare via banche dati l evoluzione dell acquis counautaire Magistrati ½ giornata Questionari a scelta ultipla I processi decisionali forali: fase di input o ascendente: eleenti base Nozioni base: conoscere le varie procedure, vantaggi svantaggi Saper scegliere la procedura conveniente Funzionari dirigenti della Coissione, del Consiglio o del Parlaento ½ giornata Questionari a scelta ultipla I processi decisionali forali: fase di input o ascendente: coe seguire lo stato di avanzaento dei dossier La traccia dei dossier Coe seguire lo stato di avanzaento di un dossier; accesso a banche dati, nueri telefonici cruciali ecc. Docuentalisti ½ giornata a scelta ultipla I processi decisionali reali: fase di input o ascendente. I coitati, i gruppi di lavoro, i gruppi di pressione Coe La Francia e il Regno Unito organizzano la loro presenza nella fase di input; il ruolo dei gruppi di pressione (UNICE, ETUC ecc.) Individuare i coitati ed i loro ebri; seguire e coordinare l O.d.G.; saper inserire nel dossier le probleatiche particolari dell Italia; individuare i gruppi di pressione e saperli inforare della posizione italiana sui dossier Funzionari SGCI ¼ giornata a scelta ultipla Testionianze La presenza italiana in un coitato di esperti Coe tale presenza può influire sull efficacia della nostra posizione al CoRePer Funzionario del CoRePer; ½ giornata a scelta ultipla I dossier cruciali aperti agenda 2000 e-governent e-europe 2005 gouvernance revisione PAC l apertura all est Individuare i dossier, lo stato di avanzaento degli stessi Dirigenti Coissione ¼ giornata a scelta ultipla Il Consiglio europeo Nozioni di base: l ipatto sui processi decisionali routinari Modalità operative; coe lo Stato ebro che detiene la Presidenza può, coordinando i lavori preparatori del Consiglio europeo con quelli dei Consigli dei Ministri, influire sulla politica dell Unione EIPA ¼ giornata a scelta ultipla I processi forali: fase di output o di-scendente: la coitatologia Individuare le fonti norative e i vari coitati Individuare i coitati, gli esperti relativi nonché le varie agenzie; saper ipostare la partecipazione al coitato, la stesura dossier e rapporti Funzionari dirigenti della Coissione, ¼ giornata a scelta ultipla Tecniche di negoziazione counitaria La teoria della negoziazione Iparare le tecniche di negoziazione nel quadro norativo dell Unione SIGC 1 giornata siulazione 290 13 rapporto sulla forazione nella pubblica ainistrazione 2009
La valutazione in francia: una descrizione pratica parte iii - capitolo 5 UNA SEMPLICE E BREVE LEZIONE DA APPRENDERE Al di là dei singoli etodi e delle singole filosofie che possono essere più o eno opportunaente adattate alla situazione italiana, c è una lezione da iparare: non ha senso parlare di valutazione (della forazione a anche di qualunque altra politica) se pria non si sono definiti i paraetri della valutazione e cioè gli obiettivi che ci si propone di raggiungere e gli standard che si devono rispettare. 13 rapporto sulla forazione nella pubblica ainistrazione 2009 291