Valutazione dell Attività d Istituto (Processi di Consulenza e Formazione)

Transcript

1 1 di 11 Iop03 Valutazione dell Attività d Istituto (Processi di Consulenza e Formazione) INDICE 1 Enti interessati Scopo I ili della Formazione e della Consulenza Oggetto di Valutazione Metodi di Rilevazione Valutazione del processo di consulenza (singolo laboratorio) Valutazione economica del processo di consulenza Valutazione annuale del processo di consulenza del singolo Laboratorio Calcolo dei costi del Laboratorio Punteggio da assegnare ad ogni singola attività Metodo di calcolo Valutazione del processo di consulenza livello di Istituto Valutazione del processo di formazione (singolo progetto formativo) Aree di formazione INOA La valutazione dal punto di vista dell utenza La valutazione dal punto di vista dell incremento di esposizione del marchio INOA La valutazione da un punto di vista economico Tabella riassuntiva Valutazione del processo di formazione a livello di Istituto MATRICE DELLE REVISIONI PRIMA DATA VISTO (RESP.GEST.SIST.QUAL.) APPROVAZIONE DIREZIONE EMISSIONE 07/09/2006 REVISIONI DATA SINTESI MODIFICHE VISTO (RESP.GEST.SIST.QUAL.) REV. 0 Prima emissione APPROVAZIONE DIREZIONE

2 2 di 11 1 Enti interessati Consiglio d Istituto ili di Laboratorio - RGSQ. 2 Scopo Scopo del presente documento è descrivere i criteri e le modalità utilizzate dall Istituto Nazionale di per la valutazione delle attività di consulenza e formazione svolte. 3 I ili della Formazione e della Consulenza I ili della Formazione e della Consulenza forniscono annualmente una valutazione sull attività di consulenza e di formazione svolta dall INOA. La valutazione viene effettuata sia a livello dei singoli laboratori sia sull attività globale svolta dall Istituto. Si esprime un giudizio analitico sui processi suddetti valutando i seguenti aspetti: 1) Struttura 2) Produttività tecnico-scientifica 3) Qualità 4) Sviluppo delle conoscenze e competenze 5) Prospettive di innovazione 6) Capacità di attrarre risorse 3.1 Oggetto di Valutazione La valutazione è stata articolata su due livelli: - I processi di consulenza e formazione dell Istituto nel suo complesso; - I sottoprocessi di consulenza e formazione dei singoli laboratori. 3.2 Metodi di Rilevazione La rilevazione si è svolta tramite compilazione della scheda da parte dei responsabili delle singole attività in conto terzi per la consulenza e dai responsabili dei singoli progetti formativi. 4 Valutazione del processo di consulenza (singolo laboratorio) 4.1 Valutazione economica del processo di consulenza Per ogni attività dei Laboratori che si configuri come attività in conto terzi deve essere prevista una valutazione economica, che può essere redatta appositamente per quella singola attività (per esempio, valutazione economica relativa alla progettazione di un sistema di illuminazione specifico per una applicazione) oppure generalmente per una tipologia di attività (per e- sempio, taratura di un luxmetro: è applicabile a tutte le tarature standard di

3 3 di 11 luxmetri). Nella valutazione economica, sia essa generica o specifica, devono comunque obbligatoriamente essere valutate le seguenti voci (IVA compresa dove applicabile): - le ore-uomo del personale, in base alle tariffe stabilite dalla Direzione dell Istituto oppure, se queste sono mancanti o inapplicabili, alle tariffe praticate da Istituti o Società che offrono servizi analoghi; - le spese per missioni o partecipazioni a congressi, compresa l eventuale diaria giornaliera del personale; - l acquisto di materiale (sia di consumo che inventariabile) e servizi, compreso consulenze e collaborazioni esterne; - l ammortamento e la manutenzione delle attrezzature; - le spese generali, sia del Laboratorio che dell Istituto; - la maggiorazione stabilita dal Laboratorio in base alla qualità ed alle caratteristiche del lavoro svolto. Possono essere valutate anche altre voci non comprese nell elenco precedente. Tale valutazione economica riporta infine il costo complessivo per il committente esterno, che si intende sempre IVA esclusa. La redazione di tali valutazioni economiche non pregiudica la redazione di altri bilanci o relazioni, relativi alla stessa attività, necessari per adempiere alla normativa vigente oppure a richieste da parte della Direzione dell Istituto. Entro tre mesi dopo la fine dell anno solare, il ile dei Laboratori esegue una verifica dell attività del Laboratorio in termini economici, sia a livello consuntivo che preventivo. Le entrate sono determinate elencando separatamente e poi sommando i seguenti contributi (IVA esclusa): - corrispettivi pagati da Ditte private o Enti pubblici per misure e consulenze e accreditati al Laboratorio (a disposizione del Laboratorio per l anno in oggetto); - proventi derivanti da collaborazioni con enti pubblici o privati e da contratti nazionali o internazionali e accreditati al Laboratorio (a disposizione del Laboratorio per l anno in oggetto); - trasferimento di fondi da parte dell Istituto o strutture superiori per l anno in oggetto; Le spese sono invece determinate elencando separatamente e poi sommando i seguenti contributi (IVA inclusa): - le spese per il materiale di consumo acquistato nell anno in oggetto (sono compresi anche i costi del materiale noleggiato o acquistato a leasing); - le spese per il materiale inventariabile acquistato nell anno in oggetto; - le spese per borse di studio, assegni di ricerca e consulenze relati-

4 4 di 11 ve all anno in oggetto; - le spese per missioni, pubblicazioni e attività di rappresentanza - altre spese che non rientrano nelle categorie precedenti. Allo stesso modo è redatto un bilancio interno preventivo (relativo ovviamente all anno in corso). Le modalità di redazione sono stabilite dalla relativa procedura di gestione interna del Laboratorio. La redazione di tali bilanci non pregiudica la redazione di altri bilanci richiesti dalla Direzione dell Istituto o da altri soggetti competenti. 4.2 Valutazione annuale del processo di consulenza del singolo Laboratorio Entro tre mesi dalla conclusione dell anno solare, il ile, in collaborazione con gli altri membri del Laboratorio, effettua una valutazione dell attività svolta dai Laboratori stessi nell anno trascorso. Tale valutazione si effettua determinando un punteggio (nel modo descritto in seguito), riferito a quanto svolto dai Laboratori nell anno trascorso. Sono stabilite sei tabelle di valutazione (ciascuna riferita ad un diverso a- spetto della valutazione), e ad ognuno di queste è assegnato un fattore moltiplicativo (fattore di tabella). Ogni tabella è suddivisa in più voci, ciascuna delle quali possiede un fattore moltiplicativo (fattore di voce). Tramite le tabelle ed i fattori sono calcolati dei punteggi (di voce, di tabella, totale), che valutano numericamente l attività del Laboratorio per l anno trascorso; essi devono essere utilizzati solo a fini interni e comparativamente rispetto ai risultati ottenuti negli anni precedenti. Si sottolinea che una stessa attività, valutata in voci diverse, può portare anche a più di un contributo al punteggio totale. Un operazione preliminare al calcolo dei punteggi è conoscere i costi sostenuti dai Laboratori Calcolo dei costi del Laboratorio Sono valutati due parametri di costo, le spese dirette e le spese totali. Spese dirette Il totale delle spese dirette è dato dal risultato del calcolo riportato nella valutazione economica del laboratorio, con la seguente modifica: invece del totale delle spese per materiale inventariabile, si considera il 20% della somma delle spese sostenute per il materiale inventariabile nell anno in oggetto e nei quattro anni precedenti. Spese totali Questo parametro è ottenuto sommando al risultato precedente i costi indiretti e le spese per il personale dipendente per l anno in oggetto così come sono calcolate dall Istituto Punteggio da assegnare ad ogni singola attività I singoli indicatori e punteggi ad essi assegnati nelle tabelle che seguono si riferiscono al laboratorio di fotometria e illuminotecnica e al laboratorio collettori solari. Ogni altro laboratorio è libero di scegliere i singoli indicatori e la ponderazione che ritiene più opportuna in base al tipo di attività svolta. Tabella A: struttura del Laboratorio (parametro di tabella: 0.5) IOp 06 Procedura per la gestione del laboratorio di fotometria e illuminotecnica e

5 5 di 11 Il Laboratorio, in quanto struttura potenzialmente capace di produzione di attività, è un valore in sé; tale parametro intende valutare appunto questo valore. del laboratorio collettori solari Oggetto della valutazione Punteggio Modalità di attribuzione A1 A2 A3 A4 Mesi-uomo di personale dipendente dall Istituto Mesi-uomo di personale non dipendente dall Istituto Locali disponibili per l attività tecnico-scientifica Valore all origine degli strumenti calibrati e del software tecnico-scientifico in dotazione al Laboratorio 0.1 ogni mese-uomo 0.05 ogni mese-uomo 0.2 ogni stanza ad uso esclusivo del Laboratorio ogni 1000 di valore all origine (frazioni escluse) La valutazione dei locali, degli strumenti calibrati e del software è effettuata solo se questi sono stati a disposizione del Laboratorio per un periodo non inferiore a sei mesi nell anno solare. Tabella B: produttività tecnico-scientifica (parametro di tabella: 1) L attività del Laboratorio si concretizza in articoli pubblicati su riviste nazionali o internazionali, partecipazioni a congressi, rapporti tecnici per ditte ed enti esterni, organizzazione di corsi e lezioni. Per produttività complessiva si intende qui questa produzione scientifica e tecnico-scientifica, valutata secondo Tab. 5: Oggetto della valutazione Punteggio Modalità di attribuzione B1 B2 B3 B4 Rapporti tecnici (escluso correzioni di precedenti Rapporti Tecnici) Rapporti tecnici con utilizzazione di metodi di analisi o misura non standard (non contenuti in procedure di laboratorio e non precedentemente utilizzati) Accordi e convenzioni con società di certificazione e misura, agenzie per lo sviluppo tecnologico e altri enti simili Corsi e lezioni tenuti come docenti da membri del Laboratorio 0.1 ogni rapporto tecnico 0.25 ogni rapporto tecnico 0.2 Ogni accordo o convenzione 0.01 per ogni ora di lezione in presenza o due ore di attività dello studente on line

6 6 di 11 Tabella C: qualità (parametro di tabella: 1) Con questo parametro si valuta la qualità del lavoro svolto, tenendo conto dell adeguamento del Laboratorio al Sistema Qualità dell Istituto e della produzione interna di procedure. Oggetto della valutazione Punteggio Modalità di attribuzione C1 C2 C3 C4 Partecipazione di un membro del Laboratorio a corsi di aggiornamento o formazione Accreditamento al Sistema Qualità ISO9001:2000 Accreditamento SIT o SINAL (per la prima prova) Accreditamento SIT o SINAL (per altre prove oltre alla prima) 0.01 ogni ora-uomo di corso ogni prova successiva alla prima Tabella D: sviluppo delle conoscenze e competenze (parametro di tabella: 0.5) E valutata l interazione del Laboratorio con ditte, enti e centri di ricerca non italiani, la partecipazione a progetti internazionali, la frequenza a stage all estero del personale del Laboratorio, l accoglienza in Laboratorio di soggetti provenienti dall estero. Oggetto della valutazione Punteggio Modalità di attribuzione D1 D2 D3 D4 D5 D6 D7 Pubblicazioni su riviste scientifiche o tecnico-scientifiche nazionali di fisica, ottica e argomenti connessi Pubblicazioni su riviste o giornali tecnico-commerciali o divulgativi nazionali su argomenti di ottica, fotometria, colorimetria illuminotecnica. Partecipazione a congressi nazionali Pubblicazioni su riviste internazionali Partecipazione a congressi internazionali Collaborazioni con enti di ricerca italiani o stranieri o con dipartimenti universitari Partecipazione a progetti europei o ad altri progetti di ricerca internazionali 0.25 ogni pubblicazione 0.1 ogni pubblicazione 0.15 ogni singolo intervento 0.5 ogni pubblicazione 0.3 ogni singolo intervento 0.2 per ogni collaborazione instaurata 0.1 per ogni di contributi (frazioni escluse)

7 7 di 11 Tabella E: prospettive di innovazione (parametro di tabella: 1) Si valuta la capacità del Laboratorio di produrre ricerche ed elaborare metodologie di misura ed analisi innovative. Oggetto della valutazione Punteggio Modalità di attribuzione E1 Brevetto nazionale 2 ogni brevetto E2 Brevetto internazionale 5 ogni brevetto E3 Richiesta di brevetto nazionale 0.2 ogni brevetto E4 Richiesta di brevetto internazionale 0.5 ogni brevetto E5 Pubblicazioni o partecipazioni a congressi (sia nazionali che internazionali) dove si illustra una metodologia di misura o di analisi innovativa 0.2 ogni pubblicazione o partecipazione a congresso Tabella F: capacità di attrarre risorse (parametro di tabella: 1) Questo parametro misura la redditività dell attività in termini economici. Esso è valutato in termini di competenza e non di cassa, poiché il Laboratorio, per quanto riguarda la parte amministrativa, non ha autonomia rispetto alla struttura amministrativa dell Istituto. Le risorse attratte sono dunque calcolate (sempre escludendo l IVA) sommando i seguenti contributi: - corrispettivo degli ordini inviati da Ditte private o Enti pubblici e protocollati dall Istituto nell anno in oggetto; - proventi relativi all anno in oggetto per collaborazioni con enti pubblici o privati, contratti nazionali o internazionali, commesse (se il periodo della collaborazione non copre tutto l anno, calcolarne la parte che si riferisce all anno in oggetto; per esempio, una collaborazione di euro da Settembre 2006 a Febbraio 2007 compresi deve essere valutata per 8000 euro nel 2006 e 4000 euro nel 2007); - contributi provenienti dall Istituto o da strutture superiori per lo svolgimento delle attività istituzionali del Laboratorio e non già conteggiati nei due punti precedenti. Oggetto della valutazione Punteggio Modalità di attribuzione del punteggio F1 Capacità di attrarre risorse 5 risorse attratte diviso 50000

8 8 di Metodo di calcolo Data una delle tabelle presentate al paragrafo precedente, si calcoli per o- gni voce presente in tabella il punteggio moltiplicando la quantità da valutare (es. il numero di mesi-uomo per la voce A1) per il corrispettivo fattore di voce (0.1 nel caso della voce A1); si esegua poi la somma dei punteggi relativi a tutte le voci della stessa tabella. Tale valore è il punteggio di tabella, cioè la valutazione numerica dell attività del Laboratorio per quanto riguarda l ambito valutato con la tabella stessa Quindi si moltiplichi ogni punteggio di tabella così ottenuto per il corrispondente fattore di tabella (0.5 nel caso della tabella A), e si sommino tutti i valori così ottenuti. Il risultato è il punteggio totale, cioè la valutazione numerica generale dell attività dei Laboratori. 5 Valutazione del processo di consulenza livello di Istituto La valutazione del processo di consulenza dell intero Istituto avviene con una logica bottom-up andando a unificare i singoli dati aggregati provenienti da ogni laboratorio. Verranno quindi calcolati i punteggi relativi ad ogni macrocriterio: 1) Struttura 2) Produttività tecnico-scientifica 3) Qualità 4) Sviluppo delle conoscenze e competenze 5) Prospettive di innovazione 6) Capacità di attrarre risorse La somma dei sei punteggi fornirà infine il valore annuale dell Istituto relativamente al processo di consulenza. Per la sua significatività viene inoltre estrapolato il dato relativo al numero di rapporti tecnici (Tabella: B1+B2) (numero di attività conto tersi) effettuati nel suo complesso da INOA nell esercizio di riferimento. 6 Valutazione del processo di formazione (singolo progetto formativo) 6.1 Aree di formazione INOA La formazione INOA si occupa o intende occuparsi di quattro grandi macroaree di formazione: la formazione post secondaria (tutti i corsi per persone uscite dalla scuola secondaria, sia che si tratti di studenti universitari che di studenti che hanno scelto altri canali formativi) la formazione post laurea la formazione vocazionale o di training (tutta la formazione rivolta allo svolgimento di una determinata professione e che si svolge in un arco ben determinato di tempo) la formazione continua (formazione che segue continuativamente la persona inserita nel mondo del lavoro e che può essere somministrata anche a distanza) 6.2 La valutazione dal punto di vista dell utenza Un modello molto utilizzato nella valutazione della formazione è quello di Kirkpatrick. Si tratta di un modello che abbiamo cercato di adattare alla realtà INOA. Secondo tale modello abbiamo 4 livelli per la valutazione della formazione.

9 9 di Gradimento 2. Apprendimento 3. Trasferimento sul lavoro 4. Risultati di business Le aree di valutazione del modello di Kirkpatrick possono essere così sintetizzate: 1) Gradimento Al primo livello la valutazione consiste nella misurazione della soddisfazione che il programma formativo ha generato nei partecipanti. Si tratta di determinare se mediamente il corso è stato soddisfacente in termini didattici, organizzativi e sociali, tenendo conto anche delle percezioni di utilità e difficoltà da parte dei partecipanti. Reazioni positive sono di importanza critica nel creare motivazione. In questo senso il gradimento influenza anche gli effetti ai livelli successivi (ad esempio a livello di risultati dell apprendimento). Per effettuare la misurazione solitamente si utilizza un questionario con domande chiuse ed aperte, volto a raccogliere informazioni sia quantitative sia qualitative. E fondamentale progettare domande che favoriscano l oggettività delle valutazioni: ad esempio le domande sulla qualità dei docenti devono essere focalizzate sui comportamenti osservabili e non sulla personalità. Il feedback da parte dei partecipanti gioca un ruolo essenziale ed immediato nel processo di controllo e miglioramento della qualità dei corsi di formazione in termini di organizzazione e di contenuti per la semplicità con cui è possibile raccogliere informazioni. 2) Apprendimento Il secondo livello presenta una maggiore complessità rispetto al precedente e considera lo scopo principale della formazione: misurare l apprendimento significa valutare quali conoscenze e capacità sono state apprese. La valutazione a questo livello permette inoltre all azienda di ottenere indicazioni sull efficacia delle metodologie utilizzate per favorire l apprendimento. Generalmente, lo strumento di valutazione consiste nella somministrazione di test pre e post formazione, contenenti domande identiche o equivalenti, al fine di misurare il raggiungimento degli obiettivi di apprendimento. Altre tecniche, basate su test prestazionali, consentono di misurare l apprendimento anche di competenze soft. Queste prime due fasi ben si adattano a tutti i livelli di corso enunciati all'inizio. 3)Trasferimento sul lavoro In questo caso le cose si differenziano a seconda che il corso sia rivolto a persone già occupate o ancora inoccupate. Nella prima situazione l apprendimento degli individui, per portare dei benefici all organizzazione, si deve tradurre in un miglioramento/cambiamento nello svolgimento delle attività operative. Valutare il trasferimento sul lavoro significa determinare quali cambiamenti nel comportamento lavorativo sono derivati dalla formazione, ovvero misurare l effettivo utilizzo nel contesto lavorativo della conoscenza, delle capacità e degli atteggiamenti che sono stati acquisiti durante le attività formative. Non sempre a fronte di un elevato livello di soddisfazione e di apprendimento segue un buon livello di applicazione sul lavoro di quanto appreso. Le variabili che incidono sul trasferimento sono molte, tra cui la qualità del supporto che il partecipante riceve dopo i corsi formativi, specialmente da parte del suo supervisore diretto. Le tecniche di misurazione a questo livello consistono nell osservazione diretta e nell analisi dei ri-

10 10 di 11 sultati sul lavoro. Uno strumento molto diffuso consiste in un assessment prima dell intervento formativo e 3-6 mesi dopo, prestando attenzione ad utilizzare scale di giudizio basate su aspetti comportamentali. I risultati della valutazione della trasferibilità sul lavoro consentono di rivedere e ritarare l intervento formativo per facilitare i cambiamenti di comportamento finalizzati a un miglioramento nelle prestazioni delle risorse formate. Per le persone inoccupate un criterio di interesse potrebbe essere il tasso di occupazione entro 6 mesi dallo svolgimento del corso. 4) Risultati di business Questo quarto livello è specifico solo dei corsi vocazionali o continuativi e non è sempre facile da valutare. Per risultati di business si intende l impatto sull organizzazione in termini di riduzione dei costi, miglioramento dell efficienza, incremento della produzione, riduzione dei tassi di turnover, miglioramento del clima aziendale. 6.3 La valutazione dal punto di vista dell incremento di esposizione del marchio INOA Anche se ovviamente INOA deve essere considerato un marchio atipico, è sicuramente interesse di INOA che sempre più aziende e liberi professionisti entrino in contatto con la nostra attività, in modo che possano in un secondo tempo usufruire del nostro servizio di consulenza verso terzi. In questo senso un primo indicatore è il numero di aziende e liberi professionisti che vengono esposti al nome INOA durante il corso. Tale dato è immediatamente ricavabile dalle liste di iscrizione. Un secondo check è da fare 6 mesi dopo lo svolgimento del corso e prevede un'indagine sulle aziende e liberi professionisti che si sono rivolti a INOA per consulenze dopo il contatto avvenuto in un corso 6.4 La valutazione da un punto di vista economico Due sono gli indicatori interessanti per una valutazione economica. In primo luogo l'ingresso di finanziamenti, sia sotto forma di iscrizioni o di finanziamento da parte di enti. In secondo luogo tramite le commesse giunte grazie a rapporti nati tramite la formazione. 6.5 Tabella riassuntiva A Valutazione utente (coeff. Tab. 0.4) Punteggio Modalità di attribuzione A1 Gradimento 1-10 A2 Apprendimento % risposte esatte A3 Trasferimento sul lavoro 1-10 A4 Risultati di Business 1-10 Confronto fra prima e dopo il corso B Esposizione marchio INOA (coeff. Tab. 0.3) Punteggio Modalità di attribuzione

11 11 di 11 B1 Aziende esposte n. B2 Aziende che hanno contattato INOA n. entro 1 anno dalla fine del corso C Risultato economico (coeff. Tab. 0.15) Punteggio Modalità di attribuzione C1 Finanziamenti esterni al corso C2 Iscrizioni D Risultato economico (coeff. Tab. 0.15) Punteggio Modalità di attribuzione D1 Commesse reperite grazie al progetto formativo I moltiplicatori associati a ciascun indicatore possono variare da progetto a progetto. 7 Valutazione del processo di formazione a livello di Istituto La valutazione del processo di formazione dell intero Istituto avviene con una logica bottom-up andando a unificare i singoli dati aggregati provenienti da ogni progetto formativo. Verranno quindi calcolati i punteggi relativi ad ogni macrocriterio: 1. Valutazione da parte dell utenza 2. Esposizione marchio INOA 3. Risultato economico 4. Capacità di attrarre risorse La somma dei sei punteggi fornirà infine il valore annuale dell Istituto relativamente al processo di formazione.