PON 2007-2013 Competenze per lo sviluppo (FSE) Asse II Capacità istituzionale Obiettivo H MIGLIORAMENTO DELLE PERFORMANCE DELLE ISTITUZIONI SCOLASTICHE 2011-2013 Percorso Autovalutazione Guidata CAF Feedback report CODICE MECCANOGRAFICO Scuola Ambito di AV della scuola NATD33000R ITGI Carlo Alberto Dalla Chiesa Afragola (NA) completo Data10/11/2012 1 di 5
Sezione 1 Feedback complessivo del RAV (riferita al RAV nel suo complesso) Sintesi e suggerimenti Si apprezza l impegno della scuola nella preparazione del Rapporto di Autovalutazione, ma si ritiene di sottolineare che quanto realizzato attraverso il RAV in termini di analisi dell organizzazione sia ampiamente migliorabile per poter permettere di individuare valori e debolezze della scuola, e indirizzare di conseguenza il miglioramento. Si segnala in particolare una certa disomogeneità dei contenuti, per cui, a fronte di parti realizzate in modo abbastanza corretto, altre risultano trattate in modo non sufficientemente approfondito e a volte non completamente coerente con il Modello. Si sottolinea in particolare: - la necessità di una maggiore completezza, significatività e concretezza ai contenuti (sintesi sottocriterio, PDF, ADM), perché questi possano costituire una analisi significativa dell organizzazione e possano dare efficaci indirizzi per individuare i possibili progetti ed iniziative di miglioramento. Ciò vale in particolare per la parte Risultati, in cui si ha spesso la sensazione di una non completa comprensione delle indicazioni del Modello - un utilizzo più appropriato delle matrici di valutazione dei fattori e risultati, perché queste possano fornire utili indicazioni relative alle priorità di intervento sui diversi temi indirizzati dal modello (guardando alle valutazioni complessive di criteri e sottocriteri), sulla logica di conduzione delle attività e sui relativi risultati (guardando alla valutazione dei diversi elementi delle matrici di assegnazione dei punteggi: PDCA per i fattori e trend, target, confronti e copertura per i risultati) In particolare, per la parte Risultati si suggerisce, in occasione di prossime redazioni di RAV, di riportare nella sintesi dei sottocriteri i risultati numerici eventualmente disponibili (anche se parziali) in forma adeguata (tabelle o grafici), accompagnati da sintetici commenti per evidenziare il rapporto causa-effetto tra i risultati e gli approcci descritti nei sottocriteri dei fattori. Si segnala infine come alla fine del RAV sia riportato un punteggio complessivo del rapporto: si osserva che il Modello CAF non prevede che venga assegnato nel processo di autovalutazione un punteggio complessivo per l organizzazione, e comunque anche nei casi in cui, come nel Premio PA, vengono assegnati i punteggi, questi derivano da un meccanismo di calcolo completamente diverso da quello applicato dalla scuola in questione. 1.1 - Completezza del documento Nel RAV sono stati sviluppati gli elementi più significativi previsti dallo schema fornito: descrizione della scuola, descrizione del processo di autovalutazione, sintesi dei sottocriteri, punti di forza, aree da migliorare, idee per il miglioramento, evidenze. Il documento è scritto generalmente in modo chiaro e corretto. Si segnala tuttavia che la descrizione della scuola è in alcune parti abbastanza generica e limitata, riducendosi ad una elencazione (ad es. partnership e stakeholder), in cui non si chiariscono finalità, contenuti e strutturazione del rapporto. Inoltre, la descrizione del processo di autovalutazione, piuttosto sintetica, non fa riferimento al processo indicato dal Modello CAF. Ciò limita la capacità di capire la coerenza del percorso seguito rispetto alle indicazioni del Modello: non sono chiarite ad esempio le attività di formazione, le modalità di effettuazione pratica dell autovalutazione dei criteri e sottocriteri ecc.. Le osservazioni sui contenuti di descrizione della scuola, punti di forza, aree di miglioramento e punteggi sono contenute nei punti successivi. 1.2 Contributo del RAV Per i motivi riportati nel dettaglio più avanti, relativi alla descrizione dei sottocriteri, a PDF, ADM e Idee per il Miglioramento, il valore aggiunto del RAV appare migliorabile, cercando di mantenere una maggior coerenza con il 2 di 5
Modello (in particolare in termini di completezza delle analisi e di concretezza delle valutazioni), con la logica di valutazione dei punteggi, e dando maggior contenuto e sostanza a PDF e, soprattutto, ADM. Infatti, una analisi non approfondita del contesto della scuola riferita ai diversi elementi del modello, unita alla genericità dei punti di forza, e soprattutto delle aree di miglioramento (ridotte a pura elencazione di cose fatte o da fare) non permette di indirizzare adeguatamente l organizzazione verso il miglioramento indicandone le priorità. Sezione 2 Feedback sulla strutturazione dei Sottocriteri 2.1 Fattori Abilitanti - Strutturazione della Descrizione dei Sottocriteri La sintesi dei sottocriteri è solitamente scritta in modo chiaro, anche se i contenuti si presentano in modo abbastanza differenziati in termini di completezza, significatività e coerenza con i diversi sottocriteri. A fronte di sottocriteri con una descrizione della sintesi complessiva discreta o accettabile (vedi ad es. 1.1, 1.4, 3,2 ecc.), in altri casi la trattazione appare eccessivamente generica o parziale (vedi ad es. 1.2, 2.2, 3.1, 4.1, 4.6, 5.3 ecc.) o poco appropriata (vedi ad es. 2.1 in cui ci si sofferma sul rapporto con il personale, il 2.3 in cui si parla di sito web e di dematerializzazione documenti invece di sviluppo delle strategie in progetti ed attività, obiettivi e piani. Molto limitato e scarsamente coerente con il modello risulta il Criterio Processi: non si ricava una chiara idea che nell organizzazione sia in atto una vera gestione per processi (ad es. definizione di una mappa dei processi, individuazione dei processi chiave, con relative responsabilità, sistema di misura delle prestazioni ed obiettivi, ecc.); la descrizione, estremamente sintetica, non dà inoltre sufficienti informazione sulla gestione dei servizi, sulla innovazione e coinvolgimento dei cittadini/clienti ecc.. Nel complesso, le sintesi riportate nei sottocriteri dei fattori danno una idea solo parziale di quanto la scuola ha in atto; si ritiene andrebbe dedicato più spazio alla strategia che guida lo sviluppo delle attività, al rapporto con gli stakeholder (il perché delle attività), agli obiettivi ed ai processi attraverso cui le attività vengono gestite (il come delle attività), cercando di fornire un quadro sintetico, ma complessivo di quanto è in atto presso al scuola. 2.2 Risultati - Strutturazione della Descrizione dei Sottocriteri Nei sottocriteri relativi ai risultati, mancano quasi sempre indicazione di elementi quantitativi (risultati numerici) in grado di fornire un adeguato quadro di quanto ottenuto dall organizzazione, nonché elementi in grado di far comprendere la relazione dei risultati conseguiti con i fattori abilitanti che li hanno determinati (relazione di causa-effetto). Per alcuni sottocriteri sono riportate indicazioni qualitative (vedi 6.1, in cui si accenna all avvio di indagini di soddisfazione, senza riportare alcun dato, 6.2 e 7.2 con generiche indicazioni qualitative, ecc.), e soprattutto, in modo inappropriato, descrizioni o elenchi di iniziative e di azioni in atto presso la scuola (vedi 7.2, 8.1). In altri casi, infine, la sintesi del sottocriterio appare scarsamente consistente (8.1, 9.1). La scuola sembra avere in parte la percezione della mancanza di un sistema di misura di risultati, dandone indicazione nelle Aree da Migliorare. In mancanza di dati numerici, non si hanno informazioni su andamenti (Trend) dei risultati, confronti con obiettivi e confronti con l esterno; ciò non fornisce alla scuola concreti riscontri degli elementi forti / deboli delle proprie performance relative alle parti interessate interne ed esterne ed ai risultati chiave. Salvo la generica indicazione circa la mancanza di un sistema di indicatori e di strumenti di monitoraggio, ciò non permette di individuare di conseguenza gli approcci da migliorare o da consolidare per migliorare le prestazioni. Il quadro che ne risulta non appare una base sufficientemente solida per la valutazione di PDF, ADM e punteggio. 3 di 5
Sezione 3 Feedback sull adeguatezza della redazione dei PDF ADM IPM 3.1 - Fattori abilitanti - Adeguatezza della redazione di: Punti di forza, Aree da migliorare, Idee per il miglioramento PDF, ADM e Idee per il Miglioramento sono solo parzialmente appropriati e coerenti con i relativi sottocriteri, ed appaiono più come un elenco di cose fatte o da fare piuttosto che esprimere i valori e gli elementi deboli dell organizzazione. In alcuni casi, PDF, ADM e Idee per il Miglioramento risultano poco o parzialmente correlati rispetto ai criteri / sottocriteri di pertinenza del Modello, o esprimono concetti vaghi e generici. Si vedano in proposito ad es. le Aree di Miglioramento per il sottocrit. 1.2, 2.1 (in particolare PDF, in cui si parla di contesto organizzativo e rapporti con l esterno, invece che di sviluppo di strategie), 3.1 (nelle ADM si parla di formazione e sviluppo delle competenze invece che di pianificazione del personale), 4.1 (in cui nei PDF si parla di risorse umane). In altri casi PDF e ADM sono del tutto generiche (vedi 4.3, 4.6 ecc.). Inoltre, le aree di miglioramento sono espresse in modo impreciso come cose da fare o cose auspicabili e non come punti di debolezza ed in generale appaiono più come intenzioni generiche che indicazione di punti deboli su cui fare valutazioni e definire eventuali azioni. Nessun elemento dei PDF o ADM fa inoltre riferimento alla logica PDCA, valutando quindi come le varie attività vengono realizzate in termini di pianificazione, attuazione, verifica e miglioramento. 3.2 - Risultati - Adeguatezza della redazione di: Punti di forza, Aree da migliorare, Idee per il miglioramento In mancanza di risultati quantitativi, i PDF si riferiscono a quanto soggettivamente percepito dalla scuola, e quindi difficilmente oggettivabile, o ad azioni in atto o in fasi di avvio da parte della scuola. Le ADM sono espresse quasi sempre in modo generico, e si riferiscono generalmente alla mancanza di un sistema di misura di indicatori e di strumenti di monitoraggio e di analisi. Vedi ad es. 6.1, 6.2, 7.1, 7.2, 8.1 ecc. nei quali si evidenzia genericamente come opportunità di miglioramento la necessità di definire misure di percezione e sistemi di indicatori relativi alle parti interessate o alle prestazioni della scuola. Si osserva che le Aree da Migliorare sono quasi sempre espresse in termini di cose da realizzare anziché esprimere correttamente i punti deboli della scuola. Ciò ne limita l incisività e potrebbe condizionare o vanificare una approfondita analisi dei problemi per individuarne l origine, le conseguenze e le azioni necessarie per la loro soluzione. Sezione 4 Feedback sull attribuzione del punteggio ai sottocriteri 4.1 Fattori Abilitanti - Attribuzione del punteggio per i Sottocriteri (coerenza con Punti di Forza e Aree da Migliorare) I punteggi attribuiti sono distribuiti in una fascia sufficientemente ampia (tra 50 e 90%). Si fanno le seguenti osservazioni: - non si riesce solitamente a correlare il punteggio assegnato con la descrizione del contesto (sintesi del sottocriterio), i PDF e le ADM. Ciò vale in particolare per i sottocriteri cui sono assegnati punteggi molto alti (ad es. 3.1, 4.1, 4.6) senza che ci siano chiare indicazioni rispetto a molti degli esempi del Modello - i punteggi sono assegnati anche alle singole fasi Plan, Do, Check e Act, con punteggi quasi mai differenziati tra le diverse fasi del ciclo PDCA. Ciò appare anche determinato dalla mancanza di qualsiasi indicazione nella sintesi del sottocriterio, PDF e ADM che permettono di ricavare elementi su cui basare la valutazione delle singole fasi del ciclo PDCA. - Si segnala che punteggi di 70-80% o oltre significano eccellenza a livello nazionale e internazionale, dimostrata da completa realizzazione del ciclo PDCA applicato a tutte le aree cui il sottocriterio fa riferimento. Si consiglia pertanto una maggior calibratura dei punteggi, con una applicazione più puntuale della Matrice PDCA, e partendo da una più approfondita analisi di quanto realizzato, degli elementi forti e degli elementi deboli o mancanti 4 di 5
rispetto alle indicazioni del CAF. Punteggi più equilibrati, derivanti da analisi che permettano di evidenziare maggiormente aree forti e deboli dell organizzazione consentono un utilizzo più efficace del Rapporto di Autovalutazione al fine di ricavarne il principale valore: il miglioramento del sistema Per quanto sopra esposto, non appare che le indicazioni date dai punteggi assegnati siano sempre coerenti con il modello e di conseguenza possano costituire una valida guida per la scuola nella scelta delle priorità di miglioramento. 4.2 Risultati - Attribuzione del punteggio per i Sottocriteri (coerenza con Punti di Forza e Aree da Migliorare) I punteggi attribuiti (tra 45 e 60%) appaiono sempre alti in relazione a quanto riportato nella sintesi del sottocriterio, nei punti di forza e aree da migliorare; dal RAV si ha l impressione di mancanza di un sistema di rilevazione di indicatori che permetta di rilevare e valutare i risultati con i trend negli anni, con confronti con gli obiettivi quantitativi posti dall organizzazione, con confronti con i risultati di altre organizzazioni: sono scarsi di conseguenza gli elementi che supportino le valutazioni quantitative assegnate. Si nota tra l altro come tutte le linee della matrice di calcolo (trend, obiettivi, confronti e copertura) abbiano identica valutazione, confermando la difficoltà per l organizzazione di valutare secondo i criteri del Modello. Inoltre, non risulta chiara la correlazione della diversa attribuzione dei punteggi con la proporzione relativa di punti di forza ed aree di miglioramento: nella maggior parte dei sottocriteri viene indicata una sola area di miglioramento, ed il punteggio non appare correlato alla numerosità né alla consistenza dei PDF. Si consiglia pertanto in futuro una maggior calibratura dei punteggi, con una applicazione più puntuale della Matrice di calcolo. Punteggi più equilibrati permettono tra l altro una analisi più efficace del Rapporto di Autovalutazione al fine di ricavarne il principale valore: il miglioramento del sistema 5 di 5