VALUTARE LA QUALITÀ PROGETTUALE. L UTILIZZO E LA GESTIONE DEI FONDI PON NELLE

Transcript

1 PON Valutazione e miglioramento (cod. I-3-FSE ) VALUTARE LA QUALITÀ PROGETTUALE. L UTILIZZO E LA GESTIONE DEI FONDI PON NELLE SCUOLE DEL II CICLO RAPPORTO FASE 1 SCUOLE SECONDARIE DI II GRADO Progetto PON Valutazione e Miglioramento 1

2 Gruppo di ricerca INVALSI: Responsabile: Donatella Poliandri Ricercatori: Paola Muzzioli Ornella Papa Isabella Quadrelli Sara Romiti Stefania Sette Collaborare tecnico: Monica Perazzolo 2

3 3

4 Sommario 1. Obiettivi della Fase 1 per le scuole secondarie di II grado Definizione della qualità progettuale, gestionale e organizzativa L intervento di audit nelle scuole secondarie di II grado: fasi e strumenti Articolazione dell intervento di valutazione Gli strumenti La progettazione PON delle scuole dell Obiettivo Convergenza Le scuole coinvolte nell audit Persone incontrate e materiali visionati Il Piano integrato I progetti degli obiettivi C, B, D e F Caratteristiche strutturali dei progetti Valutazione dei progetti dell obiettivo C Valutazione dei progetti dell obiettivo B Valutazione dei progetti dell obiettivo D Valutazione dei progetti dell obiettivo F Confronto tra i progetti Dotazioni e laboratori Qualità complessiva delle scuole destinatarie dei fondi PON Qualità della progettazione documentazione e qualità della gestione integrazione Punti di forza e di debolezza Punti di forza Punti di debolezza Punti di forza, punti di debolezza e livelli di qualità complessiva Criteri di qualità e percezione dei punti di forza e di debolezza: quale relazione? Buone pratiche Conclusioni Bibliografia

5 1. Obiettivi della Fase 1 per le scuole secondarie di II grado Il progetto Valutazione e Miglioramento (ex Audit e accompagnamento codice MIUR I 3 FSE ) si è posto l obiettivo di monitorare e accompagnare le Istituzioni scolastiche destinatarie dei PON Competenze per lo Sviluppo (finanziati dai fondi FSE) e Ambienti per l Apprendimento (finanziati dai fondi FESR), collocate nelle regioni Obiettivo Convergenza Campania, Calabria, Puglia e Sicilia. Il progetto si propone di: monitorare le capacità progettuali e gestionali delle istituzioni scolastiche che usufruiscono delle risorse dei fondi europei; condurre osservazioni in profondità, in una prospettiva di valutazione sistemica, delle singole istituzioni scolastiche; sostenere le scuole nella realizzazione di azioni di miglioramento. L azione si articola in tre fasi successive: La Fase 1 ha l obiettivo di valutare la qualità progettuale, organizzativa e gestionale delle singole istituzioni scolastiche nell attuazione dei PON Istruzione. Per realizzare questo obiettivo viene utilizzata la tecnica dell audit esterno; Dirigenti tecnici del MIUR esaminano la documentazione e conducono visite nelle scuole per parlare con gli operatori del progetto e i destinatari delle azioni. Al termine dell analisi compilano una scheda strutturata ed esprimono giudizi sintetici sui diversi aspetti della progettazione e gestione dei PON. L audit rientra tra le attività di monitoraggio e valutazione dei fondi strutturali europei che fanno capo all Autorità di gestione nazionale. La partecipazione delle scuole alla fase 1 è pertanto obbligatoria. La Fase 2 si prefigge di identificare i punti di forza e i nodi critici del servizio scolastico offerto in un ottica di valutazione sistemica, attraverso l osservazione sul campo delle attività didattiche e laboratoriali, l analisi dei principali documenti della scuola (POF e Programma annuale), e la realizzazione di interviste alle diverse componenti scolastiche. Una coppia di osservatori conduce visite di osservazione nelle scuole, utilizzando diverse tecniche di ricerca qualitativa. A conclusione delle osservazioni viene stilato un Rapporto di Valutazione, che integra la parte qualitativa con informazioni quantitative, e vengono individuate alcune piste di miglioramento per l istituzione scolastica. La Fase 3 intende sostenere azioni di miglioramento. Dall analisi dei risultati emersi nelle fasi 1 e 2, viene elaborato un piano di miglioramento. Esperti esterni affiancano in presenza e a distanza i team di valutazione interni alle scuole e seguono la progettazione e gestione delle azioni di miglioramento nei settori della didattica o del management scolastico. L attenzione è rivolta anche a diffondere buone pratiche individuate a livello nazionale e internazionale. La partecipazione delle scuole alle fasi 2 e 3 è volontaria mentre la fase 1 è cogente per le istituzioni scolastiche destinatarie dei fondi PON individuate per l indagine. 5

6 Nell a.s la Fase 1 è stata estesa alle scuole secondarie di secondo grado. La finalità della fase 1 per le scuole secondarie di II grado è di descrivere le singole istituzioni scolastiche a partire da alcuni criteri di qualità individuati e di classificare le realtà osservate sulla base delle modalità operative prevalenti e dei risultati ottenuti nella progettazione PON. Il metodo utilizzato è quello dell audit esterno, con il quale un soggetto esterno e indipendente rispetto all istituzione osservata esprime dei giudizi a partire dalla rilevazione di uno scostamento tra la realtà osservata e alcuni standard predefiniti (Scott Parsowith, 1995). L auditor deve determinare se la qualità dei processi è conforme agli standard previsti e se tali processi sono attuati in modo efficace ed idoneo a raggiungere gli obiettivi prefissati. L orientamento prevalente è quello dell integrazione tra valutazione sommativa e formativa, ovvero l audit si prefigge sia l obiettivo di fornire elementi conoscitivi validi all Autorità di gestione 1 per orientare le proprie decisioni, sia di valutare i processi attuati dalle scuole con la finalità di migliorare la capacità progettuale delle scuole e l attuazione del programma stesso. Ai fini dell intervento di audit per i PON, le tecniche di raccolta dei dati sono l analisi dei documenti e dei materiali prodotti dalla scuola per la progettazione e gestione degli interventi realizzati con i PON, in quanto costituiscono evidenze dei processi messi in campo, e le interviste finalizzate ad individuare le opinioni degli operatori della scuola e dei destinatari degli interventi, necessarie per valutare il livello di implementazione e l impatto dei processi stessi. Un altra tecnica, infine, è l osservazione non strutturata utilizzata per valutare lo stato delle strutture laboratoriali. Inoltre le informazioni vengono raccolte a partire da diverse fonti: il Dirigente scolastico, i componenti del GOP, i tutor di progetto, gli insegnanti curricolari e gli studenti. La scelta di privilegiare una molteplicità di tecniche e di fonti dei dati è motivata dalla scelta di realizzare una triangolazione, ovvero il confronto e l integrazione delle informazioni su un oggetto raccolte con tecniche diverse o da fonti diverse per garantire una conoscenza più ampia ed articolata dell oggetto di studio. 1 L Autorità di gestione è responsabile per l attuazione dei PON Istruzione. Tale funzione è svolta dall ufficio IV della Direzione Generale per gli Affari Internazionali del Ministero dell Istruzione, dell Università e della Ricerca.. 6

7 2. Definizione della qualità progettuale, gestionale e organizzativa La definizione di qualità progettuale, gestionale e organizzativa riferita all uso dei Fondi PON da parte delle scuole destinatarie dei finanziamenti europei è stata effettuata dal gruppo di ricerca dell Invalsi a partire dall analisi della letteratura sull argomento che ha evidenziato il carattere relativo del concetto di qualità, strettamente dipendente dai contesti, dai valori e dagli interessi dei soggetti coinvolti (Moss, 1994) nonché dalle specifiche finalità conoscitive perseguite (Bertin, 2007), e della necessità di articolarlo a partire da una prospettiva multiattore e multidimensionale. Come ampiamente dibattuto in letteratura, la valutazione si muove tra diversi punti di vista. Palumbo ricorre alla rappresentazione del triangolo per individuare i tre poli costituiti dagli obiettivi, dai bisogni e dagli standard di prestazione ai quali corrispondono tre punti di vista diversi: quello dell organizzazione, quello degli operatori/professionisti e quello degli utenti/cittadini (Palumbo, 2003). Allo stesso modo Bertin individua il punto di vista manageriale, quello professionale e quello partecipativo (Bertin, 2007). Strettamente legata alla prospettiva multiattore è anche la questione dell inclusione di punti di vista interni ed esterni all organizzazione (Palumbo, 2003). Nel caso delle istituzioni scolastiche e formative ciò risulta fondamentale perché non sempre chi individua gli obiettivi da persguire (ambito politico, funzionari ministeriali) controlla direttamente i processi erogati da una singola organizzazione (attuati dai singoli professionisti: gli insegnanti). Inoltre, il concetto di cliente non rappresenta in maniera adeguata la peculiarità degli utenti del servizio scolastico e formativo, che non possono essere ridotti al singolo studente, ma che devono includere anche le famiglie in quanto entità relazionalmente connesse e la società che nutre aspettative e investe risorse nell azione educativa e formativa. Si rende quindi necessaria una composizione di punti di vista interni ed esterni ed un allargamento della platea dei clienti/utenti che comprenda anche i cosiddetti stakeholder (Bertin, 2003). Il concetto di qualità deve dunque essere esplicitato partendo dall integrazione e composizione di questa molteplicità di sguardi che si traduce anche in una pluralità di livelli e dimensioni. Nel tentativo di operazionalizzare il concetto di qualità progettuale, gestionale e organizzativa, sono state individuate diverse dimensioni o aree, tenendo conto di diversi punti di vista. In primo luogo quella del committente, l Unione Europea, rappresentata dell Autorità di gestione presso il Miur. Come rilevato da Oliva (2003) a questa prospettiva corrisponde la definizione delle finalità e degli obiettivi. Si è pertanto fatto riferimento alle finalità generali dei Programmi operativi nazionali nell ambito dell istruzione, ovvero l innalzamento delle competenze di base e la riduzione della dispersione scolastica, degli obiettivi specifici, entro i quali devono rientrare le specifiche azioni progettuali 2 della scuola e delle linee guida del Miur 3 che si configurano come 2 Per il FSE sono stati attivati i seguenti obiettivi: B Migliorare competenze del personale; C Migliorare competenze degli studenti; D Promuovere la società dell informazione; F Promuovere successo scolastico, parità e inclusione; G Migliorare i sistemi di lifelong learning. Per il FESR gli obiettivi sono: A Promuovere e sviluppare la società dell informazione e della conoscenza nel sistema scolastico; B Incrementare il numero dei laboratori per migliorare l apprendimento delle competenze chiave in particolare quelle matematiche scientifiche e linguistiche. 3 Disposizioni e istruzioni per l attuazione delle iniziative cofinanziate dai Fondi strutturali europei Miur

8 veri e propri obiettivi operativi 4. È stato poi considerato il punto di vista degli operatori/professionisti dell istituzione scolastica, ovvero il DS, gli insegnanti curriculari, i tutor e gli esperti esterni reclutati per lo svolgimento dei corsi e dei progetti finanziati. Si tratta di punti di vista che riflettono posizioni diverse rispetto alla realizzazione delle attività, che per questo loro diverso posizionamento restituiscono uno sguardo articolato sul processo di erogazione del servizio. Abbiamo infine il punto di vista degli utenti, in primo luogo gli studenti che hanno avuto un esperienza diretta dei corsi e delle iniziative finanziate con i PON, ma anche dei loro docenti curriculari che hanno potuto valutare le ricadute delle azioni realizzate sulla partecipazione e i risultati scolastici degli studenti. A partire da questa articolazione sono state individuate tre aree all interno delle quali sono stati esplicitati specifici criteri di qualità. Si tratta dell area gestionale/organizzativa che comprende i criteri di qualità che riguardano l impianto organizzativo necessario per la gestione dei PON: azioni di promozione, reclutamento degli esperti, funzionamento del Gruppo operativo di piano 5, valutazione del Piano integrato 6 ; dell area didattico/progettuale nella quale sono inclusi i criteri che fanno riferimento alla qualità della progettazione in senso stretto con riferimento sia alla sua coerenza con le priorità individuate dalla scuola nell Autodiagnosi 7 e all integrazione con gli obiettivi e le azioni previste nel POF, sia alla definizione delle strategie didattiche (es. definizione delle competenze, articolazione tra competenze e metodologie didattiche, valutazione degli studenti); ed infine dell area dei risultati/impatti nella quale si prende in considerazione il punto di vista degli studenti relativamente all utilità e soddisfazione per i corsi e quello degli insegnanti curricolari con riferimento all impatto dei corsi sull attività curricolare degli studenti. Nell ambito di ciascuna area sono stati operazionalizzati specifici criteri di qualità (Tabella 2 1 a pag. 9). 4 Si tratta di linee guida che definiscono l impianto organizzativo per la gestione dei Fondi e la realizzazione delle attività progettuali, come ad es. la costituzione del gruppo operativo di piano (GOP), l individuazione di figure all interno della scuola con specifiche finalità (referente per la valutazione, facilitatore, tutor, ecc.), la realizzazione di specifiche azioni di promozione, ecc.) 5 Il Gruppo operativo di Piano è una struttura operativa che comprende oltre al DS diverse figure previste dal Miur (Facilitatore, Referente per la valutazione, tutor di obiettivo) che ha la funzione di gestire la progettazione e la realizzazione delle azioni finanziate. 6 Il Piano integrato è costituito dall insieme dei progetti presentati dalla scuola e afferenti uno stesso bando. 7 La Scheda di Autodiagnosi è uno strumento predisposto dall Invalsi che permette di evidenziare i punti di forza e le criticità della scuola in diversi ambiti in ottica autovalutativa. Si tratta di uno strumento autocompilato dalle scuole che dovrebbe costituire il punto di riferimento per la progettazione su fondi PON. 8

9 Area gestionale/organizzativa progettuale/didattica risultati e degli impatti Tabella 2 1 Aree e criteri di qualità Criterio di qualità Azioni di promozione Reclutamento esperti (bandi esperti) Verbali del GOP Valutazione del Piano integrato Coerenza tra Piano integrato e Autodiagnosi Integrazione tra Piano integrato e POF Declinazione delle competenze del corsista Coerenza tra competenze e attività didattiche del corsista Strategie didattiche Valutazione iniziale Valutazione in itinere Valutazione finale Soddisfazione dei corsisti Integrazione tra progetto e attività curricolare (solo per progetti dell obiettivo C e F) Ricadute del progetto sulle competenze dei corsisti (solo per progetti dell obiettivo C e F) Utilizzo a scuola delle competenze acquisite dal personale (solo per progetti dell obiettivo B e D) L esplicitazione dei criteri di qualità ha rappresentato un aspetto fondamentale della progettazione dell intervento di valutazione. Questa operazione ha permesso, in primo luogo, di rendere trasparente il significato del concetto di qualità per tutti i soggetti coinvolti (committenti, operatori, utenti e auditor). Inoltre, partendo dall idea della necessaria complementarietà tra funzione sommativa e formativa della valutazione, riteniamo che una chiara esplicitazione dei criteri di qualità possa contribuire a fornire indicazioni chiare per formulare un giudizio sull efficacia dei fondi PON e allo stesso tempo fornire alle singole istituzioni scolastiche elementi sui quali riflettere e confrontarsi per promuovere forme di apprendimento organizzativo. Come abbiamo già evidenziato, inoltre, la finalità del miglioramento è chiaramente perseguita dall impianto progettuale complessivo all interno del quale la valutazione della qualità progettuale, gestionale e organizzativa dei fondi PON è solo un primo passo per la realizzazione di azioni di miglioramento. 9

10 3. L intervento di audit nelle scuole secondarie di II grado: fasi e strumenti 3.1 Articolazione dell intervento di valutazione L intervento di audit si poneva l obiettivo di valutare, per ciascuna scuola coinvolta nell indagine, il Piano integrato relativo al bando /04/2009 Piani Integrati 2009 e di approfondire l analisi di due azioni progetti o moduli afferenti gli obiettivi B, C, D, e F dello stesso bando. La selezione dei progetti/moduli è stata effettuata dall INVALSI sulla base della distribuzione delle tipologie di richiesta attivate dall universo delle scuole di riferimento. La scelta di concentrare l attenzione soltanto su due azioni progettuali per ogni scuola è motivata dall esigenza di privilegiare un indagine approfondita di ciascun progetto, basata sull analisi di diversi indicatori riguardanti vari aspetti della progettazione e gestione delle attività. Ciò comporta l attivazione di protocolli di ricerca articolati che prevedono diverse tecniche di raccolta dei dati e il coinvolgimento di diversi soggetti (DS, insegnanti curricolari, tutor dei progetti, studenti, ecc.). In altre parole piuttosto che considerare tutte le azioni progettuali prodotte dalla scuola, si è scelto di privilegiare un livello di analiticità maggiore, indagando in profondità un numero limitato di progetti. Inoltre, sono stati esclusi dall audit i progetti/moduli destinati ad adulti e genitori, ad eccezione di quelli dedicati al personale della scuola. Pertanto non sono valutate le azioni progettuali che rientrano nell obiettivo G e i progetti/moduli dell obiettivo F rivolti ai genitori. Ciò dipende soprattutto dall esigenza di standardizzare e semplificare le procedure di audit che, come abbiamo detto hanno richiesto, oltre all analisi di documenti, osservazioni sul campo e interviste con le figure istituzionali e i destinatari degli interventi PON. In questo senso, si è preferito non includere le interviste ai genitori o ai corsisti adulti, maggiormente complesse dal punto di vista organizzativo, anche in considerazione della durata limitata della visita a scuola. Nel corso della visita a scuola, inoltre, è stata effettuata una valutazione dell utilizzo di dotazioni e laboratori acquistati con i fondi FESR nel 2007 e nel Ogni auditor, quindi, aveva il compito di valutare, per ciascuna scuola assegnata, un Piano integrato, due progetti/moduli preselezionati dall INVALSI, e l utilizzo di dotazioni e laboratori acquistati con i fondi FESR. L INVALSI ha fornito gli estremi dei progetti/moduli da considerare per ciascuna scuola. La procedura prevedeva che ad ogni auditor fosse assegnato almeno un progetto/modulo dell obiettivo C, selezionato per tutte le scuole del campione in quanto si riferisce al miglioramento delle competenze degli studenti, e un secondo progetto/modulo afferente uno dei quatto obiettivi C, B, D o F. L intervento di audit è stato articolato in tre momenti: 1) prima della visita: raccolta e analisi di documenti e materiali relativi al Piano integrato e alle singole azioni progettuali, e compilazione online della Scheda di valutazione 1 parte 2) durante la visita: osservazioni e interviste con le figure di Piano, i corsisti e i docenti curriculari 3) dopo la visita: compilazione online della Scheda di valutazione 2 parte 10

11 La compilazione della Scheda di valutazione 1 parte, da effettuare prima di recarsi presso le scuole, prevedeva che i giudizi degli auditor dovessero basarsi sulla documentazione che poteva essere richiesta alle scuole, sui dati disponibili sulla piattaforma dell ANSAS e sui dati della Carta d Identità INVALSI 8. Nel corso della visita a scuola, l auditor oltre a richiedere la visione di ulteriori documenti, doveva verificare lo stato di utilizzo delle dotazioni tecnologiche e dei laboratori acquistati con i fondi FESR e doveva svolgere brevi interviste con le figure PON (referente per la valutazione, facilitatore, tutor d obiettivo), alcuni docenti curriculari e alcuni corsisti che avevano frequentato i corsi o partecipato alle attività previste dai due progetti selezionati. 3.2 Gli strumenti Gli strumenti dell audit sono: Scheda di valutazione 1 parte Scheda di valutazione 2 parte Per la costruzione delle schede di valutazione è stata esaminata l ampia letteratura riguardante la valutazione autentica delle prestazioni degli studenti e l utilizzo delle rubriche di valutazione (Comoglio, 2002; Comoglio, 2007; Wiggins, 1996). Le rubriche di valutazione sono state adattate negli anni ad altri contesti, come la valutazione delle prestazioni delle scuole (si vedano le griglie utilizzate dagli Ispettori dell Office for Standard in Education Ofsted). Una rubrica per essere tale deve contenere i criteri oggetto di valutazione e una descrizione delle prestazioni buone e meno buone per ciascun criterio. Le rubriche possono essere costruite con un approccio più olistico, quando richiedono di esprimere un giudizio generale su un insieme di aspetti, o più analitico, quando richiedono di esprimere un giudizio su singole componenti. L obiettivo della scheda di valutazione è quello di aiutare l auditor ad esprimere un parere orientato da indicazioni in grado di supportare empiricamente l espressione del giudizio. Sono stati preliminarmente definiti una serie di criteri di qualità (22 criteri) relativamente alla progettazione e gestione dei progetti. Questi criteri di qualità o standard sono definiti come proposizioni. Per ogni criterio di qualità l auditor doveva esprimere un giudizio su una scala da 1 a 4. La formulazione del giudizio è guidata: infatti per ciascun livello è stato riportato un indicatore che presenta gli elementi o le evidenze empiriche da considerare per esprimere un giudizio. Il livello 1 Inadeguato: si riferisce alle situazioni nelle quali, rispetto al criterio di qualità proposto, la scuola non ha raggiunto un livello ritenuto accettabile. Il livello 2 Accettabile: viene applicato ai casi in cui il livello raggiunto rappresenta il punto di partenza minimo per arrivare a 8 La Carta d identità delle scuole PON è uno strumento informativo predisposto dall INVALSI che sintetizza alcune informazioni utili per descrivere la situazione di ogni scuola. La Carta d identità è messa a disposizione degli auditor per acquisire alcune informazioni prima della visita alla scuola. In particolare, le informazioni fornite sono: dimensione della scuola; media degli apprendimenti degli studenti alla III prova dell esame di stato (INVALSI); trasferimenti e abbandoni degli studenti; dotazione finanziaria; informazioni sui punti di forza e debolezza e priorità di intervento indicate nella scheda di autodiagnosi; attività sui fondi PON. 11

12 successivi miglioramenti. Il livello 3 Buono: riguarda i casi in cui la scuola ha messo in campo le azioni necessarie per raggiungere gli standard previsti dal criterio di qualità. Infine, il livello 4 Eccellente: si riferisce alle situazioni nelle quali gli standard previsti dal criterio di qualità sono raggiunti attraverso azioni che garantiscono la qualità delle procedure o esiti ottimali. Le schede sono strutturate in due parti principali: una relativa alla valutazione della qualità del Piano integrato nel suo complesso ed una dedicata alla valutazione della qualità dei singoli progetti o moduli. La Scheda di valutazione 1 parte è suddivisa in cinque sezioni: la prima sezione si riferisce alla qualità complessiva del Piano integrato e presenta 6 criteri di qualità; le altre quattro sezioni (una per ciascun obiettivo) si riferiscono alla qualità dei singoli progetti e presentano ciascuna 6 criteri di qualità, oltre ad una scheda di descrizione del progetto. Per esprimere la valutazione rispetto ad ogni criterio di qualità, sono indicati: - i documenti e i materiali da visionare - come reperire i documenti e materiali nel sito dell Ansas - il criterio di qualità, espresso in forma di proposizione - la scala di valutazione con i relativi indicatori Per la valutazione del Piano integrato veniva richiesto agli auditor di esprimere un giudizio in merito a: Integrazione tra piano integrato e piano dell offerta formativa Coerenza tra autodiagnosi e piano integrato Azioni di promozione Bandi esperti (competenze richieste) Verbali del GOP Valutazione del piano integrato Per ogni progetto valutato, sono state raccolte informazioni: Sui soggetti a cui è rivolto il corso (gruppo classe o studenti di classi diverse se si tratta di un progetto dell obiettivo C e F, docenti e personale ATA se si tratta di un progetto dell obiettivo B e D) Se il corso è stato sospeso Informazioni sugli iscritti (numero iniziale, con assenze superiori al 25% 9 ) Numero attestati emessi Le valutazioni sui progetti sono state espresse in merito a: Declinazione delle competenze che deve ottenere il corsista Coerenza tra competenze e attività didattiche svolte dal corsista Strategie didattiche Valutazione iniziale Valutazione in itinere Valutazione finale 9 In base alle Disposizioni del MIUR, non è possibile emettere la certificazione per la frequenza del corso per gli studenti che hanno più del 25% di ore di assenza. 12

13 La Scheda di valutazione 2 parte presenta inizialmente quattro sezioni dedicate alla qualità dei singoli progetti per gli obiettivi B, C, D ed F. La quinta sezione si riferisce alla qualità del Piano integrato (4 criteri di qualità) mentre una sesta sezione concerne la qualità della gestione di dotazioni e laboratori (1 criterio di qualità). Infine, nella sezione dedicata alle considerazioni conclusive è previsto uno spazio per la formulazione di un giudizio qualitativo da parte dell auditor su eventuali punti di forza e/o punti di debolezza della progettazione e gestione PON riscontrati durante la visita. Per ogni progetto che viene valutato, vengono raccolte informazioni: Sui soggetti a cui è rivolto il corso (gruppo classe o studenti di classi diverse se si tratta di un progetto dell obiettivo C e F, docenti e personale ATA se si tratta di un progetto dell obiettivo B e D) Se il corso è stato sospeso Informazioni sugli iscritti (numero iniziale, con assenze superiori al 25%) Numero attestati emessi Le valutazioni sui progetti vengono espresse in merito a: Soddisfazione dei corsisti Integrazione tra progetto e attività curricolare (solo per progetti dell obiettivo C e F) Ricadute del progetto sulle competenze dei corsisti (solo per progetti dell obiettivo C e F) Utilizzo a scuola delle competenze acquisite dal personale (solo per progetti dell obiettivo B e D) Per la valutazione del Piano integrato viene richiesto agli auditor di esprimere un giudizio in merito a: Incontro con il gruppo operativo di piano Azioni di promozione Verbali del gop Valutazione del piano Bandi esperti (condivisione criteri) Integrazione tra piano e attività della scuola Per la valutazione della qualità della gestione di dotazioni e laboratori vengono raccolte informazioni sulle persone incontrate durante la visita e sul numero di dotazioni e laboratori osservati, a seguire viene richiesto di esprimere un giudizio complessivo sull utilizzo ottimale delle dotazioni e i laboratori acquistati con i fondi FESR. 13

14 4. La progettazione PON delle scuole dell Obiettivo Convergenza La programmazione dei PON Competenze per lo sviluppo (fondo FSE) e Ambienti per l apprendimento (fondo FESR) riguarda potenzialmente 3984 scuole statali e 1311 scuole non statali delle regioni dell Obiettivo Convergenza (rispettivamente il 38% e il 34,4% delle scuole statali e non statali italiane, dati relativi all a.s ); di queste 1130 (28,4%) sono istituzioni scolastiche statali del II ciclo e 595 (45,4%) sono scuole secondarie di II grado non statali 10. Grafico 4 1 Istituzioni scolastiche statali e non statali delle regioni Obiettivo Convergenza scuole statali Scuole non statali Totale scuole Ist. II ciclo Fonte: Sistema Informativo Integrato e valutazione degli apprendimenti 2011 La distribuzione degli istituti scolastici di II grado nelle quattro regioni dell area PON rivela una maggiore presenza di istituti statali e non statali in Campania e Sicilia (Tabella 4 1). Quasi il 70% delle scuole del II ciclo destinatarie potenziali dei fondi PON sono collocate in queste due regioni. Tabella 4 1 Scuole del II ciclo statali e non statali per regione Scuole II ciclo Scuole II ciclo statali non statali Totale % area PON Calabria ,2 Campania ,9 Puglia ,5 Sicilia ,4 Totale ,0 Fonte: Sistema Informativo Integrato e valutazione degli apprendimenti Complessivamente, gli studenti del II ciclo dell area PON sono ; di questi frequentano scuole statali e rappresentano il 35,9% degli studenti del secondo ciclo delle scuole statali italiane; studiano in un istituto non statale e rappresentano il 13,8% degli studenti superiori italiani che frequentano scuole non statali. 14

15 I dati messi a disposizione dal Sistema Informativo Integrato e valutazione degli apprendimenti 11 mostrano che, nei primi quattro anni della programmazione corrente, si è osservato un aumento costante delle scuole che utilizzano il finanziamento FSE: si è passati infatti dall 84% degli istituti scolastici che hanno presentato almeno un Piano integrato nel 2007 a oltre il 91% nel L aumento ha riguardato tutte le regioni dell Obiettivo Convergenza anche se in Puglia si registra un utilizzo dei fondi superiore alle altre regioni, con quasi il 99% delle scuole che hanno presentato almeno un progetto. Per quanto riguarda il finanziamento FESR, negli anni 2007 e 2008 si registra una quota di scuole attive sui fondi poco inferiore a quella FSE, mentre per gli anni successivi 2009 e 2010 la percentuale è molto più bassa. Ciò può dipendere dal fatto che le scuole hanno concentrato la maggior parte delle richieste di risorse finalizzate al miglioramento delle dotazioni tecnologiche e dei laboratori nei primi due anni della programmazione PON, rispondendo così in gran parte ai propri bisogni di adeguamento delle strutture informatiche e tecnologiche. La crescita della domanda di finanziamenti PON riguarda tutte le tipologie scolastiche, pur essendo presenti ancora differenze nella percentuale di istituti attivi tra i diversi ordini e gradi di scuola. A tale riguardo, gli istituti scolastici di II grado risultano i più attivi con una percentuale media di partecipazione nei quattro anni di oltre il 93% sui finanziamenti FSE e oltre il 50% sui finanziamenti FESR (Tabella 4 2). Tabella 4 2 Percentuale di scuole con almeno un progetto approvato per tipologia di scuola e anno di riferimento Tipologia di scuola FSE FESR Media Media Circoli didattici 71,5% 70,8% 74,9% 76,5% 73,4% 64,6% 71,2% 2,1% 1,1% 34,8% Istituti comprensivi 81,2% 81,6% 83,2% 89,0% 83,7% 73,7% 81,8% 2,2% 0,7% 39,6% Istituti principali di 76,4% 77,4% 80,1% 84,8% 79,6% 69,4% 79,9% 2,7% 1,0% 38,3% I grado Istituti di II grado 88,2% 93,5% 94,8% 96,4% 93,2% 85,0% 88,5% 2,1% 26,1% 50,4% Area PON 83,8% 85,4% 87,7% 91,4% 87,1% 77,1% 83,8% 2,2% 8,1% 42,8% Fonte: Sistema Informativo Integrato e valutazione degli apprendimenti 2011 I dati elaborati dal Sistema Informativo Integrato sui punti di forza e di debolezza indicati dalle scuole nell Autodiagnosi (Grafico 4 2), evidenziano che per le scuole del II ciclo gli elementi di criticità riguardano prevalentemente l area studenti, seguita da rapporti con le famiglie e il territorio e da personale scolastico. I punti di forza si riscontrano principalmente nell ambito delle strutture e infrastrutture scolastiche. La situazione descritta dagli istituti scolastici di II grado è per certi aspetti diversa da quella rappresentata dalle scuole del I ciclo, per le quali il personale scolastico rappresenta il principale punto di forza, mentre gli ambiti studenti e strutture e infrastrutture costituiscono aspetti di criticità INVALSI Rapporto di Stato avanzamento lavori, settembre 2010 febbraio INVALSI, Sistema Informativo Integrato e valutazione degli apprendimenti, Rapporto di Stato avanzamento lavori, settembre 2010 febbraio

16 Grafico 4 2 Punti di forza e di debolezza evidenziate nell Autodiagnosi ( ) Fonte: Sistema Informativo Integrato e valutazione degli apprendimenti 2011 Tra il 2007 e il 2010, le scuole hanno presentato progetti a valere sul FSE e a valere sul FESR. Tre delle quattro regioni dell Obiettivo Convergenza hanno partecipato in maniera pressoché simile con il 30% circa dei progetti: si tratta di Campania, Puglia e Sicilia; la Calabria con il 12% circa dei progetti è la regione che ha partecipato in misura minore. Per quanto riguarda il FSE, la quasi totalità delle proposte progettuali presentate si riferisce all Asse I relativa al miglioramento del capitale umano; appena lo 0,2% ha riguardato progetti nell ambito dell Asse III che concerne il miglioramento dell efficienza, efficacia e qualità degli interventi finanziati, nonché la verifica e il controllo degli stessi e lo sviluppo di modalità, forme e contenuti dell informazione e pubblicizzazione del Programma, degli interventi e dei risultati. Nell ambito dell Asse I, le scuole hanno decisamente privilegiato gli interventi a favore degli studenti, con la presentazione di progetti che rientrano negli obiettivi C (59% circa del totale dei progetti) e F (16% circa dei progetti). Seguono, per numerosità di proposte attivate, i progetti a favore degli insegnanti e del personale della scuola (i progetti dell obiettivo B sono il 10,2% del totale e quelli dell obiettivo D, rivolti ad accrescere la diffusione, l accesso e l uso della società dell informazione nella scuola, rappresentano il 3,9%) e quelli finalizzati a migliorare l apprendimento durante tutto l arco della vita (4,7% del totale). Con riferimento al FESR, anche in questo caso è stato nettamente privilegiato l Asse I che si occupa di promuovere la società dell informazione e della conoscenza nella scuola (con il 99,5% dei progetti presentati) a scapito dell Asse III che offre interventi di assistenza tecnica. Tra gli obiettivi dell Asse I, i progetti che rientrano nelle finalità previste dal B, ovvero incrementare il numero dei laboratori per migliorare l apprendimento delle competenze chiave, sono il 64% circa del totale 16

17 mentre poco più di un terzo riguarda le finalità dell obiettivo A, incrementare le dotazioni tecnologiche e le reti delle istituzioni scolastiche. Per quanto riguarda il bando oggetto di audit, ovvero AOODGAI , sono complessivamente 1087 le scuole del II ciclo che hanno attivato richieste di finanziamento e 1076 quelle con progetti autorizzati, in preparazione e inoltrati. I progetti presentati sono stati , in media 11,3 per scuola (il range varia da 1 a 45). Tuttavia quelli autorizzati, in preparazione e inoltrati sono stati e nei tre quarti dei casi riguardano progetti dell obiettivo C. 17

18 5. Le scuole coinvolte nell audit Le scuole coinvolte nell audit sono gli istituti secondari di II grado delle quattro regioni dell Obiettivo convergenza che nell anno scolastico 2008/09 sono state campionate per somministrare le prove della rilevazione OCSE PISA e che hanno usufruito dei fondi PON, avendo attivato richieste sul bando AOODGAI 2096 del , Piani Integrati La scelta è legata alla possibilità di utilizzare i risultati OCSE PISA per una valutazione più ampia anche dei risultati, dal momento che per le scuole secondarie di II grado non erano disponibili per l anno scolastico dati a livello nazionale del Servizio Nazionale di Valutazione. Le scuole così selezionate sono state in totale 109, il 10% circa del totale delle scuole che hanno attivato progetti sul bando AOODGAI Le scuole selezionate sono così suddivise: 25 in Calabria, 33 in Campania, 28 in Puglia e 23 in Sicilia. Grafico 5 1 Distribuzione delle scuole coinvolte nell audit per regione Sicilia 21% Calabria 23% Puglia 26% Campania 30% Confrontando la distribuzione delle scuole coinvolte nell audit con quella di tutte le scuole con progetti autorizzati sul bando 2096/2009 nelle quattro regioni dell Obiettivo convergenza emerge che nell audit le scuole della Campania e della Puglia sono rappresentate in maniera proporzionale mentre sono leggermente sovra rappresentate le scuole della Calabria e sottorappresentate quelle della Sicilia. 13 Si tratta di 1087 scuole con progetti presentati, inoltrati e autorizzati. 18

19 Tabella 5 1 Scuole con progetti autorizzati e scuole coinvolte nell audit per regione Scuole attive sul bando AOODGAI Scuole coinvolte nell audit Frequenza Percentuale Frequenza Percentuale Campania , ,3 Puglia , ,7 Calabria , ,9 Sicilia , ,1 Totale , ,0 Quasi la metà delle scuole coinvolte nell audit sono Licei, un terzo sono Istituti Tecnici e circa un quinto sono Istituti Professionali. Grafico 5 2 Tipo di scuola Istituto Professionale 18% Liceo 49% Istituto Tecnico 33% I tre tipi di scuola sono diversamente distribuiti nelle quattro regioni considerate. Rispetto ai valori medi, i Licei risultano sottorappresentati in Campania e leggermente sovrarappresentati in Calabria e Sicilia. Gli Istituti Tecnici rappresentano circa il 35% delle scuole in Campania, Puglia e Calabria mentre sono poco più del 20% in Sicilia. Di contro, in questa regione gli Istituti Professionali coinvolti sono poco più del 26% a fronte di una sottorappresentazione degli stessi in Puglia (14% circa) e Calabria (12% circa). La scelta delle scuole con riferimento alla tipologia non riflette la reale distribuzione delle stesse nelle regioni considerate; come già detto, infatti, ciò non costituiva un criterio di riferimento per la selezione delle scuole da inserire nell audit. 19

20 Grafico Tipo di scuola per regione 60,00% 50,00% 40,00% 30,00% 20,00% Licei Ist. Tecnici Ist. Professionali 10,00% 0,00% Campania Puglia Calabria Sicilia I progetti presentati dalle scuole selezionate sono 1331 (il 12,3% del totale dei progetti delle scuole attive sul bando 2096/2009), con una media di 12 progetti per scuola (di poco superiore alla media del totale delle scuole attive, pari a 11,3). Rispetto alla distribuzione dei progetti per obiettivo del totale delle scuole attive sul bando 2096/2009, le scuole coinvolte nell audit presentano una percentuale decisamente più elevata di progetti afferenti l obiettivo B e di poco superiore per i progetti dell obiettivo D, G, F e L. Come già ricordato, tutte le scuole che hanno partecipato all audit avevano almeno un progetto dell obiettivo C. Tabella 5 2 Distribuzione dei progetti per obiettivo Obiettivi FSE Totale scuole PON Scuole inserite nell'audit Frequenza % su totale scuole Frequenza % su totale scuole B , ,8 C , D , ,8 E , ,5 F , ,5 G , ,9 I 5 0,4 0 0 L 27 2,5 6 5,5 Totale scuole

21 6. Persone incontrate e materiali visionati La scheda di valutazione 2 parte forniva agli auditor indicazioni precise sulle persone da contattare durante la visita a scuola e prevedeva la possibilità di indicare i materiali visionati. Secondo il protocollo di ricerca, le informazioni raccolte durante le interviste e individuate attraverso la lettura dei materiali dovevano costituire la base empirica per l espressione dei giudizi relativi ai criteri di qualità. Nel corso delle visite a scuola gli auditor hanno incontrato il Dirigente scolastico e gli altri componenti del Gruppo operativo di piano (GOP). In media, per ogni scuola gli auditor hanno incontrato 5 componenti del GOP. Si tratta di un dato molto positivo poiché indica, come evidenziato anche dal grafico sottostante, che gli auditor hanno potuto avere come interlocutori le figure chiave dei PON: oltre al DS, il Referente per la valutazione, il Facilitatore e i tutor d obiettivo la cui presenza risulta proporzionale al numero di progetti valutati per ciascun obiettivo. Si osserva inoltre la presenza di 7 tutor dell obiettivo G. I progetti dell obiettivo G non erano oggetto di audit, tuttavia i tutor hanno preso parte alla ricerca in quanto membri del GOP. Grafico Persone incontrate durante le visite a scuola Inoltre, sono stati intervistati complessivamente 1046 corsisti, 9,7 in media per scuola e, per i corsi rivolti agli studenti (C e F), sono stati coinvolti 147 tutor (1,4 in media per scuola) e 629 docenti curricolari (5,2 in media per scuola). Per quanto riguarda i materiali, è stata effettuata un analisi qualitativa delle informazioni fornite dagli auditor rispetto ai documenti e materiali visionati 14. Tale analisi ha permesso di individuare 14 La scheda di valutazione 2 parte prevedeva degli spazi nei quali indicare i materiali visionati 21

22 23 tipologie di materiali 15. Inoltre sono state categorizzate le situazioni nelle quali gli auditor hanno affermato di non aver trovato materiali pertinenti e i casi nei quali le informazioni fornite dagli auditor sono risultate incomprensibili e non pertinenti. Complessivamente i dati relativi ai materiali visionati sono positivi. Nella grande maggioranza dei casi gli auditor hanno avuto accesso a materiali di vario tipo. Solo in una minoranza di casi si segnala che non ci sono materiali disponibili: per la maggior parte dei criteri di qualità tali situazioni non superano il 10% e variano dall1,5% al 28,6% 16. Anche le informazioni categorizzate come incomprensibili o non pertinenti sono molto contenute: tra tutti i materiali segnalati, esse non superano il 10% in tutti i casi tranne uno nel quale si arriva al 12,7% 17. È stata osservata una relazione statisticamente significativa tra l impossibilità di reperire il materiale documentario e i bassi giudizi espressi dagli auditor 18 ; ciò conferma la validità di contenuto degli strumenti utilizzati poiché, come già ricordato, i descrittori dei livelli di qualità fanno riferimento ad evidenze empiriche che devono essere rintracciate principalmente nei documenti; l assenza di tali evidenze o la non accessibilità dei materiali è associata, nelle rubriche di valutazione, a giudizi di inadeguatezza e di mera accettabilità sullo specifico criterio di qualità. I materiali analizzati dagli auditor risultano più o meno congruenti con gli obiettivi dei singoli criteri e con le indicazioni contenute nei descrittori dei relativi livelli di qualità (es. i descrittori relativi al criterio di qualità le competenze dei corsisti sono visibilmente migliorare per i loro insegnanti dà indicazioni rispetto alla necessità di visionare i giudizi e i voti ottenuti dagli studenti nell attività curricolare). Per quanto riguarda i materiali visionati per i criteri di qualità del Piano integrato, appaiono molto congruenti i materiali considerati per esprimere i giudizi relativamente al criterio di qualità I materiali di promozione sono adeguati a raggiungere l obiettivo di promuovere la partecipazione dei destinatari previsti dal Piano integrato. Delle 474 segnalazioni di materiali pervenute, il 45,4% riguarda vari materiali di promozione (locandine, brochure, ecc.), il 13,1% si riferisce a verbali di incontri e riunioni del GOP e il 10.5% a materiali amministrativi relativi alle procedure di pubblicizzazione delle attività PON. Ciò implica che uno o più materiali di promozione sono stati visionati per quasi tutte le scuole visitate (solo in 5 casi non è stato possibile reperire documenti), i verbali sono stati visionati nel 43,7% dei casi e i materiali amministrativi in oltre un terzo delle scuole. 15 Le categorie individuate sono: 1. materiale didattico; 2. documentazione di prodotti; 3. materiale di promozione; 4. verbali; 5. materiale di programmazione; 6. materiali relativi all analisi dei bisogni; 7. registri (didattico, delle presenze); 8. relazioni sul lavoro svolto; 9. esiti della valutazione del corso; 10. strumenti della valutazione del corso; 11. esiti della valutazione dei corsisti; 12. strumenti per la valutazione dei corsisti; 13. materiali amministrativi; 14. Circolari e comunicazioni interne; 15. piano integrato, progetti dei moduli/corsi; 16. pof; 17. Piano annuale; 18. certificazioni; 19. contratti o patti formativi; 20. tabelle o registri con voti, pagelle studenti; 21. Relazione annuale DS; 22. programmazione progettazione curricolare; 23. altri materiali. 16 Si tratta del criterio di qualità Il progetto è ben integrato nell attività curricolare relativo ai progetti dell obiettivo F. 17 Si tratta del criterio di qualità La scuola utilizza in maniera ottimale le competenze dei corsisti relativo all obiettivo D. 18 Il valore del chi quadrato è inferiore a.05. Per quanto riguarda il giudizio espresso dagli auditor, si è preso in considerazione il giudizio di qualità complessivo, calcolato facendo la media tra i giudizi espressi su tutti i criteri di qualità relativi al Piano integrato e sui criteri di qualità dei progetti dell obiettivo C. 22

23 Per quanto riguarda il criterio di qualità I verbali delle riunioni del GOP documentano in maniera accurata i processi decisionali relativi alle fasi di avvio, gestione e valutazione dei progetti, sono stati visionati complessivamente 1407 verbali, circa 10 in media per scuola. La variabilità tra le scuole è però piuttosto elevata, infatti in un caso è stato possibile visionare solo 2 verbali mentre in un altro ne sono stati visionati 20. Se si considerano tutti i materiali visionati per i criteri di qualità I criteri per la selezione degli esperti sono stati definiti in maniera collegiale e coinvolgendo diverse componenti della scuola e Il GOP ha garantito l integrazione del Piano nelle attività della scuola il 46 50% è costituito da verbali. Se si fa riferimento al totale dei casi trattati (le 109 scuole) ciò significa che almeno un verbale è stato visionato per ciascuna scuola. Ciò è coerente con le finalità perseguite dai due criteri indicati che si prefiggono di verificare, in modi diversi, il grado di integrazione tra le attività PON e il funzionamento ordinario della scuola. Le evidenze di tale attività di integrazione potevano essere individuate principalmente attraverso i verbali delle riunioni del GOP, dei Dipartimenti, degli Organi collegiali, ecc. Per quanto riguarda il criterio di qualità la valutazione del Piano integrato è effettuata in maniera sistematica, tra i 410 materiali segnalati, il 20% circa si riferisce a verbali di riunioni e incontri nei quali si fa riferimento all attività del Referente per la valutazione e alla presentazione dei risultati della valutazione del Piano integrato (corrispondente al 58,5% dei casi); il 17,8% riguarda relazioni sull esito della valutazione effettuate dal Referente per la valutazione; il 12,4% è costituito dagli strumenti utilizzati per la valutazione dei corsi e il 9% dagli strumenti impiegati per la valutazione degli studenti; infine il 10% riguarda resoconti e relazioni finali prodotti da soggetti diversi (esperti, tutor di obiettivo, ecc.), corrispondenti, rispettivamente al 51,4%, 35,9%, 26,1% e 28,9% dei casi. Per i criteri di qualità relativi ai progetti afferenti i vari obiettivi, i materiali relativi ai corsi dell obiettivo C risultano maggiormente completi e congruenti rispetto a quelli degli altri obiettivi. I materiali visionati per esprimere il giudizio relativamente al criterio di qualità Il corso è ben integrato nell attività curricolare dell obiettivo C sono costituiti, per oltre un quarto, da verbali, per l 11,6% da materiali relativi alla valutazione degli studenti e per il 7,5% da materiali di programmazione, corrispondenti rispettivamente all 83,7%, 36,2% e al 23,4% dei casi. Questi materiali sono coerenti con le finalità indicate, ovvero verificare il grado di integrazione del corso nell attività curricolare attraverso l analisi delle forme di coordinamento e di condivisione di obiettivi, metodi e materiali tra esperti PON e docenti curricolari. Per lo stesso criteri di qualità relativo all obiettivo F, i materiali visionati sono soprattutto i verbali (33% dei materiali segnalati corrispondenti all 85,7% dei casi) e documentazioni di prodotti finali (11,1% dei materiali pari al 30% circa dei casi). Per questo indicatore si segnala, tuttavia, una percentuale piuttosto elevata di casi (circa il 30%) nei quali non è stato possibile visionare materiali e un elevato numero di risposte inadeguate (21,4% dei casi). In questo caso, i materiali risultano meno completi e congruenti rispetto a quelli visionati per i progetti dell obiettivo C; ciò probabilmente può dipendere dalle finalità perseguite dai progetti dell obiettivo F (promuovere il successo scolastico, le pari opportunità e l inclusione sociale) che possono essere raggiunte mediante molteplici attività, e quindi documentate in forme diverse, non sempre direttamente riconducibili agli scopi dell attività curricolare. Per valutare se le competenze dei corsisti sono migliorate grazie alla frequenza dei corsi afferenti gli obiettivi C e F, gli auditor hanno visionato prevalentemente verbali, materiali relativi alla 23

24 valutazione degli studenti, registri dei voti conseguiti dagli studenti e relazioni. Anche in questo caso i materiali indicati appaiono congruenti con gli obiettivi dell attività di valutazione relativa allo specifico criterio di qualità. Non emergono differenze significative tra i materiali segnalati per valutare i corsi degli obiettivi C e F, se non una maggiore incidenza di verbali e relazioni tra i materiali relativi ai corsi dell obiettivo F rispetto a quelli dell obiettivo C e una minore frequenza di visione dei registri dei voti per i corsi dell obiettivo F. Infine, per quanto riguarda i corsi rivolti agli insegnanti e al personale della scuola (progetti B e D) non emerge una tipologia prevalente di materiali visionati. Gli auditor hanno considerato una varietà di materiali: verbali, materiali didattici, documentazione di prodotti, materiali relativi alla valutazione del corso e dei corsisti. La molteplicità di materiali segnalati può essere ricondotta alla difficoltà di individuare una fonte privilegiata dalla quale attingere le informazioni necessarie per valutare il grado di utilizzo a scuola delle competenze acquisite dai corsisti, come richiesto dal criterio di qualità relativo ai corsi in questione. Per concludere, i dati relativi alle persone intervistate e ai materiali visionati confermano che le procedure di ricerca sono state seguite correttamente nella maggior parte dei casi. I giudizi espressi si sono basati sulla raccolta di evidenze che in molti casi, possiamo ipotizzare, risultano dalla triangolazione delle informazioni ottenute dall analisi dei documenti e dai colloqui con i soggetti variamente coinvolti nelle attività finanziate con i PON. L ipotesi della triangolazione pare confermata dal fatto che gli auditor non si sono accontentati di ascoltare opinioni ma hanno ricercato conferme nei documenti, come emerge dal rapporto statisticamente significativo tra inaccessibilità dei documenti e bassi giudizi espressi. 24