Collaborazione inter-istituzionale e ruolo dei dati amministrativi nella statistica ufficiale

Corso di formazione La collaborazione tra Comuni e Province in materia di statistica e raccolta dati Collaborazione inter-istituzionale e ruolo dei dati amministrativi nella statistica ufficiale Manlio Calzaroni (Esperto statistico, già Direttore Centrale Istat) Cremona, 6 ottobre 2017

Perché utilizzare le fonti amministrative per fini statistici Nuova domanda statistica La crescente domanda di informazioni complesse La necessità di un dettaglio sempre maggiore La necessità di ridurre il carico statistico e costi Determina Crescente utilizzo di fonti amministrative a fini statistici Definizione di un modello di trattamento dei dati appropriato Che incide anche nell organizzazione dei Sistemi statistici nazionali

Perché utilizzare le fonti amministrative per fini statistici Commissione per la Garanzia dell Informazione Statistica(PSN 2003-2005) Pur valutando..positivamente l intensificazione dell impegno [dell ISTAT/SISTAN] all utilizzazione statistica di dati di origine amministrativa, [exante] Sottolinea che.tale impegno incontra notevoli difficoltàche a giudizio della Commissione sarebbero parecchio ridottese all ISTAT/SISTAN fosse richiesto di intervenire ex-ante, con un obbligatorio parere, nella definizione di modelli e formati di raccolta delle informazioni. Un tale coordinamento consentirebbe, infatti, di migliorare di molto la qualità dei dati amministrativi, ancheai fini di una loro utilizzazione statistica (p.14).

Prospettiveda Eurostat I dati amministrativi nella statistica europea COMUNICAZIONE DELLA COMMISSIONE AL PARLAMENTO EUROPEO E AL CONSIGLIO sul metodo di produzione delle statistiche UE: una visione per il prossimo decennio Bruxelles, 10.8.2009 COM(2009) 404 definitivo

Un nuovo modello di produzione delle statistiche Ue Nuove esigenze In tutti i settori della statistica continua ad aumentare la necessità di informazioni. Con l'aumento della complessità e dell'interrelazione dei dati rilevati, crescono anche le esigenze degli utenti di disporre di dati integrati e coerenti. su tematiche che riflettono diversi fenomenidi base correlati e interdipendenti. Quindi il modello "stovepipe" in cui le statistiche nei diversi settori vengono prodotte in modo indipendente non è adatto a soddisfare le esigenze politiche di insiemi di dati integrati.

Un nuovo modello di produzione delle statistiche Ue Nuovo modo di produrre le statistiche per settori specifici non sarebbero più prodotte in modo indipendente; sarebbero invece prodotte come parti integrate in sistemi di produzione completi[impostazione delle statistiche basata sull'idea di un magazzino di dati (data warehouse)] per gruppi di statistiche. Questi sistemi sarebbero basati su una comune infrastruttura (tecnica); applicherebbero nella misura del possibile software standardizzato e utilizzerebbero tutte le fonti di dati disponibili (statistiche e, soprattutto, amministrative).

Un nuovo modello di produzione delle statistiche Ue Nuovo problemi da affrontare A tal fine occorre individuare come le informazioni da fonti diverse possono essere messe insieme e sfruttate per scopi diversi, ad es.: mediante l'eliminazione di differenze metodologiche, uniformando le classificazioni statistiche, ecc. Per ottimizzare l'efficienza gli Stati membri dovrebbero creare una rete di basi dati da cui sia possibile estrarre qualsiasi informazione pertinente. Per ottenere questi risultati: È indispensabile integrare microdati, cioè dati di prevalente origine amministrativa

Un nuovo modello di produzione delle statistiche Ue Perché i dati amministrativiperrisponderealle nuoveesigenzeinformative La richiesta di informazioni ad elevato dettaglio territoriale per analizzare in modo adeguato l evoluzione socio-economica del Paese è sempre più rilevante. Il Comune è il livello territoriale dal quale partire per costruire le aggregazioni informative di cui si ha bisogno a livello locale e nazionale. A livello locale: per la gestione e lo sviluppo del territorio ad opera delle amministrazioni territoriali, per quanto di loro competenza A livello nazionale: perchè, data la varietà e la frammentazione della realtà socio-economica italiana, anche il livello di governo nazionale non può prescindere da una conoscenza territoriale dei fenomeni

La necessità di un maggiore dettaglio territoriale Se si escludono i censimenti, le informazioni di dettaglio provinciale o comunale fornite dal SISTAN costituiscono una componente assai marginale della produzione della statistica ufficiale. Ciòacausa: dell elevato costo delle indagini per garantire una significatività a livello comunale o provinciale della complessità dei problemi metodologici e organizzativi posti dalle indagini censuarie o campionarie significative a tale livello territoriale della necessità di contenere il fastidio statistico L unica possibilità di soddisfare, con periodicità adeguata, le esigenze informative poste dell utenza risiede nell utilizzazione delle informazioni raccolte per fini amministrativi

I problemi Lo sfruttamento a fini statistici delle informazioni di fonte amministrativa nonèunaoperazioneacostozero.essorichiedeinfattidi: modificare l organizzazione del sistema di produzione statistica (strutture organizzative); istituzionalizzare e rendere efficienti i rapporti tra i soggetti della Pubblica Amministrazione(Centrale e/o Locale) titolari dell informazione; definire nuove metodologie per la soluzione dei problemi tecnici connessi alla validazione dell informazione acquisita(qualità) promuovere azioni per l integrazione delle informazioni nei sistemi informativi amministrativi e statistici(definizioni e classificazioni) Due tipi di informazioni: Informazioni prodotte dalle istanze nazionali (ad es. di origine fiscale e previdenziale) integrazione orizzontale Informazioni prodotte dalle istanze territoriali (regione, provincia, comune) integrazione orizzontale e verticale

Quale modello di trattamento Come sviluppare l utilizzo di informazioni amministrative Le linee guida da EUROSTAT identificano tre fasi: 1. foundation stage facoltà di accedere le basi informative dei vari enti pubblici detentori garantire indipendenza, imparzialità e riservatezza 2. consolidation stage utilizzare gli strumenti legislativi al fine di consolidare le fonti amministrative come risorsa nella produzione statistica (ex-post) 3. evolution stage profondo grado di cooperazione tra ente amministrativo e Sistema statistico nazionale (ex-ante)

Quale modello di trattamento L integrazione tra soggetti istituzionali produttori Il salto qualitativo = sviluppare l evolution Stage Cioè: l attività di cooperazione inter-istituzionale che interviene ex-ante rispetto alla implementazione della fonte La cooperazione deve svilupparsi in tre principali tipi di attività: 1. individuazione del set informativo da acquisire tramite la modulistica amministrativa 2. condivisione delle classificazioni e delle definizioni adottate 3. condivisione delle modalità di trattamento dell informazione (registrazione, correzione, archiviazione)

Quale percorso L integrazione tra soggetti istituzionali produttori 1. Alleanza strategica ai massimi livelli tra Pubbliche Amministrazioni; in cui individuare regole di cooperazione, con il riconoscimento dei benefici sia per fini statistici sia per fini amministrativi 2. Costituire comitati inter-istituzioneliper: mettere a fuoco gli aspetti strategici effettuare un monitoraggio delle attività svolte 3. Proporre gruppi di lavoro, con rappresentanti degli enti, su obiettivi di rilievo 4. Prevedere un ruolo specifico per gli uffici di statistica e per l Istat, vista la professionalità di cui sono portatori, ed evidenziando i benefici anche per i fini amministrativi dell ente detentore delle informazioni

Sviluppo cultura Statistica La carenza di cultura statistica incide: sulla possibilità di utilizzo statistico di tali informazioni sull efficienza nella attuazione dei fini amministrativi assenza di protocolli necessari a realizzare/gestire archivi amministrativi Spesso l archiviazione si sviluppa su iniziativa di singole con metodi e strumenti che non permettono una generalizzazione delle informazioni Evitare che: Il loro utilizzo si esaurisca all interno dell ufficio che le produce.

Sviluppo cultura Statistica Il loro utilizzo si esaurisca all interno dell ufficio che le produce. E quasi la norma che vengano costruiti sistemi informativi che non tengono conto della necessità di integrare informazioni amministrative analoghe e di cui sono titolari altre amministrazioni pubbliche: un ministero rispetto ad altro ministero e/o agli enti territoriali regioni con altre regioni regioni con province/comuni province/comuni con altre province/comuni Sviluppare sistemi informativi con non si parlano è causa di inefficienza della PA e spreco di denaro pubblico.

Sviluppo cultura Statistica Le pur limitate esperienze confermano quanto detto: le regole dettate della scienza statistica sono utili anche nei processi di gestione di informazioni amministrative per l attività dell ente e come supporto ai decisori Una affermazione forte: Le problematiche per l acquisizione di informazioni amministrative sono analoghe a quelle inerenti l acquisizione di dati statistici Le regole sviluppate dalla statistica quasi mai sono applicate nel campo amministrativo

Intervento ex-ante sulle informazioni da acquisire Impatto sull organizzazione delle amministrazioni sulle modalità con cui le informazioni vengono da queste acquisite. Difficoltà: Individuare un percorso certo per ogni informazione data la presenza di percorsi alternativi per lo stesso flusso informativo Obiettivi Evitare/Gestire la possibilità che le stesse informazioni possano essere recepite da più canali Gestire variazione nelle caratteristiche delle unità

Intervento ex-ante sulle informazioni da acquisire Una ipotesi di percorso 1. Individuare le norme che determinano l attività amministrativa 2. Analizzare le informazioni di interesse e le modalità con cui, ogni ente, le acquisisce 3. Evidenziare definizioni, classificazioni e schema concettuale che soggiace alle regole dettate per gestire le informazioni 4. Definire un insieme condiviso di modalità con cui sviluppare la procedura in questione L applicazione di tale schema determina Maggiore capacità di analisi: Per informazioni interne alla amministrazione Per informazioni analoghe provenienti da altre amministrazioni Evidenti i benefici anche per il sistema statistico.

Come cambia il modo di fare statistica i) tecniche/metodologiche ii) organizzative/culturali Impati Su quelle tecniche/metodologicheè necessario investire, e già si è iniziato, e sono sicuramente superabili Quelle organizzative/culturali sono le più difficili da superare Organizzazione Riacquisire l ottica di un lavoro interistituzionale Integrare professionalità diverse Statistiche e specifiche di settore

Come cambia il modo di fare statistica Per ottenere questi cambiamenti organizzativi è prioritaria l identificazione di esperti nelle singole strutture (ruolo degli uffici di statistica) Tale professionalità deve essere riconosciuta all interno della struttura: fondersi con la professionalità dell esperto nella materia trattata dalla procedura il personale interno deve appropriarsi del punto di vista statistico e individuare tale attività come utile alle finalità proprie della struttura e non solo come servizio per la statistica ufficiale.

Come cambia il mestiere dello statistico

Come cambia il mestiere dello statistico per un INS Cosa significa utilizzare fonti amministrative per fini statistici applicazione Universo reale applicazione Regole Statistiche Regole amm. determinano determinano Universo Statistico Universo Amministrativo 22

Come Nuove problematiche cambia per il un mestiere INS dello statistico per un INS Cosa significa utilizzare fonti amministrative per fini statistici Universo reale Regole statistiche Traduttore MetaData Regole amm. Universo Statistico Traduttore MicroData Universo Amministrativo Qualità dei traduttori determina Qualità statistica dei dati amministrativi 23

Come cambia il mestiere dello statistico per un INS Il passaggio da un dato amministrativo ad una informazione statistica è una attività ineludibile. y= f(x) Dove: x = informazione acquisita in base a norme amministrative y = informazione statistica prodotta dal dato amministrativo f = attività di«traduzione» dal dato amministrativo a quello statistico L attività di traduzione: 1. Avviene a valle dello studio dei metadati propri delle norme amministrative 2. E consta nella traduzione di questi metadati in metadati coerenti con le «norme» della statistica ufficiale (classificazioni, definizioni e universo di riferimento) La funzione di traduzione può essere più o meno complessa

Approccio Tradizionale Multiple Integrated Data Collection Come cambia il mestiere dello statistico INS Riduzione delle risorse finanziarie ed umane Riduzione del fastidio statistico Incremento, in quantità e qualità, delle informazioni statistiche richieste dagli utenti (nazionali e internazionali) Incremento della innovazione tecnologica e organizzativa Incremento di informazioni di natura differente (dichiarazioni, tracce digitali) disponibili. Nuove legislazioni, nazionali ed europee, che facilitano l accesso da parte degli INS a dati non statistici Nuovo Approccio Un bisogno informativo Un bisogno informativo Una indagine Più fonti integrate 1:1 1:n

Multiple Integrated Data Collection Come cambia il mestiere dello statistico un INS Statistical Survey Multiple Integrated Collection Time Units Units Variables Variables

MIDC: problematiche Integrazione di fonti elemento chiave Difficoltà nell integrazione fisica Le diverse fonti possono non essere disponibili in tempi diversi Possono utilizzare concetti/classificazioni non coerenti fra loro Possono utilizzare gli stessi concetti ma con visioni differenti (oggettivo/soggettivo) Contengono differenti tipologie di errori (non campionari/campionari) Possono contenere differenti livelli di qualità intrinseca Processo produttivo complesso: INDUSTRALIZZAZIONE/CENTRALIZZAZIONE

L integrazione Unità: integrazione fisica Riconoscimento dello steso oggettoin più fonti e nel tempo Variabili: integrazione logica Riconoscimento dello stesso contenuto semantico in più fonti e nel tempo Variabili: integrazione informativa Riconoscimento della coerenza sintattica fra informazioni desumibili da più fonti

La risposta Istat Sistema Integrato di Microdati - SIM Def.: Archivio di microdati amministrativi e statistici integrati a supporto dei processi di produzione statistica Obiettivi Comune pretrattamento di Dati Amministrativi(DA) Conformità con le leggi sulla confidenzialità ed il collegamento di dati Uniformità di accesso ai DA per i produttori di statistiche Evitare duplicazioni di lavoro Comune descrizione di metadati e qualità dei DA

Dimensioni della qualità dei dati da indagine e da fonti amm. La misura della qualità dei dati amministrativi considerati come input del processo statisticosi differenzia da quella dei dati di indagine output statistico. Le dimensioni della qualità definite in ambito Eurostatper i dati statistici Pertinenza, Accuratezza e attendibilità, Tempestività e puntualità, Coerenza e comparabilità, Accessibilità e chiarezza non sono direttamente caratterizzanti la qualità statistica dei dati amministrativi. Titolo intervento, nome cognome relatore Luogo, data

Dimensioni della qualità dei dati da indagine e da fonti amm. Quindi: Individuare le dimensioni specifiche della qualità a fini statistici di un dato amministrativo La Ue ha sviluppato più studi che sono confluiti in uno schema condiviso -La QualityReport Card for Adm. data La QRCA è un report condiviso a livello Ue associato ai dati amministrativi Descrive i principali aspetti della qualità dei DA La documentazione della qualità dei dati del SIM avviene facendo riferimento alla QRCA (in corso di implementazione) 1 Titolo intervento, nome cognome relatore Luogo, data

Qualità dei Quality Report Card for Adm. datasizione di DA IPERDIMENSIONE FONTE DIMENSIONE F1. Fonte dei DA informazioni necessarie per gestire il processo di acquisizione dei DA con lo scopo di valutare e migliorare la qualità dei dati acquisiti METADATI Informazioni per la valutazione della qualità a livello concettuale e la descrizione delle procedure di acquisizione DATI Indicatori di valutazione della 1 qualità dei DA forniti Titolo intervento, nome cognome relatore Luogo, data F2. Rilevanza della fonte dei DA F3. Privacy e sicurezza nella gestione dei DA F4. Modalità trasmissione dei dati F5. Relazioni e feedback con il fornitore di DA(titolare) M1. Chiarezza e interpretabilità M2. Comparabilità M3. Inalterabilità dei metadati M4. Acquisizione dei dati/trattamento D1. Controlli tecnici D2. Correlazione D3. Accuratezza D4. Completezza D5. Dimensione temporale

Qualità dei Quality Report Card for Adm. datasizione di DA Obiettivo -> automatizzare la produzione della QRCA creando interoperabilità tra le fasi del processo di acquisizione Fase di implementazione [1] Dall analisi concettuale dei dati amministrativi necessaria per il caricamento nelle tabelle Oracle del SIM si generano -Indicatori della Dimensione dei Controlli tecnici (D1) necessari per monitorare in modo tempestivo la fase di acquisizione dei dati (leggibilità dei file, conformità dei dati rispetto alla richiesta, data di acquisizione,..) - Individuazione degli oggetti/entità dell archivio (M1) su cui calcolare gli indicatori di comparabilità, integrabilità, Titolo intervento, nome cognome relatore Luogo, data

Qualità dei Quality Report Card for Adm. datasizione di DA Fase di implementazione [2] Dalla fase di Codifica degli oggetti (impresa, individuo, comune/provincia) si generano -Indicatori di Integrabilità (D2-Dati): Comparabilità degli oggetti Qualità delle variabili di linkage - Indicatori di Accuratezza (D3-Dati) Autenticità degli oggetti Accuratezza delle variabili di classificazione (codici comune e provincia) Indicatori di Completezza (D4-Dati) Copertura Valori mancanti degli identificativi Indicatori della Dimensione temporale (D5-Dati) Dinamicità degli oggetti Titolo intervento, nome cognome relatore Luogo, data

Qualità dei Quality Report Card for Adm. datasizione di DA Esempio Laureati Miur Nella fase di caricamento dei dati dei laureati del Miursi generano 5 oggetti/entità e quindi 5 tabelle : Laureato, Laurea, Corso di studi universitario, Facoltà, Università. Su cui calcolare gli indicatori. Titolo intervento, nome cognome relatore Luogo, data

Qualità dei Quality Report Card for Adm. datasizione di DA Esempio Laureati Miur La fase di Codifica dei laureati/individui consiste nell assegnazione del codice individuo, unico in tutto il sistema. Tale procedura genera Indicatori di qualità delle variabili di linkage(d2.integrabilità), indicatori di autenticità degli oggetti (D3.Accuratezza). Nel caso dell esistenza di registri statistici, si generano gli Indicatori di copertura (D4.Completezza delle unità). La registrazione della presenza dei codici individuo negli archivi amministrativi nel tempo genera Indicatori della Dinamicità degli oggetti (D5.Dimensione temporale) Titolo intervento, nome cognome relatore Luogo, data

D4. Completezza Unità Quality Report Card for AD Sottocopertura Sottocopertura per sottopopolazioni Confronto con dati ufficiali prodotti dal Miur Tipo di laurea Miurdati ufficiali Microdati Sottocopertura ESS Peer Review 2015 N N Diff Diff% Laurea Triennale (D.M. 509/99) 142.254 138.385-3.869-2,7 Laurea Triennale (D.M. 270/04) 26.484 25.939-545 -2,1 Laurea Specialistica (D.M. 509/99) 51.297 50.407-890 -1,7 Laurea Magistrale (D.M. 270/04) 35.244 34.826-418 -1,2 Laurea a Ciclo Unico (D.M. 509/99) 13.533 13.093-440 -3,3 Laurea Magistrale Ciclo Unico (D.M. 270/04) 13.346 11.367-1.979-14,8 Laurea Vecchio Ordinamento (antecedente D.M. 509/99) Corsi di diploma universitario vecchio ordinamento (antecedente D.M. 509/99) Scuole dirette a fini speciali vecchio ordinamento (antecedente D.M. 509/99) 16.647 15.588-1.059-6,4 64 55-9 -14,1 3 1-2 -66,7 Total 298.872 289.661-9.211-3,1

CONCLUSIONI QRCA e Sviluppo di sistemi integrati di microdati Gestire la qualità statistica di questi dati significa: 1. Gestione centralizzata e coordinata della acquisizione e archiviazione dei dati - Repository unico 2. Definizione di uno schema unico di analisi di qualità statistica - QRCA è un primo approccio disponibile da migliorare e adattare alla realtà investigata 3. Costruire e sviluppare indicatori specifici per le singole dimensioni individuate -da sviluppare a cura del produttore del sistema integrato di microdati Titolo intervento, nome cognome relatore Luogo, data

Conclusioni L uso dei dati amministrativi presenta vantaggi ma anche costi: sviluppo di nuove metodologie cambiamenti organizzativi Interni dell INS e del SISTAN All interno del SISTAN investimenti sono stati effettuati a partire dagli anni 90 Oggi, questo tipo di investimento non è più sufficiente. Sono indispensabili anche investimenti esterni al Sistema Statistico Nazionale Investimenti necessari a coinvolgere in azioni coordinate, come le norme consentono e auspicano, l Istat, i soggetti Sistane gli Enti titolari di informazioni. Un coordinamento istituzionale forte può consentire alla Statistica ufficiale di svolgere quelle funzioni di raccordo e coordinamento tecnico-statistico delle diverse iniziative di governo, essenziale per la propria specifica attività ma di grande utilità anche per l azione di semplificazione del rapporto Stato-cittadino-impresa.

Conclusioni La condizione per un utilizzo appropriato delle fonti amministrative e per realizzare sistemi informativi integrati è la ricerca di coordinamento tra diverse istituzioni O forse è meglio parlare di ALLEANZA tra diversi ambiti istituzionali: Tra produttore nazionale (Istat) e locali della statistica ufficiale Tra produttori nazionali e locali di informazioni amministrastive In entrambi i casi non deve essere scambiato il concetto di autonomia con quello di autarchia pena la perdita di risorse e la impossibilità di utilizzare informazioni di cui non si ha diretta titolarità ma che sono tuttavia indispensabili per il governo del territorio

GRAZIE PER L ATTENZIONE manlio.calzaroni@gmail.com