strumenti Strumenti e tecniche di Business Intelligence per valutare l attendibilità delle stime campionarie di indagini complesse

Transcript

1 ISSN Strumenti e tecniche i Business Intelligence per valutare l attenibilità elle stime campionarie i inagini complesse Strumento i ricerca a cura i Alessanro Martini strumenti

2 L Istituto per lo sviluppo ella formazione professionale ei lavoratori (Isfol) è un ente pubblico istituito con DPR n. 478 el 30 giugno Nasce per accompagnare la prima fase i ecentramento regionale elle competenze in materia i formazione professionale, coificata nella legge n. 845 el icembre 1978; al 1999 viene incluso tra gli enti pubblici i ricerca con DL n. 419 el 29/10/1999. L attuale Statuto, approvato con DPCM el 19 marzo 2003, sancisce per l Istituto competenze nel campo elle politiche formative, el lavoro e sociali. L'Isfol svolge e promuove attività i stuio, ricerca, sperimentazione, ocumentazione, valutazione, informazione, consulenza e assistenza tecnica per lo sviluppo ella formazione professionale, elle politiche sociali e el lavoro. Contribuisce al miglioramento elle risorse umane, alla crescita ell occupazione, all inclusione sociale e allo sviluppo sociale. È sottoposto alla vigilanza el Ministero el lavoro, ella salute e elle politiche sociali al quale fornisce supporto tecnico-scientifico e opera in collaborazione con il Ministero ell'istruzione, ell'università e ella ricerca, la Presienza el Consiglio ei ministri, le Regioni, le Parti sociali, l Unione europea e altri Organismi internazionali. Strumenti Isfol è la collana elettronica che raccoglie tutti i contributi che l'isfol realizza con specifiche finalità operative, come strumentazione a isposizione egli operatori e ei non specialisti, anche nell'ambito i committenze esterne vincolanti. La collana ha l'obiettivo i renere isponibili non solo particolari elaborati teorici per la comunità scientifica ma anche una vasta tipologia i prootti (quali kit, manuali, ispositivi operativi, opuscoli a fini ivulgativi, atti i convegni, ecc.) per un target i utenti più ampio. La Collana Strumenti Isfol è curata a Clauio Bensi Responsabile Servizio comunicazione web e multimeiale Coorinamento eitoriale: Paola Piras, Aurelia Tirelli, Matile Tobia Eiting e grafica: Feerica Carboni Contatti: eitoriaigitale@isfol.it strumenti

3 Inice Introuzione p. 1 1 L archiettura i Business Intelligence p. 3 2 Il contesto applicativo p Le metoologie per il calcolo ell attenibilità elle stime i inagini campionarie complesse p. 6 I ati, i metaati e le proceure p. 10 Le inagini campionarie p. 16 Conclusioni e prossimi sviluppi p. 20 Bibliografia p. 21 strumenti

4 Introuzione L insieme i tecnologie e applicazioni i Business Intelligence (i seguito BI) è il contesto operativo meiante il quale si intene non solo potenziare, al punto i vista infrastrutturale, la componente igitale a supporto ei processi i prouzione statistica, ma altresì sostenere il processo i trasformazione ei ati in conoscenza, attraverso elaborazioni che ne garantiscano la qualità e l affiabilità, conoscenza che può quini essere conivisa e iventare un patrimonio comune. L utilizzo i strumenti e tecniche i BI (ata-warehouse, Olap, Data mining, web application) è in grao i eterminare un miglioramento per alcuni versi immeiato i alcune imensioni secono le quali può essere eclinata la qualità ei ati statistici. Tali imensioni sono: - l'accessibilità, efinita come semplicità per l'utente i reperire e acquisire le informazioni necessarie - la tempestività, connessa all intervallo i tempo tra il perioo a cui i ati si riferiscono e il momento in cui sono isponibili. In questo lavoro viene esposto l utilizzo i metoi e tecniche tipiche ella BI al fine i efinire strumenti generalizzati utili al presiio i aspetti peculiari ella qualità statistica per stime provenienti a inagini campionarie. Nello specifico, gli aspetti presiiati sono: - l accuratezza, ovvero lo scostamento el valore rilevato el parametro i interesse rispetto a quello vero, non osservato - l interpretabilità, efinita come la capacità ell informazione statistica i essere compresa e utilizzata - l aeguatezza, intesa come la capacità el ato o el sistema i informazioni statistiche i soisfare i bisogni conoscitivi ell'utente. Tale progetto è stato avviato principalmente allo scopo i valorizzare le fonti informative in possesso ell Isfol, ossia i favorirne la iffusione interna miglioranone la fruibilità e favoreno la loro integrazione. I sistemi acquisiti consentono l accesso a parte elle aree i ricerca ell Istituto a un comune set i ati valiati - i provenienza sia interna che esterna - gestito centralmente in un server eicato, meiante il quale è possibile selezionare e visualizzare inamicamente le informazioni attraverso una navigazione ipermeiale. L integrazione ei metaati applicativi 1

5 informazioni che consentono le operazioni i navigazione - con un set i metaati metoologici informazioni erivanti all analisi ella varianza elle stime - ha reso possibile la generalizzazione i metoologie consoliate per la valutazione ell accuratezza elle stime i inagini campionarie. Le inagini campionarie su vasta scala vengono progettate e realizzate per risponere a obiettivi conoscitivi ben efiniti già nella fase i progettazione, che verranno successivamente perseguiti attraverso precise scelte metoologiche. Queste ultime rappresentano un patrimonio informativo sui ati, ossia costituiscono un insieme i metaati a cui è necessario fare costantemente riferimento al fine i utilizzare correttamente i risultati che le inagini forniscono. In particolare, nella fase i analisi elle stime è necessario in prima istanza far riferimento alle informazioni riguaranti le specifiche el piano i campionamento sottostante, e successivamente valutare con attenzione l accuratezza ella stime stesse meiante gli errori campionari, sia quelli efiniti in fase i progettazione, sia a quelli calcolati ex-post attraverso l analisi elle varianza elle stime. La valutazione ella precisione elle stime prootte è un fattore che concorre a aumentare in moo consierevole l interpretabilità elle stime stesse, e allo stesso tempo consente all utente i efinire il grao i aeguatezza elle informazioni acquisite rispetto ai propri fabbisogni conoscitivi. Il raggiungimento i questo obiettivo, attraverso moalità i lavoro user-frienly, può contribuire a promuovere un linguaggio comune e alla iffusione i una cultura statistica all interno i un istituto i ricerca caratterizzato a una notevole eterogeneità i approcci metoologici e alla presenza i competenze e sensibilità molto iverse. 2

6 1 - L architettura i Business Intelligence Nella letteratura la business intelligence viene citata come il processo i "trasformazione i ati e informazioni in conoscenza", efinizione che in qualche moo evoca i fonamenti stessi ella statistica e in particolare i principi alla base el ruolo istituzionale ella statistica ufficiale. Se nell ambito elle imprese i processi i raccolta, analisi e istribuzione è principalmente finalizzato all acquisizione i un vantaggio competitivo, nel contesto el nostro lavoro è in particolare la struttura tecnologica ella business intelligence a avere un ruolo ecisivo per il raggiungimento egli obiettivi prefissati, riconucibili al miglioramento ella qualità statistica ei ati. Un primo obiettivo perseguito è stato quello i migliorare l accessibilità a parte elle aree i ricerca a un comune set i ati valiati, i provenienza sia interna che esterna, affinché vaa a costituire il patrimonio informativo comune ell Istituto. La gestione centralizzata attraverso un server eicato consente i profilare gli utenti in moo a aver traccia i chi ha accesso a cosa e poter garantire alle aree i ricerca la necessaria autonomia nella gestione e elaborazione ei ati non ancora valiati, a esempio reneno non accessibili ati personali e/o i natura sensibile a soggetti non incaricati el loro trattamento. Analogamente, ati elementari valiati i provenienza esterna, acquisiti a esempio al Servizio Statistico Isfol meiante comunicazione ati all interno el Sistan, possono essere conivisi con gruppi i ricerca interni e singoli ricercatori incaricati el loro trattamento, efineno anche il livello i possibile interazione (creazione, lettura, scrittura, eliminazione) con il patrimonio i risorse isponibili in termini i ati, metaati, proceure i elaborazione, etc. Attraverso la gestione centralizzata è possibile uniformare funzioni gestionali come l estrazione, il caricamento e la trasformazione ei ati, che in ambienti client evono essere necessariamente ripetute con conseguenti possibilità i commettere errori. Si evita così che a partire a banche ati comuni elaborazioni simili possano generare risultati anche significativamente iversi. La possibilità i effettuare self-service reporting allarga significativamente la platea i utilizzatori el patrimonio informativo comune, ano la possibilità i ottenere l informazione necessaria a iversi profili i utilizzatori, a chi ha poca familiarità con strumenti i elaborazione ati o non è in grao i scrivere coice a utenti evoluti che possono utilizzare anche metoologie avanzate i analisi. 3

7 Poteno contare sulla correttezza elle proceure i acquisizione ei ati centralizzate, quini su ati consistenti e resi isponibili, l utente può concentrare la propria attenzione sulle analisi e sui risultati, evitano i over replicare processi i caricamento e trasformazioni ei ati spesso onerose e potenzialmente soggette a ivenire fonte i errori. Anche gli strumenti i accesso ai ati rispecchiano le iverse necessità interazione con le strutture ati, correlate al ruolo e alle esigenze elle varie tipologie i utente e costituiscono un sistema scalato i moalità i accesso al sistema e i utilizzo elle risorse conivise. Sono isponibili sia interfacce i acceso web-base, che non richieono istallazione e consentono la navigazione ipermeiale ei ati attraverso il browser alle applicazioni i gestione, sia interfacce a-in, che integrano le funzionalità ei prootti Microsoft per l office automation, wor o excel a esempio. Tali strumenti consentono i effettuare analisi avanzate attraverso la connessione al server e i ricevere i risultati irettamente all interno el ocumento su cui si sta lavorano. I gruppi i lavoro che hanno maggiori necessità i sviluppo i applicazioni e i gestione ei ati possono connettersi attraverso applicativi maggiormente orientati a un interazione forte con i ati e il sistema, che va alle funzionalità i ETL (estrazione, trasformazione, caricamento ) alla moellazione elle strutture ati e alla efinizione i progetti i analisi. A livello centralizzato, applicativi analoghi consentono l amministrazione ell intero sistema attraverso la efinizione e la gestione ell insieme i metaati necessari a costituire il patrimonio i risorse coniviso, reso consistente attraverso efinizioni univoche lungo tutti i sistemi coinvolti. 2 - Il contesto applicativo Se l aozione i un sistema i BI ha implicato in maniera iretta un aumento ell accessibilità al patrimonio informativo, si è comunque ritenuto opportuno bilanciare il maggior grao i accessibilità ai ati elementari con funzionalità in grao i costituire un efficace presiio i alcune imensioni critiche ella qualità ei ati. Esigenza che iventa particolarmente stringente consierano alcune peculiarità el progetto: molte fonti i ati comunemente utilizzate nell attività istituzionale sono costituite a ati elementari provenienti a inagini campionarie, svolte a aree i ricerca interne all Istituto che, una volta ultimato il processo i valiazione, possono essere conivise con una platea più vasta i 4

8 analisti e ricercatori ell Isfol. Analogamente vengono resi isponibili ati elementari provenienti a inagini conotte a altri istituti i ricerca nell ambito ella statistica ufficiale. In quest ultimo caso si tratta i ati acquisiti a fini i ricerca attraverso l istituto ella comunicazione ati tra enti appartenenti al Sistan e resi accessibili ai soli incaricati el loro trattamento. Attraverso tale istituto si ha la possibilità i acceere ai ati nella forma i maggior ettaglio possibile, nella completa assenza i qualsiasi strumento i guia che garantisca la coerenza ell esplorazione, a parte le note metoologiche e la ocumentazione allegata. L accesso e l utilizzo i tali fonti i ati eve tener conto innanzitutto i vincoli legati sia alla tutela ella riservatezza ei risponenti sia i natura più specificatamente metoologica. Per quanto riguara il problema ella tutela ella privacy, il rilascio ei file iniviuali prevee in ogni caso l applicazione a monte i tecniche per la protezione ei ati che rene i fatto impossibile l ientificazione elle unità risponenti attraverso l uso i mezzi ragionevoli. A ogni buon conto è chiaro come un analisi troppo ettagliata tena a rivelare le caratteristiche ei singoli risponenti, pertanto è necessario rispettare alcune soglie i sicurezza per poter iffonere i risultati. L altro aspetto, peculiare elle inagini campionarie, è la necessità imprescinibile i analizzare i risultati elle inagini, tipicamente le stime che si ottengono, teneno sotto stretto controllo aspetti qualitativi fonamentali come: - l accuratezza, ovvero la vicinanza el valore rilevato al corrisponente valore vero, non osservato, el parametro i interesse - l aeguatezza, intesa come la capacità el ato o el sistema i informazioni statistiche i soisfare i bisogni conoscitivi ell'utente - l interpretabilità, ossia la capacità ell informazione statistica i essere correttamente interpretata e utilizzata. Nel caso elle inagini campionarie non è raro, analizzano in maniera sommaria i contenuti informativi el set i ati isponibili, iniviuare la possibilità i fare elaborazioni particolarmente interessanti e ottenere a queste risultati in linea con le ipotesi prefigurate. Tali risultati vanno invece analizzati con pruenza e spirito critico, per valutare quanto siano coerenti con i livelli i ettaglio compatibili con le specifiche metoologiche e con i limiti connessi al piano i campionamento sottostante. Aottano classificazioni particolarmente ettagliate o specificano 5

9 l analisi per sottopopolazioni con scarsa numerosità, i ati ivengono presto non significativi, ossia affetti a un errore campionario talmente elevato a renerli non utilizzabili. In tal caso l utente eve necessariamente riflettere sull aeguatezza ella fonte a risponere al fabbisogno informativo che sta cercano i soisfare. Il ruolo ei metaati, in particolare ei risultati ell analisi ella varianza elle stime, gioca un ruolo fonamentale nel controllo i queste imensioni qualitative, in quanto tali importanti informazioni i contesto, normalmente iffuse insieme ai set i ati elementari o nelle pubblicazioni, consentono i valutare nel ettaglio la bontà ei risultati elle analisi effettuate e la loro conformità con le specifiche metoologiche ell inagine. Il loro utilizzo non è però in generale semplice e immeiato: la forma i più semplice utilizzo in cui si possono presentare è quella i fogli elettronici allegati ai CD che contengono i ati o prospetti e tavole riassuntive contenuti nelle appenici metoologiche. Utilizzano i fogli elettronici è possibile, una volta compreso il meccanismo el calcolo e chiariti quali siano gli elementi a moificare all interno el foglio elettronico, valutare la precisione i una singola stima per volta, insereno il valore in una cella opportuna in corrisponenza el ominio pianificato interesse. Diversamente è necessario far riferimento ai prospetti pubblicati nelle pubblicazioni cartacee o elettroniche, che non consentono alcuna moifica e richieono la preisposizione i fogli i calcolo o i effettuare le necessarie approssimazioni. 3 - Le metoologie per il calcolo ell attenibilità elle stime i inagini campionarie complesse Per poter correttamente interpretare i risultati i un inagine campionaria è necessario valutare le stime puntuali congiuntamente a una valutazione ell accuratezza elle stime stesse, cioè una misura ella ispersione elle stime attorno al valore vero el parametro ella popolazione che si intene stimare. È pratica comune egli istituti che svolgono inagini campionarie nell ambito el Sistema Statistico Nazionale iffonere insieme alle stime puntuali prootte alle inagini elle inicazioni sulla loro accuratezza, in moo che l utilizzatore possa valutare la vicinanza el valore rilevato al corrisponente valore vero, non osservato, el parametro i interesse. 6

10 Il calcolo ell errore campionario è un operazione agevole solo nel caso ei più semplici isegni campionari, le inagini campionarie svolte nell ambito ella statistica ufficiale sono invece generalmente caratterizzate a isegni campionari complessi, a ue o più stai, con stratificazione elle unità statistiche in cui vengono utilizzati stimatori non lineari ei ati campionari. Il rilevante numero i stime prootte poi, vista l articolazione ei questionari somministrati, rene tale operazione i certo non banale. Nelle pubblicazioni non è quini riportato per ciascuna stima il corrisponente errore campionario, per iverse ragioni. Innanzitutto la normativa vigente in materia i tutela ella riservatezza ei ati non consente la fornitura ei coici territoriali alla base ella efinizione ei isegni campionari i molte inagini effettuate sia all Istat che a altri enti appartenenti al SISTAN. In secono luogo il numero elevato i stime che possono essere prootte a partire ai ati elementari comporterebbe un elevato carico i lavoro per calcolare esplicitamente l errore campionario per ciascuna i esse. Oltre a ciò aumenterebbe consierevolmente la complessità elle tavole statistiche che ovrebbero essere fornite, risultano i ifficile comprensione per l utente finale. In generale quini non è possibile avere valutazioni ell errore campionario sia per stime pubblicate sia per quelle che possono essere ricavate agli utenti attraverso elaborazioni ei ati elementari, che con sempre maggiore frequenza vengono resi isponibili a fini i ricerca e i stuio. Per questi motivi solitamente le pubblicazioni in cui sono iffuse stime campionarie o le inicazioni metoologiche allegate ai file i ati elementari riportano, sotto varie forme, i risultati ell analisi ella varianza campionaria in moo a consentire all utente finale i valutare l accuratezza elle stime prootte. Spesso si ricorre a una presentazione sintetica elle stime egli errori campionari che consente i eterminare l attenibilità elle stime ricorreno all utilizzo i moelli regressivi, che mettono in relazione il valore elle stime con il relativo errore campionario. L approccio utilizzato per la efinizione i questi moelli è iverso a secona che si tratti i stime relative a frequenze i variabili qualitative o stime i totali relativi a variabili quantitative. Nel primo caso è possibile utilizzare moelli che hanno un fonamento teorico secono il quale l errore campionario è strettamente legato alla imensione elle stime: a quelle più alte, basate 7

11 sull osservazione i una caratteristica comune a un maggior numero i unità, corrisponono errori campionari più bassi e viceversa. Nel caso i stime i totali i variabili quantitative la efinizione ei moelli interpolazione costituisce un problema i notevole complessità in quanto non è stata elaborata una aeguata base teorica a supporto, pertanto le soluzioni finora aottate si basano su un approccio sostanzialmente empirico, in cui i moelli regressivi preisposti vengono valutati in base al criterio i massimizzare l inice i eterminazione R 2. Nel presente lavoro si fa riferimento esclusivamente al caso ella valutazione ell attenibilità i stime i frequenze assolute o relative, sia per le ragioni appena espresse riguaro il quaro teorico non perfettamente elineato per le stime i variabili quantitative, che ne rene ifficile l estensione ei risultati, sia consierano che nella maggior parte ei casi le inagini campionarie svolte sulle famiglie e gli iniviui, quelle i maggior interesse per l attività i ricerca svolta nell ambito ell Istituto, forniscono prevalentemente stime i frequenze associate a variabili qualitative. In questo specifico ambito il moello i riferimento è costituito a: log ˆ 2 ( Yˆ) a blog( Yˆ) =1, D (1) Attraverso tali moelli viene posta una relazione funzionale tra la stima Yˆ e il relativo errore campionario ( Yˆ), ove sta a inicare il corrisponente ominio i stima pianificato. Risulta facile ricavare per una qualsiasi stima Yˆ, ottenuta rispetto a un ominio pianificato, la corrisponente stima ell errore campionario relativo, applicano i coefficienti a e b stimati nel relativo moello: ˆ ( Yˆ) exp a b log( Y ˆ ) (2) In questo moo è relativamente agevole valutare la precisione elle stime ottenute, una volta stimati i moelli (1) istintamente per ciascun ominio pianificato efinito nella fase i progettazione ell inagine. 8

12 La stima ell errore campionario relativo ( Yˆ) fornisce la possibilità i calcolare un intervallo i confienza per la stima stessa ovvero gli estremi entro i quali il parametro è contenuto con una certa probabilità. Fissano il livello i confienza α, i limiti superiore e inferiore possono essere eterminati attraverso: Yˆ * Yˆ * ˆ( Yˆ); Yˆ z * Yˆ * ˆ( ( z1 / 2 1 / 2 Y ˆ)) (3) Utilizzano i prospetti pubblicati nelle appenici metoologiche è possibile, in alternativa, utilizzare ue ulteriori metoi: il primo consiste nell approssimare l errore campionario ˆ ( Yˆ) relativo alla stima i interesse Yˆ con l errore relativo corrisponente al livello i stima che più si avvicina al valore ella stima tra quelle pubblicate nei prospetti sintetici. Con il secono metoo, l'errore campionario ella stima espressione: Yˆ, si ricava meiante la seguente Yˆ k 1 k ˆ k ˆ k ˆ ( Yˆ) = ˆ k ˆ( Y ) ˆ( Y ) ˆ( ) ˆ ˆ k Y Y ˆ k ˆ k 1 Y (4) Y Y ove e Yˆ sono i valori elle stime entro i quali è compresa la stima interesse Yˆ, mentre ˆ k 1 ) e ˆ k ˆ ( Y ˆ ( Y ) sono i corrisponenti errori relativi presenti nel prospetto. La metoologia escritta resta comunque valia in caso si voglia stimare una frequenza relativa o un qualsiasi inicatore riferiti all intera popolazione i riferimento el ominio pianificato, o anche a un livello i isaggregazione in cui il totale ella popolazione corrispona a uno ei vincoli consierati nella fase i poststratificazione el campione. In tali casi il enominatore, ovvero il totale ella popolazione, non viene consierato affetto a errore campionario in quanto costituisce un valore noto. Nel caso si voglia calcolare l errore relativo in una sottopopolazione iversa, a esempio la popolazione che presenta una certa moalità i una variabile i interesse, è necessario ricorrere a una approssimazione. Infatti, la stima i una frequenza relativa o i un qualunque inicatore 9

13 riferita a un sottogruppo i persone, è ottenibile come rapporto tra ue quantità entrambe stimate: Nˆ Dˆ ˆ (5) R Una valutazione approssimata ell errore relativo ella stima Rˆ, sotto l ipotesi i incorrelazione tra Nˆ e Dˆ, si può ottenere come: ( ˆ 2 R) ˆ ( Nˆ ) ˆ ( Dˆ ) (6) 2 ˆ 4 - I ati, i metaati e le proceure Il sistema i Business Intelligence si basa essenzialmente su un sistema i metaati centralizzato che garantisce a un lato la consistenza elle informazioni e all altro consente le funzionalità i base: gestione egli utenti e ei contenuti, navigazione ipermeiale, etc. Tali metaati applicativi sono stati integrati con metaati i tipo metoologico, necessari a sviluppare le funzionalità i attenibilità elle stime campionarie, in maniera tale che il processo i elaborazione ei ati e i stima ell errore campionario sia trasparente per l utente finale, che può quini concentrarsi sull analisi ei risultati. I metaati metoologici tengono traccia per ciascuna inagine i alcune efinizioni i base el isegno campionario, in primo luogo ei omini i stima pianificati, ovvero le sottopopolazioni in cui la cui numerosità campionaria e il relativo livello i errore campionario sono efiniti a priori in fase i progettazione, ma altresì ella proceura i post-stratificazione, riportano i valori i ciascun totale noto che è stato consierato, nonché i tutti i vincoli impliciti a loro volta efiniti a un livello gerarchico superiore. A titolo esemplificativo, un vincolo sulla popolazione resiente efinito a livello provinciale stabilisce automaticamente un analogo vincolo per i livelli territoriali superiori (regionale, ripartizioni geografiche e livello nazionale). Il vincolo sulla popolazione resiente in famiglia a livello provinciale per sesso e classi i età implica che tutte le istribuzioni marginali costituiscono ei totali noti che evono essere consierati. Analogamente sono stati integrati nel ata warehouse i risultati ei moelli i interpolazione egli errori campionari, che consentono i efinire per ciascuna stima e per ciascun ominio pianificato una stima ell errore relativo campionario. 10

14 Figura 1 Schema ei metaati Il set i metaati comprene, inoltre, una formalizzazione generale egli inicatori costituiti a un rapporto tra stime che consenta la istinzione tra il numeratore e il enominatore, necessaria per poter calcolare in moo analitico sia le stime sia le singole componenti ell errore relativo campionario in base alla (5). È stata inoltre stata efinita una classificazione che consente i far riferimento, al livello più generale i classificazione, alla corretta metoologia i calcolo ell errore, attraverso i metoi escritti nel paragrafo 3. Si tiene così conto el fatto che, almeno al livello più alto ella struttura gerarchica ei omini pianificati, nella maggior parte ei casi il livello nazionale, il enominatore sia costituito a un totale noto o a una stima. Tale istinzione consente i far riferimento per il calcolo ell errore relativo campionario, nel caso non si consierino ulteriori classificazioni o siano applicati filtri, rispettivamente alla (2) nel primo caso e alla (6) nel caso in cui il rapporto sia costituito a stime sia al numeratore che al enominatore. 11

15 Le proceure sviluppate sono in grao i iscriminare, nel corso ell elaborazione, il metoo corretto i calcolo ella stima ell errore campionario in base alle scelte ell utente, ai risultati che si eterminano, in base a una continua interazione e confronto con i metaati immagazzinati nel sistema. La scelta el metoo i stima corretto, infatti, non è sempre univoca, anche rispetto a uno specifico inicatore: si può consierare a titolo esemplificativo il caso el tasso i attività, efinito come rapporto tra le persone appartenenti alle forze i lavoro e la corrisponente popolazione i riferimento: il enominatore risulta nel caso più generale costituito a un totale noto, quini non affetto a errore campionario, pertanto la formula a utilizzare per eterminare il relativo errore campionario sarà la (2). I valori utilizzati alla proceura nel caso ell Inagine sulle Forze i Lavoro sono costituiti ai totali noti consierati nella proceura i poststratificazione per il calcolo elle stime campionarie ell inagine, esunti a fonte anagrafica: popolazione resiente in famiglia a livello regionale per sesso e 14 classi i età popolazione resiente in famiglia a livello provinciale per sesso e 5 classi i età popolazione resiente in famiglia nei 12 grani comuni per sesso e 5 classi i età cittaini stranieri resienti in famiglia per regione, sesso e nazionalità 1. L utente però potrebbe essere interessato a una iversa classificazione o all analisi i tale inicatore rispetto a una specifica sottopopolazione. In questo caso la proceura è in grao i valutare se il filtro applicato o la classificazione richiesta non facciano più coinciere il totale ella popolazione al enominatore con il relativo totale noto. Nel caso ciò accaa, la proceura procee al calcolo ell errore attraverso la formula (6), in quanto anche il enominatore risulta essere una stima, i cui va quini consierato anche il relativo errore. A esempio, analizzano il tasso i attività per regione e classe i età quinquennale, il enominatore è costituito a un totale noto utilizzato nella proceura i poststratificazione. Tuttavia, nel caso che l utente efinisse un filtro, a esempio restringeno l analisi ai soli iniviui coniugati, il valore al enominatore iverrebbe a sua volta un valore stimato (il numero i iniviui coniugati), reneno quini necessario il calcolo ell errore relativo attraverso l approssimazione (5). 1 Il vincolo non è stato attualmente preso in consierazione in quanto non applicato uniformemente in tutte le regioni. 12

16 Nel caso i inicatori costruiti come rapporti i quantità entrambi stimati, la scelta el metoo i calcolo è in ogni caso riconucibile alla (6). A quest ultima tipologia appartiene, a esempio, la stima el tasso i isoccupazione, calcolato nell Inagine Forze i Lavoro, poiché è ottenuto come rapporto tra ue aggregati, le persone in cerca i occupazione e le forze i lavoro, entrambi ottenuti a stime. Figura 2 La specificazione ei parametri Le proceure sono state sviluppate in linguaggio SAS macro, mentre il sistema BI i SAS provvee alla costruzione elle interfacce grafiche per la selezione ei parametri a parte ell utente, utilizzano la tecnologia JSP. Le interfacce quini possono essere richiamate nei vari ambienti i interazione con il server centrale: le componenti web-intranet, gli ambienti i sviluppo SAS e i office automation i Microsoft Office. Le scelte fatte all utente consentono l estrazione alla base i ati in cui sono state organizzate le informazioni elle istanze necessarie all elaborazione attraverso query SQl (Stucture Query 13

17 Language) generalizzate, per la manipolazione ei ati e la prouzione i statistiche i sintesi si utilizzano ata step SAS, proc TABULATE per efinire le tabulazione finali. Il iagramma i flusso ell algoritmo può essere sintetizzato nei seguenti passi logici: Costruzione elle stime Estrazione elle occorrenze ei parametri Confronto con i totali noti Stima ell errore campionario relativo Calcolo ell intervallo i confienza Tabulazione ei risultati. Delle fasi escritte, solo il primo passo richiee tempi i elaborazione i una certa entità, in quanto le stime vengono costruite irettamente sul file ei ati elementari, mentre le altre operazione avvengono manipolano le tabelle ei metaati o i ati ormai in forma aggregata, i conseguenza i tempi i esecuzione risultano minimi. Complessivamente la urata ell elaborazione è i alcuni seconi, pertanto non è necessaria una invocazione asincrona elle proceure e l utente può rimanere in attesa ella esecuzione remota e ella prouzione egli output. Il risultato elle elaborazioni è costituito a una tabella o più tabelle in cui sono riportate le stime in valore assoluto o in percentuale richieste all utente unitamente agli estremi ell intervallo i confienza costruito con un livello i confienza el 95%, o el 99% se richiesto, e una valutazione ell attenibilità ella stima espressa in funzione ell errore campionario relativo stimato. Per quest ultimo elemento è stato efinito un formato grafico i presentazione, in moo a renere semplice e intuitiva la sua interpretazione anche a analisti con conoscenze meno approfonite elle metoologie campionarie. La classificazione aottata si articola in cinque classi i valori ell errore relativo campionario, cui corrisponono rispettivamente a una a cinque stelle: Inferiore al 5% Cinque Stelle ***** 5% - 10% Quattro Stelle **** 10% -15% Tre Stelle *** 15% - 20% Due Stelle ** Oltre il 20% Una Stella * 14

18 Figura 3 I risultati ella proceura Le proceure sono state progettate e sviluppate con l obiettivo i costituire un supporto per gli analisti e i ricercatori con particolare riguaro alla fase i valiazione elle stime, pertanto il sistema non prevee, allo stato attuale ello sviluppo, la efinizione i percorsi preefiniti per la navigazione ei ati e la loro elaborazione. Un sistema guiato i consultazione ei ati, basato su una efinizione preventiva i alcuni inicatori e elle relative imensioni ritenute valie, risulterebbe in molti casi poco utile in tale ambito. Questo aspetto, che rappresenta un forte vincolo ella possibilità i utilizzare comuni software i ata warehouse nell analisi i stime campionarie, è nel nostro caso meiato alle funzionalità i valutazione ella precisione elle stime. Le informazioni fornite all utente sull accuratezza elle stime ottenute migliora sensibilmente il grao i interpretabilità ei ati e, in un ambiente che non prevee percorsi preefiniti i navigazione, costituisce un controllo efficace ell attenibilità ell informazione isponibile. 15

19 Tali funzionalità non esauriscono peraltro le verifiche necessarie a valiare un elaborazione e renerla ionea a essere iffusa, a esempio resta a verificare se l elaborazione non violi le norme relative alla tutela ella riservatezza elle unità risponenti. 5 - Le inagini campionarie consierate Il lavoro è stato progettato e sviluppato in primo luogo per la Rilevazione Campionaria sulle Forze i Lavoro ell Istituto Nazionale i Statistica, e quini esteso sia a altre inagini conotte all Isfol, sia a altre inagini i cui ati sono stati acquisiti al servizio statistico ell Isfol attraverso protocolli i comunicazione ei ati in ambito SISTAN e utilizzati nell ambito ell attività i ricerca istituzionale. Consierano inoltre la complessità ell impianto metoologico e organizzativo ell inagine Istat Forze i Lavoro, si ritiene utile far riferimento a questo contesto applicativo negli esempi che seguono per poi analizzare in ettaglio le specificità elle altre rilevazioni consierate, nelle quali ifficilmente si raggiunge lo stesso grao i complessità el isegno campionario, i articolazione ei omini pianificati e i ampiezza elle informazioni ausiliarie utilizzate per la costruzione elle stime. Ciò ha eterminato nelle applicazioni successive notevoli semplificazioni sia elle proceure sia elle strutture informative preisposte. La Rilevazione Campionaria sulle Forze i Lavoro costituisce la principale fonte statistica sul mercato el lavoro italiano e la più ampia inagine campionaria svolta in Italia. In ettaglio gli aggregati che l inagine ha lo scopo i stimare, sia su base trimestrale che in meia annuale, sono costituiti a: occupati, isoccupati e inattivi, in base alle efinizioni suggerite all International Labour Office e recepite ai Regolamenti comunitari. Da tale fonte vengono quini fornite le stime ufficiali egli occupati e elle persone in cerca i lavoro. Il suo utilizzo per analisi i tipo sia congiunturale sia strutturale è quanto mai ampio: l evoluzione ei principali inicatori el mercato el lavoro può essere stuiata in moo isaggregato a livello territoriale, settoriale e per le principali caratteristiche socio-emografiche ella popolazione. La capacità i fornire inoltre informazioni riguaranti la partecipazione a attività istruzione e/o i formazione professionale, isaggregate in base alla conizione professionale, al sesso, all età e al territorio rene eviente quanto questa fonte informativa sia rilevante per gli ambiti i ricerca e i 16

20 attività istituzionale ell Istituto e come questa abbia costituito il contesto applicativo ieale per la realizzazione ella prima applicazione elle proceure. I ati ell inagine Forze i Lavoro trattano essenzialmente mutabili statistiche che possono essere rappresentate attraverso variabili qualitative, per cui i moelli per la valutazione ell attenibilità elle stime prootte fanno riferimento essenzialmente a stime i frequenze assolute; per le poche variabili quantitative rilevate all inagine, es. le ore lavorate, vengono calcolati gli errori campionari con altri moelli, che non vengono regolarmente iffusi. Unitamente ai ati elementari, l ISTAT iffone alcuni prospetti necessari a valutare l attenibilità elle stime, attraverso tabelle in cui sono riportati valori esemplificativi o fogli i calcolo con i quali è possibile eterminare per singoli valori elle stime i relativi errori e intervalli, segueno la metoologia che verrà escritta nel prossimo paragrafo. La prima inagine svolta all Isfol per la quale è stato esteso lo sviluppo elle proceure per il calcolo ell attenibilità elle stime è la rilevazione Isfol-PLUS, inagine conotta all Area Ricerche sui Sistemi el Lavoro. In seguito le proceure sono state sviluppate sia per l inagine Gli esiti occupazionali ell'alta formazione nel Mezzogiorno, svolta all area all Area Valutazione Politiche Risorse Umane ell Isfol, sia per un inagine Istat i particolare rilevanza per l attività istituzionale ell Isfol: l inagine Istat Multiscopo Cultura, tempo libero e nuove tecnologie, che nell eizione el 2006 contiene il moulo armonizzato a livello europeo Ault Eucation Survey specifico sulla partecipazione egli aulti alla formazione. Per un analisi ettagliata ella metoologia con cui è stato sviluppato il isegno campionario si rimana alle note metoologiche ei rapporti i ricerca ei progetti, in cui si possono cogliere e approfonire tutti gli elementi i specificità elle varie inagini. Nel processo i elaborazione e trattamento ei ati si possono però ientificare alcune attività tipicamente svolte in inagini campionarie su vasta scala tra cui l analisi ella varianza elle stime, la costruzione egli errori campionari nonché la presentazione sintetica egli errori campionari ricorreno a moelli i regressione, che quini ha consentito i estenere le proceure sviluppate nell ambito ell inagine sulle Forze i Lavoro. La Tabella 1 mostra le partizioni ella popolazione i riferimento che efiniscono per l inagine Isfol-PLUS i omini stima all interno ei quali sono stati calcolati gli errori campionari elle stime 17