Webinar BIG DATA, OPEN DATA E SMART CITY. Big Data e Statistica Ufficiale: opportunità e rischi Paolo Righi

Transcript

1 Webinar BIG DATA, OPEN DATA E SMART CITY Big Data e Statistica Ufficiale: opportunità e rischi Paolo Righi Roma, 26 marzo 2014

2 Nel corso del mio intervento vi parlerò di: Cosa sono i Big Data? Come usare i Big data nella statistica ufficiale Big Data nella statistica ufficiale: esempi Opportunità e rischi Attività, progetti, applicazioni ISTAT

3 Cosa sono i Big Data? I Big Data sono un oggetto/concetto/entità ancora in divenire Non esiste una definizione, univoca, condivisa e limitata in confini ben delineati Meglio prima vedere degli esempi

4 Una (possibile) classificazione (UNECE) Human-sourced information (Social Networks): informazioni precedentemente registrati in libri e opere d'arte, e più tardi nelle fotografie, audio e video sono ormai quasi completamente digitalizzate e conservate dai personal computer ai social network. Social Networks: Facebook, Twitter, Tumblr etc. - Blogs and comments - Personal documents - Pictures: Instagram, Flickr, Picasa etc. - Videos: Youtube etc. - Internet searches - Mobile data content: text messages. User-generated maps - Web logs

5 Una (possibile) classificazione Process-mediated data (Traditional Business systems and Websites): sono processi di registrazione di eventi di interesse: la registrazione di un cliente, produzione di un prodotto, di ordinativi, di prezzi. I dati di processo mediato sono in genere altamente strutturati. Comprendono transazioni, tabelle e relazioni di riferimento, nonché i metadati che definiscono il contesto. Alcune fonti appartenenti a questa categoria possono rientrare nella categoria dei «Dati amministrativi».

6 Una (possibile) classificazione Machine-generated data (Automated Systems) : derivati da strumenti e sensori utilizzati per misurare e registrare gli eventi nel mondo fisico. L output di questi sensori sono da semplici registrazioni dei sensori a registri informatici complessi. La proliferazione dei sensori hanno creato un grande aumento dei volumi di dati. La sua natura dei dati è in generale ben strutturato. Es.: sensori fissi per inquinamento, traffico, sicurezza, ecc.; sensori mobili: telefoni mobili (persone), gps (auto/camion, treni aerei, navi); satelliti (topografia, meteo)

7 Definizione di Big Data nella Statistica Ufficiale Data that is difficult to collect, store or process within the conventional systems of statistical organizations. Either, their volume, velocity, structure or variety requires the adoption of new statistical software processing techniques and/or IT infrastructure to enable cost-effective insights to be made. Big Data Project UNECE 2014

8 Dimensioni dei Big Data (Social) data mining Sentiment analysis Automated Nonparametric Content Analysis Parametric/non parametric models Statistical Learning

9 Come usare i Big data nella statistica ufficiale Possono arrichire i frame di selezione del campione con informazioni macro/micro o definire nuovi registri Possono sostituire completamente o parzialmente i dati di indagini campionarie (ridurre le dimensioni campionarie e/o semplificare gli strumenti di indagine) Possono essere utilizzati come dati di confronto, per fare imputazione o editing e assicurare la validità, coerenza e accuratezza dei dati delle indagini statistiche

10 Big Data nella statistica ufficiale: esempi Statistic Sweden usa dal 2012 gli scanner data per l indice dei prezzi al consumo per le nececessità giornaliere ( Scanner Data A Collection Method for the Future M. Sammar, A. Norberg and C. Tongur, Statistics Sweden, 2012 ) Estonia: misurazione del turismo straniero tramite telefonia mobile (Ahas, R., Aasa, A., Mark, Ü., Pae, T., Kull, T Seasonal tourism spaces in Estonia: case study with mobile positioning data. Tourism Management 28(3): ) CBS dei Paesi Bassi: traffico (12,622 sensori sulle strade) e sentiment analysis attraverso i social media (Big Data and Official Statistics Daas P.J.H.1, Puts M.J.2, Buelens B.3 and van den Hurk P.A.M. NTTS 2013)

11 Opportunità e rischi Opportunità e benefici Incremento di efficienza con una riduzione delle risorse Statistiche tempestive e rilevanti Miglioramento delle indagini esistenti Statistiche rispondenti alle richieste degli utenti Rilevazioni impraticabili con le indagini standard Rischi e costi Rappresentatività/Coverage dei Big Data rispetto al target della Statistica Ufficiale Qualità del dato non controllato Informazione che può essere troppo granulare (e non informativa) Stabilità e proprietà dei dati Investimenti in infrastrutture IT e skill informatici/statistici Privacy Minori costi

12 Attività e progetti ISTAT Commissione ISTAT-Big Data (ISTAT, Università, Imprese) ESS Task Force Big Data Eurostat (Ist. Naz. Stat., Eurostat, OECD, Università) Big Data Project UNECE (Ist. Naz. Stat., UNECE, OECD) GDL ISTAT Big Data

13 Applicazioni ISTAT Indagine ICT, reperimento di alcune variabili del questionario (su E-commerce) mediante tecniche di web scraping (è una tecnica informatica di estrazione di dati da un sito web per mezzo di programmi software. Il web scraping non si limita al reperimento dei dati - normalmente non strutturati - presenti in rete, ma è finalizzato alla loro memorizzazione in un contenitore strutturato in modo adeguato per il trattamento di oggetti testuali.) Progetto Persons and Places (in collab. CNR-ISTI Pisa) Analisi mobilità mediante tel. mobile: Uso di big data integrati con fonti amministrative Progetto Google Trends (Resp. S. Falorsi, F.Bacchini) Sfruttare la serie storica delle query share estratte da Google Trend come variabili ausiliarie per migliorare le stime prodotte dall Istat mediante l utilizzo di metodi di stima da modello ad esempio: stime anticipate e previsionali del tasso di disoccupazione). GDL ISTAT (ad aprile ) uso degli scanner data della grande distribuzione per l indagine prezzo al consumo

14 Per concludere Si calcola che il 90% delle informazioni su società, economia, ambiente sia stato prodotto negli ultimi due anni e ciò sta rivoluzionando o mettendo in discussione i paradigmi di analisi statistica I Big Data sono ormai uno strumento privilegiato di analisi nella statistica non ufficiale (marketing, previsioni politiche...) Nella statistica ufficiale invece il ruolo dei Big Data è ancora dibattuto: rispondono almeno in parte alle esigenze di un Istituto Nazionale di Statistica? I guadagni informativi compensano i costi (investimenti IT e di formazione)? Instead of focusing on a big data revolution, perhaps it is time we were focused on an all data revolution, where we recognize that the critical change in the world has been innovative analytics, using data from all traditional and new sources, and providing a deeper, clearer understanding of our world. (The Parable of Google Flu: Traps in Big Data Analysis - Science 14 march 2014)

15 Alcune immagini sono state riprese dalla presentazione The Future of Big Data - Dino Pedreschi. Futurium 10 May 2013 Grazie