Obiettivi del corso Fornire le conoscenze e le competenze necessarie per: un uso consapevole delle informazioni quantitative, che non può prescindere dalla conoscenza della complessità dei processi di produzione dei dati ad opera delle fonti statistiche nazionali e internazionali interpretare e analizzare in senso critico tali informazioni, organizzate sempre più spesso in banche dati di grandi dimensioni disponibili on-line Alla fine del corso lo studente avrà acquisito: le conoscenze necessarie per l'individuazione delle fonti statistiche adeguate ai propri bisogni conoscitivi le competenze per l'uso e la rielaborazione dei prodotti statistici nell'ambito di un proprio progetto di indagine, in cui le statistiche diventano indicatori di fenomeni semplici e complessi Pagina 1 Perché un corso di analisi dei dati e fonti statistiche? I keep saying the sexy job in the next ten years will be statisticians. People think I m joking, but......the ABILITY TO TAKE DATA TO BE ABLE TO UNDERSTAND IT, TO PROCESS IT, TO EXTRACT VALUE FROM IT, TO VISUALIZE IT, TO COMMUNICATE IT THAT S GOING TO BE A HUGELY IMPORTANT SKILL IN THE NEXT DECADES, not only at the professional level but even at the educational level for elementary school kids, for high school kids, for college kids. BECAUSE NOW WE REALLY DO HAVE ESSENTIALLY FREE AND UBIQUITOUS DATA. SO THE COMPLIMENTARY SCARCE FACTOR IS THE ABILITY TO UNDERSTAND THAT DATA AND EXTRACT VALUE FROM IT. Hal Varian, Google s chief economist Fonte: Business Technology Office, gennaio 2009 I think statisticians are part of it, but it s just a part. YOU ALSO WANT TO BE ABLE TO VISUALIZE THE DATA, COMMUNICATE THE DATA, AND UTILIZE IT EFFECTIVELY. BUT I DO THINK THOSE SKILLS OF BEING ABLE TO ACCESS, UNDERSTAND, AND COMMUNICATE THE INSIGHTS YOU GET FROM DATA ANALYSIS ARE GOING TO BE EXTREMELY IMPORTANT. Managers need to be able to access and understand the data themselves. Pagina 2 1
Concetti chiave Pagina 3 Analisi dei dati Obiettivo: fornire concetti e strumenti utili per evidenziare gli aspetti salienti dell informazione disponibile e per quantificare la forza dei suggerimenti che da essi si possono ragionevolmente trarre Informazione espressa in forma quantitativa Dati Fornisce regole, strumenti e tecniche che consentono la raccolta e l analisi quantitativa delle caratteristiche dei fenomeni collettivi L Analisi dei Dati si avvale delle tecniche proprie della Statistica Pagina 4 2
Statistica Definizione: Metodologia che ha come scopo la conoscenza quantitativa dei fenomeni collettivi, ossia dei fenomeni il cui studio richiede l osservazione di un insieme di manifestazioni individuali Fenomeni collettivi Relativi ad una collettività di casi singoli Relativi ad una collettività di osservazioni di un solo caso o fenomeno Pagina 5 I fenomeni collettivi I fenomeni esistenti in natura sono descritti da uno o più caratteristiche. I fenomeni che si conoscono attraverso una molteplicità di manifestazioni vengono definiti fenomeni collettivi. Le caratteristiche che ci permettono di analizzare e descrivere un fenomeno vengono formalmente denominate caratteri o variabili statistiche. Esempio: il fenomeno clima può essere delineato e descritto mediante: la temperatura, le precipitazioni, il vento al suolo, il soleggiamento, Tali caratteristiche costituiscono i diversi aspetti con cui si palesa il clima, ossia gli elementi meteoritici che ci permettono di definire il clima di una regione in un certo istante, o in un intervallo di tempo, e che si manifestano in un ampia gamma di modi differenti Pagina 6 3
I fenomeni collettivi semplici o complessi Sono fenomeni collettivi semplici quelli completamente delineati attraverso un unico carattere Es. Il fenomeno statura degli individui è completamente descritto dal carattere che misura la distanza verticale tra il piano d appoggio dei piedi e il sommo del cranio quando l individuo si trova in massima estensione Sono fenomeni collettivi complessi o multivariati quelli descritti da più caratteri Es. Il fenomeno consumo non alimentare delle famiglie è collettivo multivariato dato che è caratterizzato da molte caratteristiche tra le quali (espresse in quantità di spesa in euro): vestiario, calzature, servizi sanitari, abitazioni, combustibili ed elettricità, mobili, trasporti, istruzione, spettacoli, Pagina 7 Perché l analisi statistica Approccio esplorativo Approccio confermativo Consente di esplorare i dati al fine di: descrivere in forma sintetica le informazioni evidenziare la struttura di relazioni implicite (pattern) ricavare modelli interpretativi/predittivi della realtà verificare poche ipotesi formulate prima della rilevazione dei dati Pagina 8 4
Metodologia Statistica La metodologia statistica viene suddivisa tradizionalmente in due branche, strettamente collegate Statistica descrittiva indicatori statistici per riassumere realtà complesse Statistica inferenziale generalizzazione di risultati a partire dal dato empirico allo scopo di fornire affermazioni valide anche per fenomeni che non sono stati osservati nel loro complesso Pagina 9 I dati statistici Carattere Statistico: una delle possibili manifestazioni del fenomeno e quindi è una caratteristica da studiare; viene osservata (o rilevata) sulle u.s. Unità Statistica: entità, unità elementare, che presenta le caratteristiche oggetto di studio Popolazione: insieme di u.s. omogenee rispetto ad 1 o più caratteristiche Finita aziende esistenti in una certa area in un determinato periodo Infinita (collettivo reale) pezzi producibili da una fabbrica a ciclo continuo Indefinita (collettivo virtuale o teorico) potenziali malati di un certa patologia Pagina 10 5
Unità statistica E un entità reale (persona, animale, oggetto, territorio) o virtuale (evento) suscettibile di misura che presenta le caratteristiche oggetto di studio Non è necessariamente una persona fisica Es: nello studio del fenomeno «vendita di quotidiani» le unità statistiche di riferimento potrebbero essere sono le diverse Testate Es: nello studio delle Imprese che producono automobili le unità statistiche di riferimento sono le imprese Non è necessariamente rappresentata da un singolo elemento Es: nello studio del fenomeno relativo al consumo delle famiglie, l unità statistica di riferimento è la famiglia e quindi un insieme di individui Termini equivalenti per indicare una unità statistica sono elemento, soggetto, oggetto, caso o individuo Pagina 11 Caratteri statistici Osservare i caratteri sulle u.s. significa attribuire a tali u.s. una modalità secondo determinate regole e con certi contenuti u x rappresenta la modalità del carattere X associata all u.s. u x Modalità: modi in cui un carattere si può presentare Esaustive : devono rappresentare tutti i possibili modi di essere del carattere Non sovrapposte : ogni u.s. presenta una ed una sola modalità Pagina 12 6
La struttura dei dati Carattere Qualitativo 1 (mutabile statistica) Unità statistica Osservazione di uno o più caratteri Carattere Quantitativo 2 (variabile statistica) Collettivo statistico Pagina 13 Esempio Qual è la regione italiana più estesa? Pagina 14 7
Classificazione dei caratteri Carattere Qualitativo (Mutabile Statistica): modalità espresse da attributi Genere, Stato civile, Sett. di attività econ., Titolo di studio, Grado militare Carattere Quantitativo (Variabile Statistica): modalità espresse da numeri Discreto: numero finito, o numerabile, di modalità Num. di figli, Num. di pezzi prodotti Continuo: numero infinito di modalità Peso, Altezza, Reddito Pagina 15 Misurazione dei caratteri Carattere qualitativo Scala nominale o Mutabile Sconnessa Se date due sue modalità è possibile affermare solo se queste sono uguali o diverse Nessun ordine tra le modalità Sesso, Stato civile, Sett. attività econ. Scala Ordinale o Mutabile Ordinata Esiste un ordine naturale tra le modalità se date due sue modalità è possibile affermare se queste sono uguali e stabilire un ordinamento oggettivo, specificando quale precede l altra Mutabili rettilinee: Tit. studio, Grado militare Mutabili cicliche: Mese di nascita, Giorno della settimana di nascita Pagina 16 8
continua Caratteri quantitativi: esiste un unità di misura delle modalità numeriche Variabile a scala di intervalli non esiste uno zero assoluto, naturale e non arbitrario Operazioni = o e > o < e distanza Temperatura, Q.I. Variabile a scala di rapporti esiste uno zero assoluto, naturale e non arbitrario Operazioni = o e > o <, distanza e rapporto Nati, Morti, Pezzi prodotti, Reddito, Peso Pagina 17 In sintesi Carattere Qualitativo Quantitativo Nominale Luogo di nascita Genere Colore capelli Stato civile Nazionalità Religione Professione Tipo maturità Ordinale Anno di corso Grado militare Ceto sociale Anno di nascita Titolo studio Mese di nascita Giorno settimana di nascita Discreto Numero fratelli Num. pezzi prodotti Num. macchine possedute Voto diploma Q.I. Continuo Statura Peso Età Reddito prodotto Temperatura Longitudine Latitudine Pagina 18 9
Classificazione gerarchica SCALA DI RAPPORTI Modalità numeriche con unità di misura e zero naturale SCALA DI INTERVALLO Modalità numeriche con unità di misura e origine arbitraria ORDINALE Modalità con ordinamento NOMINALE Modalità senza ordinamento Potenzialmente tutti i caratteri Pagina 19 Popolazione, Unità e Caratteri CARATTERE Anno di corso Numero esami sostenuti Età Diploma di scuola secondaria UNITÀ STATISTICA POPOLAZIONE Genere Età Professione Comune di residenza Esportazioni Importazioni PIL Tasso di disoccupazione Fatturato Debiti verso i fornitori Numero dipendenti Pagina 20 10
Tabelle di dati Tabella di dati: insieme di informazioni organizzate secondo diverse righe e diverse colonne Tabella unità x caratteri (o tabella unità x variabili o matrice dei dati) ciascuna riga è associata ad una u.s. ciascuna colonna è associata ad un carattere una cella è la realizzazione del carattere (in colonna) su una u.s. (in riga) Matrice dei dati: può essere una tabella di microdati o di macrodati Pagina 21 Matrice unita x caratteri: tabella dei microdati Unità statistica di rilevazione Corso di laurea Conclusione del percorso di studio Voto di laurea Intervistato 1 Economia In corso 100 Intervistato 2 Economia Fuori corso 106 Intervistato 3 Comunicazione In corso 110 Intervistato 4 Comunicazione Fuori corso 104 Intervistato 5 Comunicazione Fuori corso 101 Intervistato 6 Ingegneria In corso 90 Intervistato 7 Ingegneria In corso 110 Pagina 22 11
Trasformazione delle unità statistiche La manipolazione dei dati può riguardare le unità statistiche che possono essere aggregate secondo criteri utili alle finalità dell indagine Si è rilevato su alcuni individui laureati alcuni caratteri, si può passare dalle unità statistiche laureati alle unità statistiche corsi di laurea Pagina 23 Trasformazione delle unità statistiche Si vuole focalizzare l analisi non tanto sui singoli laureati quanto sui corsi di laurea, per far emergere eventuali analogie e differenze in merito ai voti e alla possibilità di licenziare laureati in corso I dati statistici che si andranno ad analizzare non saranno quelli riguardanti i singoli intervistati, ma quelli ottenuti attraverso opportune elaborazioni dei microdati Pagina 24 12
La tabella dei macrodati Unità statistica di analisi Numero laureati in corso Numero laureati fuori corso Voto medio di laurea Economia 1 1 103 Comunicazione 1 2 105 Ingegneria 2 0 100 Pagina 25 Tabella dei macrodati: matrice unità di analisi x caratteri I laureati sono aggregati in gruppi in base alla medesima modalità del carattere corso di laurea tanti gruppi quante sono le modalità del carattere corso di laurea unità di analisi Per gli altri caratteri si sceglie una appropriata funzione di aggregazione delle modalità che tenga conto del tipo del carattere per la mutabile dicotomica conclusione del percorso di studio si contano, per ogni unità di analisi, i laureati in corso e quelli fuori corso per la variabile a scala di rapporti voto di laurea si calcola il voto medio alla laurea per ciascuna unità di analisi Pagina 26 13
Microdati e macrodati Unità statistica di rilevazione: unità elementare su cui vengono rilevati i caratteri danno luogo ai microdati: insieme di dati riguardanti le unità elementari di rilevazione Unità statistica di analisi: unità primaria di interesse per l analisi, a cui vengono riferiti i caratteri oggetto di studio può coincidere con quella di rilevazione può riferirsi ad aggregazioni di tali unità (la famiglia, la scuola, l azienda, il corso) da luogo ai macrodati, insieme di dati riguardanti le unità aggregate Pagina 27 14