Analisi dei Dati Franco Turini-Dipartimento di Informatica

Transcript

1 Analisi dei Dati Franco Turini-Dipartimento di Informatica Scopo del corso e` la presentazione di metodi per la estrazione di informazioni da insiemi di dati Le informazioni possono essere di sintesi (p.e. la media di un insieme di valori numerici) di andamento (p.e. il grafico dei valori di una variabile nel tempo) La base concettuale e` la statistica (descrittiva e qualche elemento di inferenziale) Lo strumento operativo e` il foglio elettronico (spreadsheet), in particolare MicroSoft Excel

2 Materiale didattico Franco Turini Trasparenze del corso Matteo Golfarelli, Stefano Rizzi Data Warehouse: teoria e pratica della progettazione McGraw Hill, 2002, capitolo 1. Contiene una introduzione generale alla definizione di data warehouse e di On Line Analytical Processing (OLAP) Stephen L. Nelson Excel Data Analysis Wiley Publishing, 2002, capitoli 4 e 5. Descrive l uso delle Pivot Table in Excel, ovvero lo strumento tipico degli spreadsheet per eseguire l OLAP S. Christian Albright, Wayne Winston, Christopher J. Zappe Data Analysis & Decision Making Thomson, 2003, capitoli 3.9: esempi 3.9, 3.10 e 3.11, capitolo 2.6: esempio 2.11, capitolo 4.9, capitolo 4.3 Una serie di esempi pratici di applicazioni con uso di statistica descrittiva e On Line Analytical Processing.

3 Il programma Concetti fondamentali: popolazione, campione Data warehouses e OLAP (On Line Analitycal Processing) Distribuzioni di frequenza Analisi di regressione Filtering e data cleaning Elementi di statistica Inferenziale

4 Modalita` del corso 35 ore di lezione in laboratorio di cui Circa la meta` dedicate alla presentazione dei concetti e degli strumenti Il resto delle ore riservato a sperimentare concetti e strumenti su dati che vi forniro` volta per volta. Modalita` di esame: Compito da svolgere direttamente in laboratorio Vi forniro` uno o piu` set di dati e una serie di domande Per ciascuna domanda produrrete la risposta su un foglio separato di uno spreadsheet che mi invierete per posta elettronica.

5 Concetti di base: popolazioni e campioni Una popolazione (population) include tutti gli oggetti di interesse Esempi di popolazione: tutti i potenziali votanti per l elezione del rettore tutti gli abbonati alla RAI tutte le fatture ricevute dal Dipartimento di Informatica nel 2003 Un campione (sample) e` un sottoinsieme di una popolazione, spesso scelto in modo casuale e preferibilmente rappresentativo dell intera popolazione.

6 Concetti di base: variabili e osservazioni Una unita` statistica {osservazione, caso} record {observation, case} e` una ennupla di valori che caratterizza un elemento di una popolazione o di un campione Una variabile {carattere, attributo, campo} variable {attribute, field} e` l identificatore (nome) di uno dei valori dell osservazione Se una popolazione (campione) e` rappresentata in forma di tabella le righe della tabella sono le osservazioni, i nomi delle colonne sono le variabili e il contenuto di ciascuna riga e` la lista dei valori delle variabili

7 Un esempio Name Gender DomesticGross ForeignGross Salary Angela Bassett F ,5 Jessica Lange F ,5 Winona Ryder F Michelle Pfeiffer F Whoopi Goldberg F Emma Thompson F Julia Roberts F Sharon Stone F Meryl Streep F ,5 Susan Sarandon F Nicole Kidman F Holly Hunter F ,5 Meg Ryan F ,5 Andie Macdowell F Jodie Foster F

8 Concetti di base: tipi di valori Possiamo classificare le variabili in base alla tipologia dei valori che possono assumere; Distinguiamo tra: Variabili numeriche (quantitative), se sui valori e` possibile compiere un insieme significativo di operazioni aritmetiche; Variabili categoriche (qualitative), altrimenti

9 Concetti di base: tipi di valori Le variabili numeriche possono essere: discrete, se i valori possono essere contati continue, se sono il risultato di una misura continua Le variabili categoriche possono essere: ordinali, se esiste un ordine naturale sui possibili valori (es. giudizi scolastici: insufficiente, sufficiente ecc.) nominali, altrimenti (es. colori)

10 Data from a questionnaire on environmental policy Age Gender State Children Salary Opinion 35 Male Minnesota 1 $ Female Texas 2 $ Male Ohio 0 $ Male Florida 2 $ Female California 3 $ Female New York 3 $ Female Minnesota 2 $ Male New York 1 $ Male Texas 3 $ Female Texas 1 $

11 Intepretazione dei dati tramite semplici manipolazioni: ordinamento Il piu` potente e il piu` semplice strumento di elaborazione di una tabella e` l ordinamento In Excel e` possibile ordinare la tabella scegliendo: la colonna (l attributo) la modalita`: crescente, decrescente E` inoltre possibile effettuare ordinamenti annidati, ovvero ordinare rispetto ad un attributo e, tra gli elementi che hanno lo stesso valore dell attributo, effettuare l ordinamento rispetto a un secondo attributo, e cosi` via; Esempio su environmental policy;