STATISTICA PER LA DIGITAL ECONOMY Marco Riani

Transcript

1 STATISTICA PER LA DIGITAL ECONOMY 2018 Marco Riani

2 INFORMAZIONI SUL CORSO Orario MER (frontale) GIO (frontale) VEN (laboratorio) Ricevimento GIO VEN

3 E necessario registrarsi per accedere ai computer del laboratorio!

4 INFORMAZIONI SUL CORSO Conoscenze preliminari conoscenza di base di statistica descrittiva e inferenziale Tutti i lucidi saranno disponibili su

5 Calendario degli esami 18 dicembre 2018 ore gennaio 2019 ore gennaio 2019 ore maggio 2019 ore giugno 2019 ore giugno 2019 ore settembre 2019 ore 9.00 Prove a computer

6 LIBRO DI TESTO MATERIALE PRESENTE ALLA PAGINA E consentito tenere gli appunti durante l esame!

7 Software utilizzati nel corso Excel 2016 MATLAB 2018A o 2018B + FSDA toolbox Le istruzioni per scaricare e installare MATLAB sono reperibili qui (solo studenti Università di Parma)

8 Corso di MATLAB on line selfenrollment?code=ta6eeh5eyztz Occorre registrarsi

9 MODALITÀ DI ESAME (prova al computer) Quattro (tre) domande, ciascuna costituita da vari punti: Elaborazione dei dati con MATLAB

10 MODALITÀ DI ESAME (prova scritta tradizionale) Quattro (tre) domande, ciascuna costituita da vari punti: aspetti di calcolo aspetti di commento e di interpretazione dei risultati circa della medesima importanza

11 Il compito è diviso in due parti Programmazione Analisi dei dati

12 L ouput da consegnare è un file in formato.m oppure.mlx

13 Obiettivi del corso Imparare a programmare Illustrare i metodi statistici per il trattamento delle informazioni d interesse aziendale, considerando contemporaneamente più variabili, sia qualitative sia quantitative. Fornire un supporto conoscitivo razionale per le decisioni

14 Why analytics?

15 EVOLUZIONE DI CONCETTI Statistica (descrittiva e inferenziale) Analisi dei dati multidimensionali Data Mining = «Estrazione da una miniera di dati» (di grandi dimensioni) Scavare in insiemi di dati molto numerosi per estrarre informazioni utili Text mining Web mining

16 PUNTO DI PARTENZA dell analisi dei dati MATRICE DEI DATI: X riferita a n unità e p variabili Ipermercati Sup. addetti vendite Centro Torri Esselunga...

17 MATRICE DEI DATI X n p = x x x 11 i1 n1 x x x 1s is ns x x x 1p ip np x is = modalità che presenta la variabile s- esima nell unità statistica i-esima Significato dei vettori riga e dei vettori colonna Tipologia delle unità statistiche

18 TIPI DI DATI Qualitativi (categorici) nominali: Esempi: sesso, tipo di laurea, forma giuridica delle imprese BINARI (DICOTOMICI) O CON CATEGORIE MULTIPLE (POLITOMICI) Qualitativi (categorici) ordinali: giudizi: insuff., suff., discreto, buono, ottimo Quantitativi: peso, fatturato, n. dipendenti

19 Es. file Firm.xlsx

20 TIPI DI MATRICI DEI DATI unità x variabili X di dimensioni n x p Individui (questionari) Aziende Prodotti o marche Unità territoriali (province, ) Tempi (serie storiche o temporali)

21 DATI ASSOLUTI E RELATIVI Esempio: n aziende DATI ASSOLUTI: Fatturato, valore aggiunto, n. addetti, DATI RELATIVI: Fatturato per addetto, valore aggiunto sul fatturato, ROE, A PRIORI DEFINISCO LO SCOPO DELLA RICERCA E POI SCELGO IL DATA SET DA ANALIZZARE

22 SCHEMA FONDAMENTALE DELLA RICERCA SCIENTIFICA Problema (domanda) Raccolta di dati Analisi dei dati Conclusione provvisoria (risposta) Estensioni, generalizzazioni, nuovi problemi

23 Esercizio Importare il file Firm.xlsx in MATLAB Osservazione: tutti i file di input e di output per ogni esercizio sono scaricabili dalla pagina

24 Un primo modo per importare un dataset di Excel è tramite «Import Data»

25 E possibile specificare quante righe importare e/o il tipo di output

26 Esplorare cosa succede quando stabilisco di importare come Table Column vectors Numeric Matrix

27 Esercizio Importare il dataset come «Table» Come accedere ai diversi elementi della Table Es. estrarre l elemento all incrocio della terza riga e quanto colonna Es. estrarre la quindicedima unità statistica (15esima riga)

28 Come accedere ai diversi elementi della Table Es. estrarre la variabile «gender» Es. estrarre la quarta colonna

29 Esempi (supponiamo che la table si chiami X) Estrazione della riga della table denominata «P0320»: X('P0320',) Estrazione delle righe della table denominate «P0256» e «P0214» e delle prime 3 colonne: X({'P0256' 'P0214'},1:3) Estrazione della colonna riferita alla variabile «Height» X(:,'Height')

30 Esercizio Generare uno script che carichi automaticamente la zona A1:I20 del foglio denominato «data» del file «Firm.xlsx»

31 Esercizio Generare uno script che carichi automaticamente la zona A1:I10 del foglio denominato «data» del file «Firm.xlsx»

32 Esercizio Creare uno script che importi i dati dentro MATLAB in xlsread

33 Soluzione [num,txt,raw] = xlsread('firm.xlsx','data','a2:i10'); Esplorare il contenuto di num, txt e raw num contiene solo le colonne del dataset con dati quantitativi (variabili numeriche). Matrice di double txt contiene solo le colonne del dataset con dati qualitativi (variabili categorighe). Cell array Raw contiene tutte le colonne del dataset. Cell array

34 Esercizio Importare i dati contenuti dentro il file Firm.xlsx in una table denominata X tramite la funzione readtable calcolare per ogni varaibile quantitativa il min il max e la mediana

35 Soluzione X=readtable('Firm.xlsx') summary(x)

36 Esercizio Creare uno script che carichi il file firm.xlsx dentro MATLAB. Trasformare la variabile peso da libbre a KG (fattore 1kg= libbre) Trasformare la variabile altezza da pollici a cm (fattore 1pollice=2.54cm) Chiamare il nuovo dataset Y Calcolare il peso medio e l altezza media

37 Soluzione

38 Calcolo delle statistiche descrittive Esercizio: calcolare le statistiche descrittive (media, min, max, standard deviation, varianza) per il peso (in kg) e l altezza (in cm)

39 Soluzione

40 Obiettivo Confrontare unità statistiche in presenza di fenomeni con diverso ordine di grandezza e diversa scala di misura

41 SCOSTAMENTI STANDARDIZZATI Definizione: z i = (x i M)/ σ ove M è la media e σ (a volte indicato con s) è la deviazione standard (corretta) Proprietà: 1. M = O 2. σ = 1 3. puri numeri (confrontabili) MATRICE DEGLI SCOST. STAND. : Z

42 Proprietà delle variabili standardizzate (p. 146) z i = x i σ M Hanno valor medio nullo M(Z)=0 Hanno varianza unitaria VAR(Z)=1 se Y=bX+a σ 2 (Y)=VAR(Y) = b 2 VAR(X) (p. 122)

43 Esempio Valori originali Scostamenti standardizzati Peso Altezza Peso Altezza A ,695 1,003 B ,727-0,952 C ,032 1,454 D ,506-0,952 z i = x i M σ E F Me dia 74,33 173,33 σ 10,55 6,65-1,264-0,952 1,770 0,401 Me dia 0 0 σ 1 1

44 Esercizio Aggiungere allo script precedente il calcolo della matrice degli scostamenti dalla media per le variabili peso e altezza e la matrice degli scostamenti standardizzati (utilizzare sia l implementazione manuale, sia la funzione zscore, sia un loop. Controllare che il risultato sia identico con i diversi modi)

45 Rappresentazione grafica Rappresentare tramite grafico a barra gli scostamenti standardizzati del peso e dell altezza delle prime 10 unità statistiche. Inserire come etichetta dell asse x il nome (Variabile name) delle 10 unità statistiche Aggiungere al grafico un titolo ed una legenda

46 Creazione del grafico Il modo più semplice per creare un grafico è quello di selezionare la zona della variabile che mi interessa e (dopo aver selezionato la scheda plots) fare click sul grafico che mi interessa

47 Output finale Quale persona presenta un altezza molto superiore alla media ed un peso inferiore alla media?

48 Asimmetria e curtosi Implementare le formule manualmente e controllare il risultato utilizzando le formule di MATLAB (kurtosis, skewness)

49 Indici di asimmetria Asimmetria positiva e negativa

50 La distribuzione normale Nella distribuzione normale

51 Indice di curtosi (normalità) Se la variabile è normale

52 Formule da utilizzare per gli indici di asimmetria e curtosi Indice di curtosi (kurtosis)

53 Formule da utilizzare per l indice di asimmetria Indice di asimmetria (skewness)

54 BOXPLOT (grafico a scatola) Indici occorrenti: quartili DI x min e x max

55 Boxplot di 16 punti

56 Boxplot di 16 punti Il punto di troncamento superiore è in corrispondenza del valore più grande x 75% +1.5DI Il punto di troncamento inferiore si colloca in corrispondenza del valore più piccolo x 25% -1.5DI

57 Esercizio: inserire dentro MATLAB i dati numerici della spesa riportati nella tabella che segue. Calcolare ed interpretare i seguenti percentili di spesa Calcolare ed interpretare la differenza interquartile. Costruire ed interpretare il relativo boxplot. Costruire il boxplot con orientamento orizzontale. Inserire tutte le istruzioni dentro uno script denominato boxp.m

58 Soluzione

59 Soluzione

60 Esercizio Calcolare i seguenti quantili della variabile retribuzione Suggerimento: utilizzare la funzione quantile

61 Esercizio Importare come «table» il file Firm.xlsx Calcolare ed interpretare il boxplot per le variabili peso e altezza (prima per tutte le unità statistiche e poi tenendo separati i maschi dalle femmine)

62 Soluzione boxplot(y{:, Height })) ylabel('altezza in cm')

63 Soluzione

64 Analisi della variabile retribuzione Investigare la presenza di valori anomali per questa variabile Partendo dalla table denominata Y, costruire una nuova table denominata Ycor. In questa nuova table modificare il valore della retribuzione della quarta unità statistica in

65 Soluzione La modifica di un valore all interno di una table può essere fatto direttamente dentro aprendo la variabile nell editor delle variabili L istruzione da codice è la seguente Ycor.Wage(4) =

66 Esercizio Costruire il grafico ad istogrammi della variabile wage modificata Costruire il grafico ad istogrammi utilizzando 15 classi Costruire il grafico ad istogrammi specificando le classi :

67 Distribuzione di frequenza con classi non equispaziate Esercizio: calcolare la distribuzione di frequenza utilizzando le classi precedenti :