Statistica descrittiva

Transcript

1 Statistica descrittiva L obiettivo è quello di descrivere efficacemente i dati prima delle elaborazioni vere e proprie: - mediante rappresentazioni grafiche e tabelle - sintetizzandoli con indici opportuni

2 Indici statistici

3 Insiemi di dati diversi possono essere distribuiti attorno ad uno stesso valore centrale in modo differente

4 Misure di dispersione (o variabilità) Gli indici di variabilità misurano la dispersione dei dati Se la dispersione è elevata, le singole osservazioni sono molto diverse tra loro e quindi singolarmente di scarso valore Intuitivamente, all aumentare della dispersione il numero di osservazioni del campione per trarre conclusioni sulla popolazione deve crescere

5 Due tipi di misure di dispersione Misure basate sugli scarti dalla media x delle singole osservazioni xi (xi - x), calcolabili soltanto per variabili quantitative: - varianza - deviazione standard (o scarto quadratico medio) Misure non basate su elaborazioni dei dati, quindi anche per variabili qualitative ordinabili: - range (o campo di variazione) - distanza interquartile

6 Varianza dove x è la media delle n osservazioni xi Semplice da trattare dal punto di vista matematico Nel caso in cui le osservazioni siano raggruppati in c classi di frequenza, la formula è la seguente

7 Deviazione standard (o scarto quadratico medio) E la radice quadrata della varianza Al contrario della varianza, ha la stessa unità di misura della media Varianza e deviazione standard sono non negative ed assumono il valore minimo 0 se e solo se tutte le modalità della distribuzione sono uguali tra loro (non c è variabilità)

8 Esempio con Excel: verificare quale campione presenta maggiore dispersione, calcolando varianza e deviazione standard - per campione A, inserire funzione var o var.c - inserire funzione dev.st o dev.st.c - copiare e incollare le 2 funzioni per il campione B Voti A Voti B

9 Range R = valore massimo - valore minimo Si base sui 2 valori estremi e non fornisce informazioni sui dati intermedi Preferibile il range interquartile, maggiormente preciso e informativo

10 Range interquartile E la differenza tra il terzo ed il primo quartile: Q3 - Q1 Identifica l intervallo centrale della distribuzione all interno del quale cade il 50% delle osservazioni Al contrario del range, non risente di eventuali valori anomali

11 Calcolare con Excel range interquartile e range Per range interquartile: inserire funzione QUARTILE con quarto 3, funzione QUARTILE con quarto 1 e calcolare la differenza Per range: inserire funzione QUARTILE con quarto 4, funzione QUARTILE con quarto 0 e calcolare la differenza oppure inserire funzione MAX e funzione MIN e calcolare la differenza o ancora Osservazione Velocità 1 1,25 2 2,94 3 2,38 4 3,09 5 3,41 6 3,00 7 2,31 8 2,93 ordinare i dati in senso decrescente e calcolare la differenza tra il primo e l ultimo 9 2, ,55

12 Indici di forma (per distribuzioni unimodali) - Asimmetria - Curtosi

13 Indice di asimmetria esprime il grado di asimmetria (skewness) di una distribuzione I dati di una distribuzione unimodale sono distribuiti in modo simmetrico se la parte sinistra e destra sono speculari

14 Esempio con Excel Date le n osservazioni ui, di media x e deviazione standard s, calcolare l indice di asimmetria beta di Fisher Osservazione Velocità 1 1,25 2 2,94 3 2,38 4 3,09 5 3,41 6 3,00 Inserire funzione ASIMMETRIA 7 2,31 8 2,93 9 2, ,55

15 Interpretazione Se beta = 0 la distribuzione è simmetrica; se beta > 0 la distribuzione ha una coda verso destra; se beta < 0 la distribuzione ha una coda verso sinistra Come interpretiamo il risultato dell esempio precedente?

16 In pratica Per dati quantitativi distribuiti in modo simmetrico utilizzare media e deviazione standard, altrimenti mediana e range interquartile E utile l impiego congiunto di più indici per una rappresentazione più completa del fenomeno

17 Distribuzione normale (o Gaussiana)

18 Distribuzione normale - Numerosi fenomeni continui seguono una distribuzione normale, e altri sono normalizzabili" mediante una semplice trasformazione matematica (per es. log(x)) - Può essere utilizzata per approssimare la maggior parte delle distribuzioni discrete - Gode di proprietà matematiche che rendono facile la sua utilizzazione - E alla base dell inferenza statistica - La somma e la media di n variabili indipendenti tendono a distribuirsi normalmente al crescere di n (teorema del limite centrale)

19 Esempio di distribuzione normale Quando la distribuzione di frequenza prima cresce fino a raggiungere un massimo e poi decresce, si può ipotizzare una distribuzione approssimativamente normale

20 Curva distribuzione normale Curva a campana, simmetrica (asimmetria = 0), mesocurtica o normocurtica (curtosi = 0)

21 Indice curtosi Misura la lunghezza delle code della distribuzione

22 Indice di curtosi (di Fisher) Se C = 0 la distribuzione è mesocurtica; se C > 0 la distribuzione è leptocurtica; se C < 0 platicurtica

23 Esempio con Excel Verificare che le osservazioni seguenti: 5, 7, 11, 22, 25, 24, 20, 14, 13, 8, 7, 5, 4, 1 hanno distribuzione platicurtica Inserire funzione CURTOSI

24 Variabile casuale (o aleatoria) E una variabile che assume valori in relazione alle probabilità degli eventi che stiamo studiando Per es. il lancio di un dado può essere espresso matematicamente con una v.a. che assume i valori 1,,6 ciascuno con probabilità 1/6 Per una v. a. discreta la distribuzione di probabilità può sempre essere definita, associando ad ogni valore che la variabile può assumere una probabilità positiva, tale che la somma delle probabilità sia sempre 1

25 Variabile aleatoria continua Una v.a. che può assumere tutti gli infiniti valori reali, o di un intervallo [a, b], è chiamata v.a. continua È impossibile (matematicamente) assegnare probabilità non nulle agli infiniti punti di un intervallo e soddisfare la richiesta che la somma delle probabilità dei distinti valori possibili sia 1 Quindi, per v.a. continue non posso definire P(X = x) ma soltanto P(X x)

26 F. di densità e di ripartizione La distribuzione di una variabile aleatoria continua X può essere rappresentata con il grafico di una f(x) detta funzione di densità La funzione di ripartizione (o f. di distribuzione cumulativa) di una variabile aleatoria X è definita come F(x) = P(X x) Essa esprime perciò la probabilità che la variabile aleatoria assuma valori uguali o inferiori a x

27 Funzione di ripartizione F(x) = P(X x) rappresenta l area sottostante alla curva densità di probabilità f(x), dall estremo sinistro della curva fino al valore x

28 Funzione di densità normale dove e (base logaritmo naturale: 2,71828) e π (= 3,14159) sono note costanti matematiche, µ la media e σ la deviazione standard (o scarto quadratico medio) X rappresenta i valori assunti dalla variabile casuale

29 f(x) descrive una famiglia di funzioni che dipendono da media e deviazione standard

30 µ, a parità di σ, caratterizza la posizione dell asse di simmetria della curva

31 σ, a parità di µ, caratterizza la forma più o meno appuntita

32 Variando contemporaneamente µ e σ, la curva trasla orizzontalmente e si fa più o meno appuntita

33 Proprietà distribuzione normale - Le misure di posizione centrale (media, mediana e moda) coincidono - La maggior parte delle osservazioni si concentrano attorno al valore medio - Le variabili aleatorie con distribuzione normale assumono valori tra - e +

34 Proprietà L area sottostante la funzione di densità è 1 Per la simmetria della curva, le aree a sinistra e a destra della media sono rispettivamente pari a 0,5 Notare che è la definizione di mediana

35 Intervalli noti di probabilità 2 approssima 1,96; 3 approssima 2,58

36 Supponiamo che il reddito delle famiglie degli studenti di un Ateneo si distribuiscano normalmente con µ = e σ = 1500 Quante famiglie hanno reddito < 12000? Esempio µ + 2σ = µ - 2σ = L area esterna a [ ] contiene circa il 4,6 % dei casi Per simmetria, è sufficiente dividere per 2

37 Standardizzazione della distribuzione normale E più comoda da utilizzare, poichè non dipende più da media e deviazione standard La variabile Z è ottenuta sottraendo a X la media e rapportando il risultato della differenza alla deviazione standard: Z = (X µ) / σ La funzione risultante non dipende più da alcun parametro

38 Normale standardizzata Ha le stesse caratteristiche della distribuzione normale generale Ciò che distingue le due distribuzioni è che la normale standardizzata ha MEDIA=0 e DEVIAZIONE STANDARD=1 E rappresentata da UNA SOLA CURVA

39 Perchè è importante standardizzare? Perché le probabilità corrispondenti alle superfici racchiuse dalla curva normale standardizzate possono essere calcolate Queste probabilità sono state tabulate e vengono riportate in apposite tabelle Con le tavole, era possibile automatizzare il calcolo di integrali per trovare le probabilità che una v.a. X assuma valori compresi all interno di intervalli della retta reale Con Excel non è più necessario standardizzare

40 Esercizio 1 In un campione la media dei dati del colesterolo HDL è di 57 mg/100ml e la deviazione standard 10 mg/100ml Sapendo che i valori dell HDL si distribuiscono normalmente,stimare la probabilità che un soggetto abbia valori di HDL < 45 mg/100ml

41 1) Calcola Z = (45-57) / 10 = -1,2 e inserisci la funzione DISTRIB.NORM.ST o DISTRIB.NORM.ST.N oppure 2) Inserisci la funzione DISTRIB.NORM o DISTRIB.NORM.N p = 0,115

42 Esercizio 2 Sapendo che la media dei valori è pari a 34,21 e la sua deviazione standard a 5,39, stimare la probabilità che un individuo abbia un valore di albumina 42 g/l, cioè P (X > 42), usando le funzioni di Excel i) distribuzione normale standardizzata e ii) distribuzione normale

43 i) Standardizzare trovando Z = 1,44 P(Z > 1,44) = 1 - P(Z < 1,44) ii) P(X > 42) = 1 - P(X < 42) p = 0,07

44 Esercizio 3 Trovare l area sotto la curva (probabilità) compresa tra Z = 0,50 e Z = 2,50 P(Z < 2,50) - P(Z < 0,50)

45 Esercizio 4 (problema inverso) Supponiamo che i valori della variabile reddito si distribuiscano normalmente con media e deviazione standard 1500 Se voglio dare un incentivo al 5% degli studenti, a quale valore x del reddito corrisponde una probabilità del 5% (cioè 0,05)

46 Soluzione Inserisci funzione INV.NORM o INV.NORM.N

47 Valutazione dell ipotesi di normalità Consiste nel valutare la bontà di adattamento del modello normale all insieme dei dati disponibili Importante per decidere come impostare l inferenza statistica (parametrica o non parametrica)

48 Principali approcci - confronto tra le caratteristiche dei dati e le proprietà della distribuzione normale - test statistici (ad esempio Chi quadrato che vedremo in seguito) - costruzione di un normal probability plot

49 Valutazione ipotesi normalità con Excel - istogramma per verificare la forma a campana della distribuzione (simmetrica e unimodale) - verificare se media, mediana e moda coincidono - analizzare coefficienti asimmetria e curtosi - verificare se il range interquartile è pari a 1,33 volte lo scarto quadratico medio

50 Statistica descrittiva con Analisi dati di Excel - Dati - Analisi dati - Statistica descrittiva - Riepilogo statistiche

51 Risultati