Anno Accademico Corso di Laurea in Economia Aziendale Università di Bologna STATISTICA

Transcript

1 Statistica, CLEA p. 1/68 Anno Accademico Corso di Laurea in Economia Aziendale Università di Bologna STATISTICA Monia Lupparelli

2 Statistica, CLEA p. 2/68 Informazioni sul corso Orario delle lezioni: - Martedì Venerdì Orario di ricevimento: martedì Testo di riferimento: P. Newbold, W. L.Carlson, B. Thorne (2007). Statistica (Versione Italiana). Pearson - Prentice Hall. Altre letture consigliate: - S. Borra e A. Di Ciaccio (2004) Statistica : metodologie per le scienze economico e sociali. McGraw-Hill. - G. Cicchitelli (2008). Statistica. Principi e metodi. Pearson Paravia Bruno Mondatori.

3 Statistica, CLEA p. 3/68 Struttura del corso Il corso si struttura in 20 lezioni di 3 ore: Statistica descrittiva (6 lezioni) Elementi di calcolo delle probabilità (6 lezioni) Statistica inferenziale (8 lezioni) Ogni lezione si articolerà nel seguente modo (in linea generale): 2 ore di teoria 1 ora di esercitazione sugli argomenti teorici precedentemente trattati

4 Statistica, CLEA p. 4/68 Fasi dell indagine statistica 1. Definizione degli obiettivi 2. Pianificazione della raccolta dei dati 3. Rilevazione dei dati 4. Elaborazione metodologica 5. Presentazione dei risultati 6. Utilizzazione dei risultati della ricerca.

5 Statistica, CLEA p. 5/68 Le fonti e la rilevazione dei dati I dati raccolti possono provenire da: esperimenti sondaggi studi di settore fonti pubbliche o private Definita la fonte, la rilevazione dei dati può avvenire attraverso: censimento campione

6 Statistica, CLEA p. 6/68 Alcune definizioni preliminari VARIABILE/CARATTERE X: fenomeno di interesse. MODALITA : valori/livelli/categorie diversi che può assumere la variabile di interesse. UNITA STATISTICA: entità elementare osservabile che presenta la variabile X. POPOLAZIONE: l insieme completo delle unità statistiche che esauriscono le informazioni sulla variabile X. Definiamo con N la dimensione della popolazione. CAMPIONE: sottoinsieme di unità osservate nella popolazione. Definiamo con n la dimensione del campione (n N) TIPO DI CAMPIONAMENTO: procedimento utilizzato per selezionare un campione di dimensione n da una popolazione contenente N unità statistiche. PARAMETRO: caratteristica specifica della popolazione STATISTICA: caratteristica specifica del campione.

7 Statistica, CLEA p. 7/68 Metodologia statistica Statistica descrittiva: l insieme delle metodologie statistiche utilizzate per descrivere il comportamento della popolazione attraverso l elaborazione e la sintesi dei dati rappresentazioni grafiche indicatori sintetici modello Calcolo delle probabilità: è lo strumento attraverso il quale si descrive il comportamento della popolazione in condizioni di incertezza. Statistica inferenziale: è un processo che studia il comportamento della popolazione in condizioni di incertezza tramite l analisi del campione: stima verifica di ipotesi previsione

8 Statistica, CLEA p. 8/68 STATISTICA DESCRITTIVA Premessa importante: nella statistica descrittiva si opera in condizioni di certezza. Per ogni variabile X, ipotizziamo di conoscere tutte le informazioni relative all intera popolazione. Gli indicatori sintetici che utilzzeremo per l elaborazione dei dati sono dei parametri poiché descrivono una specifica caratteristica della popolazione. Per ogni parametro, possiamo però individuare una o più statistiche corrispondenti che individuano la stessa caratterestica in un campione della popolazione. Esempio. Data una variabile X, indicheremo con µ X la media della popolazione e con x la media campionaria. Indicheremo con σ 2 X la varianza della popolazione e con s2 X la varianza campionaria.

9 Statistica, CLEA p. 9/68 Classificazione delle variabili VARIABILI QUALITATIVE (categoriche) Alla modalità della variabile osservata non si può attribuire un valore numerico; le modalità possono essere: sconnesse (sesso, colore dei capelli) ordinali (titolo di studio, livello di soddisfazione) VARIABILI QUANTITATIVE (numeriche) Alla modalità della variabile osservata si attribuisce un valore numerico, pertanto le modalità osservate sono sempre ordinali: discrete (numero di esami, numero di dipendenti) continue (altezza, peso)

10 Statistica, CLEA p. 10/68 Distribuzione individuale dei dati Data una variabile X osservata su N unità statistiche (nella statistica descrittiva ipotizziamo di osservare tutta la popolazione), la distribuzione individuale dei dati {a 1, a 2, a 3,..., a N } è l insieme delle modalità ossservate per ogni unità. Sesso (M, F ) per N = 12 unità: {M, M, F, F, F, F, M, F, F, M, F, F } Titolo di studio (E, M, S, L) per N = 12 unità: {M, L, S, S, S, E, L, M, L, S, E, S} Età per N = 12 unità: {27, 39, 42, 57, 81, 48, 33, 21, 17, 10, 60, 28} Peso per N = 12 unità: {72.5, 63.2, 59.1, 74.8, 75.3, 69.6, 58.2, 54.9, 50.4, 33.8, 80.1, 53.9}.

11 Statistica, CLEA p. 11/68 Distribuzione di frequenza X è una variabile qualitativa o quantitativa discreta osservata su N unità K è il numero modalità che può assumere la variabile X. x k, (k = 1,..., K), è una delle possibili modalità che si possono osservare n k è la frequenza assoluta: il numero delle unità per cui X assume modalità x k. K k=1 n k = N f k = n k /N è la frequenza relativa. K k=1 f k = 1. p k = f k 100 è la frequenza percentuale. K k=1 p k = 100. Variabile Modalità n k f k p k x 1 n 1 f 1 p x K n K f K p K N % Specializzazione degli iscritti al master Modalità n k f k p k Finanza % Marketing % Contabilità % %

12 Statistica, CLEA p. 12/68 Distribuzioni di frequenza per variabili ordinali Se X è una variabile qualitativa ordinale o quantitativa discreta N k = K k=1 n k è la frequenza cumulata; N 1 = n 1, N 2 = (n 1 + n 2 ),..., N k = (n n k ),..., N K = N. F k = K k=1 f k è la frequenza relativa cumulata; F 1 = f 1, F 2 = (f 1 + f 2 ),..., F k = (f f k ),..., F K = 1. Variabile X Modalità freq. ass. freq. rel. freq. perc. freq. cum. freq. cum. rel x 1 n 1 f 1 p 1 N 1 F 1 x 2 n 2 f 2 p 2 N 2 F x k n k f k p k N k F k x K 1 n K 1 f K 1 p K 1 N K 1 F K 1 x K n K f K p K N 1 N

13 Statistica, CLEA p. 13/68 Tabella di frequenza per variabili ordinali Livello di soddisfazione Modalità freq. ass. freq. rel. freq. perc. freq. cum. freq. cum. rel molto insoddisfatto abbastanza insoddisfatto indifferente abbastanza soddisfatto molto soddisfatto N.B. La frequenza cumulata e la frequenza relativa cumulata hanno senso solo se le modalità sono ordinabili, quindi non ha senso calcolarle per variabili qualitative sconnesse.

14 Statistica, CLEA p. 14/68 Distribuzioni di frequenza per variabili continue Sia X una variabile quantitativa continua non si può definire il numero K di modalità assunte dalla variabile è necessario classificare le osservazioni attraverso degli intervalli l uso delle classi comporta una sintesi dei dati ma anche una perdita di informazione criteri di costruzione delle classi le classi sono contingue, collettivamente esaustive e mutuamente esclusive chiusura delle classi (chiuse a destra o chiuse a sinistra ) ampiezza della classe w k e valore centrale m k Uso del cellulare in minuti Classi n k m k w k f k p k N k F k /2= ( )/2=265 ( )= ( )/2=290 ( )=

15 Statistica, CLEA p. 15/68 Distribuzioni in classi per variabili discrete Sia X una variabile quantitativa discreta a volte il numero K di modalità assunte dalla variabile può essere molto alto classificare le osservazioni attraverso degli intervalli facilita la sintesi dei dati anche se comporta sempre una perdita di informazione essendo le classi contingue, è importante definire la chiusura delle classi Età Classi n k m k w k f k p k N k F k N.B. Un soggetto che ha 20 anni appartiene alla terza classe.

16 Statistica, CLEA p. 16/68 Rappresentazioni grafiche Variabili qualitative: tabella di frequenza grafico a barre grafico a torta Variabili quantitative: tabella di frequenza funzione di ripartizione grafico a aste (discrete) istogramma (continue)

17 Statistica, CLEA p. 17/68 Grafici per variabili qualitative 180 Specializzazione degli iscritti al master % Contabilità 80 Finanza 40% Finanza Marketing Contabilità Marketing 35% Modalità Finanza Marketing Contabilità freq. ass

18 Statistica, CLEA p. 18/68 Grafici per variabili qualitative Tasso alcolemico nel sangue in relazione al luogo di consumo Casa di amici 24% frequenze assolute Bar 32% % 0 Bar Ristorante Casa propria Casa di amici Ristorante 34% Casa propria Modalità Bar Ristorante Casa propria Casa di amici freq. ass

19 Statistica, CLEA p. 19/68 Grafico a aste per variabili discrete 25 Grafico a aste 20 frequenze assolute numero di figli Modalità freq. ass

20 Statistica, CLEA p. 20/68 Funzione di ripartizione per variabili discrete 1 Funzione di ripartizione frequenze rel. cumulate numero di figli Modalità freq. ass freq. rel freq. rel. cum

21 Statistica, CLEA p. 21/68 Funzione di ripartizione per variabili continue 1 Funzione di ripartizione frequenze rel. cumulate minuti al cellulare Modalità freq. ass freq. rel freq. rel. cum

22 Statistica, CLEA p. 22/68 Funzione di ripartizione per variabili discrete in classi 1 Funzione di ripartizione Freq. realtive cumulate età Modalità freq. ass freq. rel freq. rel. cum

23 Statistica, CLEA p. 23/68 Densità per distribuzioni in classi Data una distribuzione in classi per una variabile X, la densità è d k = f k /w k. Uso del cellulare in minuti Classi n k w k f k d k /250= ( )= /30= ( )= /20= Età Classi n k w k f k d k

24 Statistica, CLEA p. 24/68 Istogramma per distribuzioni in classi L area di ogni rettangolo corrisponde alla freq. rel. della classe La densità consente di confrontare classi di diversa ampiezza Istogramma 0.02 densità relativa minuti al cellulare Uso del cellulare in minuti Classi freq. rel ampiezza densità rel

25 Statistica, CLEA p. 25/68 Istogramma per distribuzioni in classi 0.03 Istogramma densità relativa età Età Classi fre. rel densità rel

26 Statistica, CLEA p. 26/68 Ipotesi di uniforme distribuzione nelle classi Ipotesi: le singole osservazioni si distribuiscono in modo uniforme nella classe la densità = freq. rel. in un intervallo di ampiezza unitaria valore centrale della classe = media delle osservazioni appartenenti alla classe Istogramma 1 Funzione di ripartizione densità relativa frequenze rel. cumulate minuti al cellulare minuti al cellulare

27 Statistica, CLEA p. 27/68 Rappresentazione grafica per due variabili Si considerino 100 osservazioni relative alla variabile X età del consumatore e Y costo dei fiori: costo dei fiori età del consumatore

28 Statistica, CLEA p. 28/68 Rappresentazione grafica per due variabili votazione media alla laurea punteggi dei test di matematica per l ammissione all università del Midwest X Y

29 Statistica, CLEA p. 29/68 Descrizione numerica dei dati Misure di tendenza centrale moda media (variabili quantitative) mediana (variabili qualitative ordinali e quantitative) Misure di variabilità (variabili quantitative) campo di variazione e coefficiente interquartile varianza e scarto quadratico medio coefficiente di variazione Misure di asimmetria Misure di relazioni fra le variabili Relazioni lineari: modello di regressione

30 Statistica, CLEA p. 30/68 Moda e classe modale La moda è la modalità della X che si presenta il maggior numero di volte. sesso: {M, M, F, M, F, F, F }, la moda è la modalità F voti: {21, 30, 24, 18, 21, 29}, la moda è la modalità 21 La moda può non esistere. Es. sesso: {M, M, F, M, F, F, F, M} La moda, se esite, corrisponde alla modalità con la maggiore frequenza Nel caso di distribuzioni in classi, non si può definire la moda ma la classe modale, cioè la classe con maggiore frequenza. Modalità Livello di soddisfazione freq. ass. molto insoddisfatto 40 abbastanza insoddisfatto 6 indifferente 37 abbastanza soddisfatto 17 molto soddisfatto Classi Età n k

31 Statistica, CLEA p. 31/68 Media aritmetica e sue proprietà Data una variabile quantitativa X, la media aritmetica µ per distribuzioni individuali {a 1,..., a N } si calcola: N µ = 1 N i=1 a i Proprietà della media aritmetica: la somma degli scarti dalla media è zero: N i=1 (a i µ) = 0 la somma degli scarti al quadrato N i=1 (a i c) 2 è minima quando c = µ N i=1 a i = Nµ la media è compresa sempre fra il valore minimo e massino della X aggiungendo o sottraendo a tutti i valori a i una costante c 0, la media risulta aumetata o diminuita di c moltiplicando o dividendo tutti i valori a i per una stessa costante c la media risulta moltiplicata per c N.B. Dato un campione di n < N osservazioni, la media campionaria è x = 1 n n i=1 a i

32 Statistica, CLEA p. 32/68 Media aritmetica per distribuzioni di frequenza distrib. frequenza: 1 N K x k n k = k=1 k x k f k k=1 distrib. frequenza in classi media esatta 1 N K µ k n k = k=1 K µ k f k k=1 dove µ k è la media delle osservazioni in ogni classe media approssimata 1 N K m k n k = k=1 K m k f k k=1 dove m k è il valore centrale della classe ( ) N.B. (*) Sotto l ipotesi di uniforme distribuzione nelle classi, µ k = m k.

33 Statistica, CLEA p. 33/68 Media aritmetica per distribuzioni di frequenza Voto all esame di 10 studenti = {18, 23, 18, 25, 30, 30, 27, 25, 29, 20}. distrib. individuale µ = 1 ( ) = distrib. frequenza: Voto x k n k x k n k µ = 1 [(18 2) (25 2) (30 2)] =

34 Statistica, CLEA p. 34/68 Media per distribuzioni in classi Voto Classi n k µ k µ k n k m k m k n k Classi n k µ k m k m k n k ( )/4= ( )/3= ( )/3= media aritmetica: µ = 1 K 10 k=1 µ kn k = = 24.5 media approssimata con classi (18 24), (24 28), (28 30): µ = 1 K 10 k=1 m kn k = = 24.9 media approssimata con classi (18 26), (26 28), (28 30): µ = 1 Kk=1 m 10 k n k = = 24.6 N.B. L approssimazione migliora quanto più i valori centrali m k sono vicini alle medie di classe µ k

35 Statistica, CLEA p. 35/68 Media di potenza: M r = r 1 K N k=1 x k r n k r = 1: la media aritmetica M 1 = µ r = 0: media geometrica (se e solo se x k 0 ) M 0 = N K x n k k = k=1 K k=1 x k f k r = 1: media armonica M 1 = N K k=1 1 x k n k = 1 K k=1 1 x k f k r = 2: media quadratica M 2 = 1 N K x k 2 n k = K x k 2 f k k=1 k=1

36 Statistica, CLEA p. 36/68 Mediana La mediana M e: per calcolarla è necessario ordinare le osservazioni in modo crecsente è un indice di posizione indica il valore che divide essattamente i dati osservati in due gruppi della stessa numerosità Nel caso di distribuzione unitaria: N dispari: N pari: Me = a N+1 2 Me = a N/2 + a N/2+1 2 Esempio: {10, 25, 2, 17, 24, 9, 12} {2, 9, 10, 12, 17, 24, 25}; (N + 1)/2 = 4, perciò Me = a 4 = 12. {10, 25, 2, 24, 9, 12} {2, 9, 10, 12, 24, 25}; N/2 = 3, perciò Me = (a 3 + a 4 )/2 = ( )/2 = 11.

37 Statistica, CLEA p. 37/68 Mediana per distribuzioni di frequenza La mediana Me in una distrib. frequenza è la modalità x k, tale che F k > Funzione di ripartizione F(2) = 0.88 F(3) = 0.96 F(4) = 1 frequenze rel. cumulate Me = 1; F(1) = 0.7 >0.5 F(0) = 0.24 < 0.5 non esite x, tale che F(x) = 0.5 perché la funzione non è continua numero di figli Modalità freq. ass freq. rel freq. rel. cum Me = 1

38 Statistica, CLEA p. 38/68 Mediana per distribuzioni in classi La mediana Me in una distrib. in classi è la modalità x k, tale che F (x k ) = Funzione di ripartizione Freq. realtive cumulate F(24.8) = 0.5 esiste x tale che F(x)=0.5 perché la funzione è continua Me = età Età Me = = 24.8 Classi fre. rel freq rel. cum

39 Statistica, CLEA p. 39/68 Quantili Un quantile Q: per calcolarlo è necessario ordinare le osservazioni in modo crecsente è un indice di posizione indica il valore che divide essattamente i dati osservati secondo una certa proporzione la mediana è un quantile particolare i quantili più usati sono Q 1 : primo quartile che o 25-esimo percentile Q 2 : secondo quartile che coincide con la Me Q 3 : terzo quartile o 75-esimo percentile Nel caso di distribuzione unitaria: N dispari: N pari: Q 1 = a N+1 4 Q 1 = a N/4 + a N/4+1 2, Q 3 = a 3(N+1) 4, Q 3 = a 3N/4 + a 3N/4+1 2

40 Statistica, CLEA p. 40/68 Quartili per distribuzioni di frequenza Q 1 e Q 3 in una distrib. freq. sono la modalità x k, tale che F (x k ) > 0.25 e F (x k ) > Funzione di ripartizione 0.9 frequenze rel. cumulate Q3 = 2 ; F(2)=0.88 Q1 = Me = 1; F(1) = numero di figli Modalità freq. ass freq. rel freq. rel. cum Q 1 = Me = 1, Q 3 = 2

41 Statistica, CLEA p. 41/68 Quartili per distribuzioni in classi Q 1 e Q 3 in una distrib. in classi è la modalità x k, tale che F (x k ) = 0.25 e F (x k ) = Funzione di ripartizione F(34.6)=0.75 Freq. realtive cumulate F(14.3)= Q1 = 14.3 Q3 = età Età Classi fre. rel freq rel. cum

42 Statistica, CLEA p. 42/68 Proprietà della mediana e dei quartili Sono medie di posizione che si possono calcolare per variabili quantitative o qualitative ordinali una volta ordinati i dati, corrispondono alla modalità della X che occupa una certa posizione Q 1 Me Q 3 N i=1 a i c è minimo se c = Me Differenza fra media e mediana: la media è un indice analitico che risente dei valori estremi, la mediana no perché è un indice di posizione confrontando media e mediana si può verificare la simmetria/asimmetria della distribuzione Dist. simmetrica: {4, 8, 12, 10, 2, 6, 14} {2, 4, 6, 8, 10, 12, 14} : µ = 8 = Me = 8 Dist. asimmetrica positiva: {3, 4, 20, 3, 2, 25, 2} {2, 2, 3, 3, 4, 20, 25} : µ = 8.4 > Me = 3 Dist. asimmetrica negativa: {16, 1, 15, 15, 2, 16, 2} {1, 2, 2, 15, 15, 16, 16} : µ = 9.6 < Me = 15

43 Statistica, CLEA p. 43/68 Simmetria La simmetria di una distribuzione si può capire anche dall istogramma: Istogramma x Media = Mediana = Distrib. simmetrica: media = moda = mediana

44 Statistica, CLEA p. 44/68 Asimmetria L asimmetria di una distribuzione si può capire anche dall istogramma: 4000 Istogramma 4000 Istogramma 3500 Media = 5.03 Mediana = Media = 3.99 Mediana = Distrib. asimmetrica positiva: moda < mediana < media Distrib. asimmetrica negativa: media < mediana < moda

45 Statistica, CLEA p. 45/68 Variabilità La variabilità è un ulteriore indicatore sintetico dei dati che ci dice quanto le osservazioni si discostano dalla media. E un indicatore di dispersione. Esempio banale: nella distribuzione {10, 10, 10, 10, 10, 10, 10, 10} la media è 10 e la variabilità è 0 in quanto assente. nella distribuzione {10, 15, 5, 18, 2, 19, 1, 10} la media è sempre 10 ma non c è assenza di variabilità. Indici di variabilità (solo per variabili quantitative): scarto quadratico medio varianza coefficiente di variazione campo di variazione differenza interquartile

46 Statistica, CLEA p. 46/68 Scarto quadratico medio distr. semplici σ = 1 N N (a i µ) 2 i=1 distr. frequenza σ = 1 N K (x k µ) 2 n k = K (x k µ) 2 f k k=1 k=1 distr. in classi σ = 1 N K (m k µ) 2 n k = K (m k µ) 2 f k k=1 k=1 N.B. Dato un campione di n < N osservazioni, la dev. standard campionaria è s = 1 n n 1 i=1 (a i µ) 2, s = 1 n n 1 i=1 (x i µ) 2 n i,...

47 Statistica, CLEA p. 47/68 Varianza La varianza è lo scarto quadratico medio al quadrato: V AR(X) = σ 2 = 1 N K (x k µ) 2 n k k=1 Esempio banale: nella distribuzione {10, 10, 10, 10, 10, 10, 10, 10}: µ = 10, σ = σ 2 = 0 nella distribuzione {10, 15, 5, 18, 2, 19, 1, 10}: µ = 10, σ = , σ 2 = 42.5 Entrambi gli indici di variabilità dipendono dall unità di misura: date due distribuzioni X e Y, la loro variabilità non si può confrontare se si utilizzano unità di misura diverse. N.B. Dato un campione di n < N osservazioni, la varianza campionaria è s 2 = 1 n 1 n (x i µ) 2 n i. i=1

48 Statistica, CLEA p. 48/68 Altri indici di variabilità Coefficiente di variazione (non risente dell unità di misura) CV = σ µ campo di variazione x max x min differenza interquartilica: Q 3 Q 1

49 Statistica, CLEA p. 49/68 Indice di asimmetria distr. individuali α = 1 σ 3 N (a i µ) 3 i=1 distr. frequenza distr. in classi Interpretazione dell indice: α = 0: simmetria α > 0: asimmetria positiva α < 0: asimmetria negativa α = 1 σ 3 α = 1 σ 3 K (x k µ) 3 f k k=1 K (m k µ) 3 f k k=1

50 Statistica, CLEA p. 50/68 Simmetria Istogramma x Media = Mediana = Stand. Deviation = 1.2 Ind. Asimm. = Distrib. simmetrica: media = moda = mediana

51 Statistica, CLEA p. 51/68 Asimmetria 4000 Istogramma 4000 Istogramma Media = 5.03 Mediana = 4.39 Dev. standard = 3.15 Ind. asimm. = Media = 3.99 Mediana = 3.39 Dev. standard = 3.19 Ind. Asimm. = Distrib. asimmetrica positiva: moda < mediana < media Distrib. asimmetrica negativa: media < mediana < moda

52 Statistica, CLEA p. 52/68 Analisi congiunta di due variabili Fino ad ora abbiamo analizzato singolarmente ogni variabile attraverso indicatori di posizione (indicatori dell andamento medio) indicatori di scala (indicatori di variabilità) Date due variabili X e Y vogliamo effettuare un analisi congiunta per valutare se esiste una relazione lineare fra le due variabili. Lo faremo attraverso degli indicatori sintetici covarianza coefficiente di correlazione modello di regressione

53 Statistica, CLEA p. 53/68 Covarianza Date N osservazioni su due variabili quantitative X = {x 1,..., x N } e Y = {y 1,..., y N }, la covarianza è un indice che ci dice come la Y varia in media linearmente rispetto alla X e viceversa: COV (X, Y ) = σ XY = 1 N N (x i µ X )(y i µ Y ) i=1 il segno di σ XY indica la direzione della relazione: σ XY (+): quando X, in media Y e viceversa σ XY ( ): quando X, in media Y e viceversa il valore assoluto σ XY indica la forza della relazione, ma dipende dall unità di misura delle due variabili, perciò non è confrontabile con σ V Z di altre due variabili V e Z. Non ha nè un massimo nè un minimo. N.B. Dato un campione di n < N osservazioni, la covarianza campionaria è s XY = 1 n 1 n (x i x)(y i y) i=1

54 Statistica, CLEA p. 54/68 Coefficiente di correlazione Il coefficiente di correlazione è un indice relativo che varia fra 1 e 1 misura la relazione lineare fra due variabili X e Y. Quindi è confrontabile fra diverse ditribuzioni: CORR(X, Y ) = ρ XY = Ni=1 (x i µ X )(y i µ Y ) N i=1 (x N = i µ X ) 2 i=1 (y i µ Y ) 2 σ XY σ X σ Y il segno di ρ XY indica la direzione della relazione: ρ XY (+): quando X, in media Y e viceversa ρ XY ( ): quando X, in media Y e viceversa il segno di ρ XY dipende solo dalla covarianza σ XY 1 ρ XY 1 ρ XY = 1: perfetta dipendenza lineare positiva ρ XY = 1: perfetta dipendenza lineare negativa N.B. Dato un campione di n < N osservazioni, il coeff. di corr. campionario è r XY = s xy s x s y

55 Statistica, CLEA p. 55/68 Covarianza e coefficiente di correlaione Misurano la relazione lineare fra due variabili: VAR(X) = VAR(Y) = COV (X,Y) = CORR(X,Y)= VAR(X) = VAR(Y) = COV(X,Y)= CORR(X,Y)= costo dei fiori votazione media alla laurea età del consumatore punteggi dei test di matematica per l ammissione all università del Midwest

56 Statistica, CLEA p. 56/68 Perfetta dipendenza lineare Perfetta dipendenza lineare perché i punti sono allineati su una retta: 50 Perfetta dipendenza lineare positiva 15 Perfetta dipendenza lineare negativa VAR(X) = VAR(Y) = 110 COV(X,Y) = CORR(X,Y) = VAR(X) = VAR(Y) = 110 COV(X,Y) = CORR(X,Y) = 1 Y Y X X

57 Statistica, CLEA p. 57/68 Assenza di dipendenza lineare I punti sono allineati su una parabola. Questo indica la presenza di un legame funzionale che non è di tipo lineare: 5000 Assenza di dipendenza lineare VAR(X) = VAR(Y) = COV(X,Y) = CORR(X,Y) = Y X

58 Statistica, CLEA p. 58/68 Un modello per l analisi bivariata Si cerca un modello in grado di spiegare al meglio la relazione fra due variabili Y e X, in particolare l effetto che la X ha sulla Y Y : variabile dipendente, variabile risposta X: variabile indipendente, variabile esplicativa costo dei fiori votazione media alla laurea età del consumatore punteggi dei test di matematica per l ammissione all università del Midwest

59 Statistica, CLEA p. 59/68 Regressione lineare semplice Si ipotizza che la relazione fra due variabili X e Y si può descrivere Y = f(x) + errore f(x) indica il comportamento della variabile Y spiegato dalla X l errore indica la parte residuale di Y che non può essere spiegata dalla X se f(x) è lineare Y = α + βx + errore il problema statistico consiste nel trovare i valori dei coefficienti di regressione (a, b) tali che, data la X, la retta Ŷ = a + bx approssima al meglio i dati Y, (a, b) : e = Y Ŷ l errore è molto piccolo

60 Statistica, CLEA p. 60/68 Alcuni esempi CORR(X,Y) = CORR(X,Y) = CORR(X,Y) = x x CORR(X,Y) = CORR(X,Y) = CORR(X,Y) =

61 Statistica, CLEA p. 61/68 Problema statistico Dato un insieme di osservazioni X = {x 1,..., x N }, Y = {y 1,..., y N }, si devono trovare i valori dei coefficienti di regressione (a, b) tali che, per ogni x i, la retta ŷ i = a + bx i approssima al meglio y i (minimizza la componente di errore e i = y i ŷ i ) Y 18 Rette di regressione, qual è la migliore? 14 Y = a + b X 10 6 Y = a + b X e 14 e X

62 Statistica, CLEA p. 62/68 Metodo dei minimi quadrati Dato un insieme di osservazioni X = {x 1,..., x N }, Y = {y 1,..., y N }, si scelgono i valori dei coefficienti di regressione (a, b) tali che R(a, b) è minimo R(a, b) = N N e 2 i = (y i ŷ i ) 2 = i=1 i=1 N (y i a bx i ) 2 i=1 per ogni valore x i, il valore stimato della y i è ŷ i = a + bx i e l errore è la differenza fra il valore osservato e stimato e i = y i ŷ i per ogni valore x i e la corrispondente stima ŷ i, il valore osservato è y i = ŷ i + e i

63 Statistica, CLEA p. 63/68 Stime dei minimi quadrati Dato un insieme di osservazioni X = {x 1,..., x N }, Y = {y 1,..., y N }, le stime dei coefficienti di regressione sono b = COV (X, Y ) V AR(X) = σ XY σ 2 X = ρ XY σ Y σ X, a = µ y bµ x Il segno del coeff. angolare b della retta dipende dal segno della COV (X, Y ) e quindi della CORR(X, Y ) questi sono i valori (a, b) tali che R(a, b) = N i=1 e2 i è minimo

64 Statistica, CLEA p. 64/68 Due esempi Media(X) = 5.02 Media(Y) = COV(X,Y) = 7.78 VAR(X) = VAR(Y) = 4.24 CORR(X,Y) = Media(X) = 4.62 Media(Y) = 9.75 VAR(X) = VAR(Y) = 4.01 COV(X,Y) = 7.30 CORR(X,Y) = b = (7.78/15.38) = 0.51 a = *5.02 = b = 7.30/14.11 = 0.52 a = *( 0.52) =

65 Statistica, CLEA p. 65/68 Bontà di adattamento La qualità della regressione è tanto migliore quanto più la variabilità della Y è spiegata dal modello piuttosto che dall errore V AR(Y ) = 1 N N (y i µ y ) 2 = 1 N i=1 N (ŷ i µ y ) N i=1 N (y i ŷ i ) 2 i=1 dove SSR = 1 N N i=1 (ŷ i µ y ) 2 è la variabilità della Y spiegata dal modello SSE = 1 N N i=1 (y i ŷ i ) 2 è la variabilità non spiegata dal modello. In particolare, SSE = R(a, b) = N i=1 e2 i che viene minimizzata col metodo dei minimi quadrati

66 Statistica, CLEA p. 66/68 Indice di bontà di adattamento Dato che V AR(Y ) = SSR + SSE, si ottiene un indice della bontà di adattamento del modello di regressione: R 2 = SSR V AR(Y ) = 1 SSE V AR(Y ) = ρ2 XY 0 R 2 1, è un indice relativo R 2 = 0: pessima regressione poiché V AR(Y ) = SSE e la retta di regressione è costante ŷ = µ y con b = 0 e ρ XY = 0 R 2 = 1: regressione perfetta poiché V AR(Y ) = SSR e i punti sono già allineati su una retta (ρ XY = ±1)

67 Statistica, CLEA p. 67/68 0 < R 2 < Bontà di adattamentobonb Bontà di attamento = 0.78 CORR(X,Y) = 0.89 a = 6.42 b = Bontà di adattamento = 0.64 CORR(X,Y)= 0.80 a = b =

68 Statistica, CLEA p. 68/68 R 2 = 0, R 2 = Bontà di adattamento = 0 CORR(X,Y) = 0 a = media(y) = b = Bontà di adattamento = 1 CORR(X,Y) = 1 a = 2 b =