Correlazione e regressione per problemi di Luciano Corso

Transcript

1 Correlazione e regressione per problemi di Luciano Corso Presidente della sezione di Verona della Mathesis Direttore della Rivista MatematicaMente lcorso@iol.it CASTELLAMMARE DI STABIA

2 Due variabili statistiche X e Y, su base sperimentale, hanno presentato la seguente distribuzione delle frequenze (va inteso che la coppia (x=5, y=4) è stata osservata 3 volte): x y

3 Quesiti 1) Si chiede se i due caratteri sono statisticamente indipendenti. 2) Si verifichi l ipotesi di indipendenza statistica tra i due caratteri al livello di significatività del = 5%. 3) Si calcolino medie aritmetiche e varianze totali e si valuti quale delle due variabili ha una maggiore variabilità. 4) Si determini la media aritmetica di x condizionata da y = 4 e la media aritmetica di y condizionata da x = 2. 5) Si calcolino la covarianza e il coefficiente di correlazione lineare. 6) Si determini la retta (interpolante) di regressione. 7) Si valuti con un opportuno indice la bontà dell accostamento fatto tra fenomeno osservato e modello teorico. 8) Si tracci il grafico del fenomeno presentato in tabella e del modello teorico interpolato.

4 Obiettivo didattico L obiettivo della verifica è di valutare se uno studente possiede i concetti di indipendenza statistica di due variabili, di verifica delle ipotesi (inferenza statistica), di correlazione lineare tra due variabili, di dipendenza lineare e di regressione, di bontà di un accostamento tra dati sperimentali e modelli teorici, di medie totali e condizionate e di misure comparabili della variabilità.

5 Verificare l indipendenza statistica tra X e Y Prob x.j y i. = Prob x.j Prob y i., i, j. n ij n = n i. n n.j n, i, j n ij = n i. n.j n, i, j

6 Calcolo delle frequenze assolute congiunte in ipotesi di indipendenza statistica x fr marg. Y 1 2 (6/16) 1 (6/16) 0 (15/16) 0 (12/16) 0 (3/16) 0 (6/16) 3 y 3 0 (12/16) 1 (12/16) 4 (30/16) 1 (24/16) 0 (6/16) 0 (12/16) (10/16) 0 (10/16) 1 (25/16) 3 (20/16) 1 (5/16) 0 (10/16) (4/16) 0 (4/16) 0 (10/16) 0 (8/16) 0 (2/16) 2 (4/16) 2 Freq. Assol. Marginali x

7 Test delle ipotesi H 0 = Dichiaro che è vero lo stato 0 α=prob(h1 Ω0) ; β=prob(h0 / Ω1) H 1 = Dichiaro che è vero lo stato 1 W 0 = È vero lo stato 0 W 1 = È vero lo stato 1 STATI DI NATURA W 0 W 1 IPOTESI H 0 H 0 W 0 H 0 W 1 H 1 H 1 W 0 H 1 W 1

8 Si fissano le ipotesi: H 0: n i,j = n i,j H 1 : n i,j n i,j, i, j i, j = 0,05

9 2) Per verificare se questa dipendenza è o no casuale si applica il test delle ipotesi sulla statistica χ 2 r = c j=1 [ n i,j n i,j 2 / ni,j ] dove n i,j e n i,j sono rispettivamente le frequenze assolute osservate e teoriche in ipotesi di indipendenza; dal calcolo (r = 4, c = 6), dove r è il numero di righe e c il numero delle colonne della tabella, risulta che χ

10 Si dimostra che χ 2 ha una distribuzione di probabilità del tipo Gamma: G χ 2 λ = 1/2,υ/2). Presentiamo la densità di probabilità e il grafico della distribuzione della varia-bile aleatoria χ 2 g χ 2 λ = e v, v λ χ2 χ 2 = 2 2 Γ v 2 v 2 1, χ 2 χ 2 R + 0 altrove (3)

11

12 Equazione integrale: c 2 (critico) 25. Si respinge H 0. න 0 2 χ critico 2 v 2 e λ χ2 χ 2 v 2 1 Γ v 2 dχ 2 = 0.95.

13 3) Calcoliamo medie, varianze e coefficienti di variazione M(x) = 63/16 ; V x = M x xҧ 2 = 1135/256 ; υ x = V x xҧ ; M(y) = 53/16 ; V y = M y തy 2 = 535/256 ; υ y = V y തy

14 4) Medie condizionate: M(x y = 4)= 24/5, M(y x = 2)= 2.

15 5) Calcolo della covarianza C x, y = M x xҧ y തy C(x, y) = M(x y) M(x) M(y) = 709/256

16 Coefficiente di correlazione lineare di Bravais-Pearson r x, y = C x,y V x V y r +1

17 Dimostrazione di: 1 r +1 x x)t ҧ = y തy ==> y തy x xҧ t = 0 M y തy x xҧ t 2 0 M x xҧ 2 t 2 2M x xҧ y തy t + M y തy 2 0 σ 2 x t 2 2 σ xy t + σ 2 y 0 σ 2 xy σ 2 x σ 2 y 0 ==> σ x σ y σ xy +σ x σ y 1 σ xy σ x σ y +1

18 Regola dei minimi quadrati Modello: ŷ = a + b x n S a, b = σ y i y 2 n i = σ y i a bx i 2 S n a = 2 S n b = 2 y i a bx i y i a bx i 1 x i

19 Metodo dei Minimi Quadrati ponderati c S a, b = j=1 c S a, b = j=1 r r y ij y ij 2 nij y ij a b x ij 2 nij S c a = 2 j=1 S c r b = 2 j=1 r j=1 r j=1 c r c y ij a b x ij 1 n ij y ij a b x ij x ij n ij n ij + r j=1 r x ij n ij + j=1 c c x ij n ij = r j=1 r x ij 2 n ij = j=1 c c y ij n ij x ij y ij n ij

20 n a + n n x i a + n 16 a + 63 b = 53 ቊ 63 a b = 253 x i b = x i 2 b = 968 a = 1135 ቐ b = n y i n x i y i ; y = x

21 Un modo statistico per arrivare allo stesso risultato: a = M y b M x b = 709/ /256 = a = = ==> b = C x,y V x y = a + b x Dimostrazione: ቊ തy = a + bxҧ y തy = b x x ҧ x xҧ y തy = b x xҧ 2 M x xҧ y തy = b M x xҧ 2

22 Grafico