Regressione e Correlazione (cap. 11) Importazione dati da file di testo

Transcript

1 Regressione e Correlazione (cap. 11) Importazione dati da file di testo

2 Introduzione Nella statistica applicata si osserva la relazione (dipendenza) tra due o più grandezze. Esigenza: determinare una funzione che rappresenti i dati ricavati dalle osservazioni Prima strategia: determinare una funzione che assuma esattamente i dati rilevati (interpolazione per punti noti) Seconda strategia: determinare una funzione che si accosti il più possibile ai punti noti (generalmente preferita) (interpolazione fra punti noti)

3 Introduzione Si sceglie la funzione in base all andamento del fenomeno: lineare, quadratica, esponenziale Si procede alla determinazione dei parametri (costanti che compaiono nella funzione scelta), in modo che sia soddisfatta una condizione di accostamento prefissata, la condizione dei minimi quadrati EXCEL ci mette a disposizione 3 diversi metodi di interpolazione di una retta di regressione come applicazione del metodo dei minimi quadrati: AGGIUNGI LINEA DI TENDENZA; REGR.LIN; REGRESSIONE

4 AGGIUNGI LINEA DI TENDENZA Creare il grafico di dispersione associato ai dati Usare il comando AGGIUNGI LINEA DI TENDENZA : selezionare i dati sul grafico e, dopo aver premuto il pulsante destro, scegliere l opzione Aggiungi linea di tendenza. Infine si seleziona il tipo di regressione. Sul grafico viene tracciata automaticamente la miglior retta passante per i dati E possibile visualizzare l equazione della retta Come dato statistico si ha solo a disposizione il coefficiente di correlazione R

5 Esempio 11.1 In un esperimento si sono misurate le lunghezze in cm di una molla sottoposta a successivi carichi in kg, ottenendo i seguenti risultati Pesi Lunghezze 1 12,0 2 13,5 3 14,8 4 16,5 5 18,2 PROVIAMO: inserire linea di tendenza con regressione lineare (in analisi dei dati; in Layout, selezionare Linea di tendenza menù a sinistra - e spuntare quanto serve)

6 Lunghezze Esempio 11.1: risultato 20,0 18,0 16,0 14,0 12,0 10,0 8,0 6,0 4,0 2,0 0,0 Pesi y = 1,54x + 10,38 R² = 0,9973 Pesi Lineare (Pesi)

7 Funzione REGR.LIN A differenza di AGGIUNGI LINEA DI TENDENZA, tale funzione restituisce alcuni parametri statistici in più. Restituisce una matrice di valori. Deve essere immessa come formula in forma di matrice (Nell ultimo inserimento, invece di fare clic su OK o di premere INVIO, si deve premere INVIO tenendo contemporaneamente premuti i tasti CTRL e SHIFT). Solo così sul blocco di celle selezionate precedentemente, saranno visualizzati i risultati del calcolo, ossia i dati relativi alla retta di equazione y = a x + b

8 REGR.LIN REGR.LIN(y_nota;x_nota;cost;stat) y_nota: intervallo di celle contenenti la y sperimentale x_nota: intervallo di celle contenenti la x sperimentale (facoltativo: potrebbe essere già noto dalla relazione lineare) cost: fa riferimento all intercetta, ovvero se la retta deve passare o meno per l origine. Immettere VERO se non passa per l origine e FALSO se passa per l origine stat: con VERO la funzione, oltre ai coefficienti della retta, restituisce alcuni dati statistici; con FALSO restituisce solo i coefficienti della retta

9 Esempio 11.3 La tabella riporta i prezzi al lotto di un prodotto, rispetto al numero di pezzi difettosi contenuti N pezzi difettosi Prezzo al lotto 2 77, , , , ,00 PROVIAMO: selezionare una zona di 5 celle e 2 colonne e scrivere REGR.LIN(colonne prezzo; colonne pezzi; VERO, VERO)

10 Esempio 11.3: risultato Otteniamo i seguenti dati. Cosa significano? a b Incertezza su b Coefficiente di correlazione -1, ,9 0, , , , , ,325 Incertezza su a Y = -1,75 X + 75,9

11 Grafico dei residui Con i dati statistici ottenuti con la funzione REGR.LIN possiamo ora tracciare il grafico dei residui, in questo modo: Inserisco una colonna con i valori della retta nelle X sperimentali : Y_calc = a X_sper + b Inserisco una colonna con i valori dei residui: Y_sper Y_calc Inserisco un grafico con ascisse le X_sper e ordinate i residui (il grafico sarà un grafico a linee con indicatori in cui elimino le linee) residui Y_calc Y_s - Y_calc 72,40 5,10 67,15-2,65 58,40-4,40 53,15-1,15 40,90 3,10 6,00 4,00 2,00 0,00-2,00-4,00-6, prezzi

12 REGRESSIONE Lo strumento REGRESSIONE è disponibile tramite STRUMENTI -> ANALISI DATI -> REGRESSIONE.

13 REGRESSIONE Lo strumento REGRESSIONE è disponibile tramite STRUMENTI -> ANALISI DATI -> REGRESSIONE. A differenza di AGGIUNGI LINEA DI TENDENZA, tale funzione restituisce diversi parametri statistici in più. Inoltre permette anche di eseguire i minimi quadrati su una funzione Y che dipende da più di 2 variabili indipendenti

14 PARAMETRI DI INPUT Intervallo di input Y: intervallo di celle contenenti la y sperimentale Intervallo di input X: intervallo di celle contenenti la x sperimentale Livello di confidenza: livello di fiducia con cui vogliamo vengano espressi i valori dei coefficienti a e b Passa per l origine: ovvero se vogliamo imporre nel calcolo che la retta passi per l origine

15 PARAMETRI DI OUTPUT Intervallo di output Intervallo di celle in cui verranno mostrati i dati calcolati dallo strumento REGRESSIONE. Conviene scegliere, come riferimento, un nuovo foglio di lavoro Residui e Tracciati dei residui: contrassegnare tali opzioni in modo da visualizzare anche il grafico dei residui. Tracciati delle approssimazioni: grafico dei valori previsti, contrapposti a quelli stimati Tracciati delle probabilità normali: se il campione proviene da una distribuzione normale, i punti del grafico saranno allineati lungo la bisettrice.

16 Riprendiamo l esempio 11.1 In un esperimento, si sono misurate le lunghezza in cm di una molla sottoposta a successivi carichi in kg, ottenendo i seguenti risultati PESI LUNGHEZZE 1 12,0 2 13,5 3 14,8 4 16,5 5 18,2 PROVIAMO ad usare lo strumento REGRESSIONE

17 Commenti alle statistiche Statistica della regressione R multiplo 0, R al quadrato 0, R al quadrato corretto 0, Errore standard 0, Osservazioni 5 Coeff. di correlazione lineare: qui c è una forte correlazione positiva tra X e Y Coeff. di determinazione: il 99,73% della variazione della lunghezza della molla è attribuibile alla variazione del peso applicato Errore standard del valore previsto per y per ciascun x della regressione Coeff. di determinazione corretto: corretto tenendo conto del numero di campioni

18 Analisi della varianza I gdl SQ MQ F Significatività F Regressione 1 23,716 23, ,6875 5,93051E-05 Residuo 3 0,064 0, Totale 4 23,78 gdl regressione (risp. residuo): gradi di libertà associati alla somma dei quadrati della regressione (risp. dei residui) SQ regressione (risp. residuo): somma dei quadrati della regressione (risp. dei residui), ossia la somma dei quadrati delle differenze dei valori stimati dalla media (risp. dei valori osservati e dei valori stimati) SQ totale: somma totale dei quadrati, ossia delle differenze dei valori osservati dalla media MQ regressione (risp. residuo): media dei quadrati della regressione (risp. dei residui) F: valore della statistica test Significatività F: livello di significatività osservato. Rappresenta il livello di significatività più basso a cui un ipotesi può essere rifiutata per un insieme di dati. Se minore di una soglia data, si rifiuta l ipotesi nulla (b=0) che non vi sia una relazione lineare tra X e Y

19 Nel nostro caso? gdl SQ MQ F Significatività F Regressione 1 23,716 23, ,6875 5,93051E-05 Residuo 3 0,064 0, Totale 4 23,78 Essendo il valore di significatività molto piccolo, si può concludere che: l ipotesi che non vi sia una relazione lineare tra pesi e lunghezze delle molle, può essere decisamente scartata

20 Analisi della varianza II Coeffic ienti Errore standard Stat t Valore di significatività Inferiore 95% Superiore 95% Intercetta 10,38 0, , ,08297E-06 9, , Pesi 1,54 0, , ,93051E-05 1, , X Coefficienti Intercetta (risp. Pesi-X): il valore dell intercetta (risp. dell inclinazione) Errore standard dell intercetta (risp. Pesi-X) Stat t intercetta (risp. Pesi-X): valore della statistica test per la verifica dell ipotesi a=0 (risp. b=0) Valore di significatività intercetta (Pesi-X): livello della significatività osservato per la verifica dell ipotesi a=0) (risp. b=0) Inferiore 95% intercetta (risp. Pesi-X): limite inferiore dell intervallo di confidenza per a (risp. b), al livello di significatività del 95% Superiore 95% intercetta (risp. Pesi-X): limite superiore dell intervallo di confidenza per a (risp. b), al livello di significatività del 95%

21 Output residui, output dati Osservazione Previsto Lunghezze Residui Residui standard 1 11,92 0,08 0, ,46 0,04 0, ,2-1, ,54-0,04-0, ,08 0,12 0, Percentile Lunghezze , , , ,2

22 Residui Tracciato residui 0,15 Pesi Tracciato dei residui 0,1 0,05 0-0, ,1-0,15-0,2-0,25 Pesi Non evidenzia un andamento particolare

23 Lunghezze Tracciato della probabilità normale 20 Tracciato della probabilità normale Serie Percentile campionaria Evidenzia la normalità dei residui (se esce come istogramma, cambiare il grafico)

24 Y Tracciato approssimazioni 20,0 18,0 16,0 14,0 12,0 Tracciato delle approssimazioni 10,0 8,0 Y Y prevista 6,0 4,0 2,0 0, Variabile X 1 Se i valori di Y e Y prevista sono molto vicini conviene cambiare le Opzioni indicatore

25 Correlazione

26 Correlazione tra variabili due variabili numeriche x e y misurate sugli stessi individui di una popolazione. In altre parole abbiamo due campioni di dati dove x_i e y_i sono i valori delle due variabili misurate sullo stesso individuo. Rivediamo il diagramma di dispersione

27 Ritorniamo all esempio del geyser Abbiamo a disposizione un campione (222) di misurazioni su due grandezze D= durata dell eruzione (in minuti) T = tempo di attesa per l eruzione successiva (in minuti) Abbiamo calcolato la tabella delle frequenze, prendendo come classi i singoli valori della variabile T

28 Osserviamo che i dati sono concentrati in due blocchi PROVATE VOI: non avete i 222 campioni, ma solo 24

29 Altro esempio Nella tabella seguente sono stati considerati 12 neonati per i quali è stato misurato Il peso alla nascita (x) L aumento percentuale di peso tra il 70 e il 100 giorno di vita (y) Esiste una relazione tra le due variabili? Rappresentiamo la tabella usando un diagramma cartesiano di dispersione, in cui consideriamo le coppie (x_i, y_i)

30 Interpretazione del diagramma I valori tendono ad allinearsi lungo una retta: c è correlazione fra i due valori. Sorprendentemente, si osserva una tendenza negativa : ad un maggior peso alla nascita, corrisponde una minor crescita

31 Correlazione La correlazione si misura mediante indici, tra cui il coefficiente di correlazione lineare r, ed esprime la «forza», o «intensità», del loro legame. Talvolta l analisi della correlazione precede lo studio della regressione, in quanto una variabile viene confrontata con varie altre per vedere quelle più connesse fra loro. Covarianza di X e Y (ossia varianza congiunta di X e Y) varianza di X e varianza di Y

32 Coefficiente di correlazione lineare (o di Pearson): proprietà Valore compreso tra -1 e 1 r = 1 se dati allineati lungo una retta crescente r = -1 se dati allineati lungo una retta decrescente r = 0 se non esiste relazione lineare tra i due caratteri

33 Coefficiente di determinazione E calcolata come differenza dalla retta di regressione dal valore medio

34 Coefficiente di determinazione E calcolata come differenza dalla retta di regressione dal valore medio Si tratta di un altro coefficiente che indica quale frazione di varianza totale dipende dalla dipendenza tra Y e X (varianza spiegata), ossia quale frazione della variazione della variabile Y è spiegata dalle variazioni della variabile X. Quanto più è vicino a 1, tanto è maggiore la bontà del modello lineare

35 In Excel La covarianza è determinabile dalla funzione: COVARIANZA(matrice1;matrice2) [matrice1,matrice2: primo e secondo intervallo di celle di interi] Il coefficiente di correlazione lineare (r) è calcolato da una delle seguenti funzioni: CORRELAZIONE(matrice1;matrice2) PEARSON(matrice1;matrice2) [matrice1(risp. matrice2): insieme di valori indipendenti (risp. dipendenti)] Il coefficiente di determinazione (r 2 ) è calcolato dalla funzione: RQ(y_nota;x_nota) [y_nota,x_nota: matrici o intervalli di valori]

36 Esempio 11.4 Mediante uno spettrofotofluorimetro vengono studiate alcune soluzioni acquose di fluorosceina, la cui concentrazione viene espressa in picogrammi (pg) per cm 3 di soluzione concentrazione intensità 0 2,1 2 5,0 4 9,0 6 12,6 8 17, , ,7 Proviamo a calcolare la dipendenza tra X e Y

37 Esempio 11.4 concentrazione intensità 0 2,1 2 5,0 4 9,0 6 12,6 8 17, , ,7 Otteniamo i seguenti dati covarianza = 30, coeff. corr.= 0, coeff. det.= 0, Essendo il coefficiente di correlazione prossimo a 1, vuol dire che le due rette di regressione sono molto vicine. Inoltre, essendo il coefficiente di determinazione prossimo a 1, possiamo affermare che circa il 99,7% della varianza di Y dipende da X. Quindi il modello lineare esprime bene la relazione tra Y e X.

38 Inserimento dati da file di testo

39

40 File testo

41

42 Delimitati

43 Passo 3