Poiché la retta è definita dall equazione: y = a + bx. Capitolo 4. Regressione e Correlazione.

Transcript

1 Diaz - Appunti di tatitica - AA 1/ - edizione 9/11/1 Cap. 4 - Pag. 1 Capitolo 4. Regreione e Correlazione. Regreione Il termine regreione ha un'origine antica ed un ignificato molto particolare. L inventore è un certo F.Galton, genetita, che nel 1889 pubblicò un articolo in cui dimotrava come ogni caratteritica di un individuo è ereditata dalla prole, ma in media ad un livello minore. Ad eempio, i figli di un genitore di tatura alta ono anch ei alti, ma in media ono meno alti del genitore. Tale fenomeno, decritto anche graficamente, fu chiamato regreione e da allora tale termine è rimato per definire quelle tecniche tatitiche che analizzano la relazione tra due o più variabili. Per analizzare la relazione tra due variabili occorre: (1) aumere un modello di relazione (lineare o anche non lineare) () valutare i parametri del modello e la loro variabilità (3) in bae ai dati ottenuti, verificare la validità del modello aunto inizialmente Ciò conente di fare time e previioni di notevole interee cientifico. L'analii della regreione i appoggia molto alla rappreentazione grafica. Le due variabili ono rappreentate dagli ai di un itema carteiano. Le oervazioni ono rappreentate dai punti: Il modello di relazione che per ora conideriamo è quello lineare. Vale a dire che la variazione tra la variabile e la variabile è rappreentabile da una retta. Ovviamente, ituazioni come la eguente non ono rappreentabili da una retta e per quete occorrerà trovare in eguito delle oluzioni alternative Poiché la retta è definita dall equazione: a + bx

2 Diaz - Appunti di tatitica - AA 1/ - edizione 9/11/1 Cap. 4 - Pag. occorre innanzitutto trovare i valori dei parametri a e b che meglio adattano la retta al modello (talvolta l'equazione è critta con altri imboli, come per e.: b + b 1 x). Il parametro a è detto intercetta (ull'ae ) mentre il parametro b è detto pendenza o fattore angolare o, internazionalmente, lope a Quando, come nel grafico, l'intercetta è zero, la retta paa per l'origine e l'equazione i emplifica: bx La relazione eprime in tal cao (ma olo in tal cao) un rapporto di proporzionalità. i può infatti crivere: x b Attenzione: c'è proporzionalità e e olo e il parametro a è pari a zero. In altre parole, e la retta non paa per l'origine, la relazione può eere lineare ma non può eervi proporzionalità. Ad e., non eite proporzionalità tra gradi centigradi e gradi Fahrenheit. Per queto motivo non è lecito, in ogni cao ed a qualiai titolo, elaborare rapporti, formulare indici, ecc. tra variabili e prima non i dimotra che eite proporzionalità, cioè che la retta di regreione paa per l'origine (a). Il parametro b invece deve eere comunque divero da zero. e b è zero non uite relazione in quanto a. Graficamente b corriponde ad una retta orizzontale b

3 Diaz - Appunti di tatitica - AA 1/ - edizione 9/11/1 Cap. 4 - Pag. 3 Per calcolare i parametri dell'equazione biogna introdurre un nuovo parametro tatitico: la codevianza ( x, ) in grado di timare la variabilità appaiata delle due variabili. La formula è analoga a quella della devianza, in quanto conite nella ommatoria dei prodotti degli carti tra i valori x e e le ripettive medie. [Per ragioni che appariranno evidenti in eguito, d ora in avanti in queto capitolo indicheremo le medie con la notazione x medio e medio anziché m x e m ]. x, (x x medio )( Ad eempio: medio (x-x medio )(- medio ) 1 (1-)(-4) 3 (-)(3-4) 3 7 (3-)(7-4)3 x, 5 x medio medio 4 x 14 Il parametro b i calcola come: ) b x, x Nell'eempio di opra, x, per cui b 5/.5. Per calcolare l'intercetta, bata apere che la retta deve neceariamente paare per il punto di interezione delle due medie x medio e medio. Pertanto, in bae all'equazione della retta, poiamo crivere: medio a + b x medio da cui i ricava l'intercetta: a medio - b x medio Nell'eempio riportato opra, a 4 - (.5 ) -1 L'equazione della retta di regreione arà quindi: x

4 Diaz - Appunti di tatitica - AA 1/ - edizione 9/11/1 Cap. 4 - Pag punto di interezione delle due medie medio xmedio Prima di andare avanti, biogna fare una importante oervazione. Le variabili e, pote ripettivamente in acia ed in ordinata, non ono intercambiabili. è infatti la coiddetta variabile indipendente, mentre è la coiddetta variabile dipendente. Non i tratta di una dipendenza caua-effetto (u queto punto anche molti autorevoli teti ono ambigui e non fuorvianti). Molto peo può anche eervi tra e una vera dipendenza caua-effetto (come nel cao doe del farmaco, effetto del farmaco). Ma per noi il termine indipendente i riferice olamente al tipo di variabilità nel eno di 'variato a priori, anche arbitrariamente'. Mentre dipendente ignifica 'libero di variare tatiticamente enza condizionamenti impoti dal campionamento'. Per eempio: e decidiamo di valutare la crecita di ragazzi poiamo cegliere di prendere ragazzi di età divera (1, 11, 1, ecc. anni) e poi di miurarne l'altezza (quella che riulterà). Quindi noi interveniamo rendendo uniforme la ditribuzione della variabile (e, prendendo 1 oggetti per ogni clae di età), mentre non interveniamo affatto ulla variabile che varierà pontaneamente, perando che lo faccia eguendo la ditribuzione normale ed avendo una certa relazione lineare con i valori di. Queto è il vero ignificato di variabile indipendente e variabile dipendente. Un cao un po paradoale, ma utile per chiarire queto apetto, è quello riportato in una notra indagine ulla maturazione dei denti dei ragazzi in cui è tato neceario e opportuno mettere come variabile indipendente lo tadio di viluppo del dente e come variabile dipendente l'età dei ragazzi: l'oppoto eatto della relazione di dipendenza biologica che vuole che i denti maturino in funzione dell'età. La tatitica non entra nel merito di queti fatti. Nel notro cao erviva aumere lo tadio di viluppo del dente come variabile indipendente in modo da poter prevedere l'età fiiologica del ragazzo (più importante dell'età anagrafica). Inoltre lo tadio di viluppo dentale non era ditribuito normalmente, e quindi, anche volendo, non poteva eere aunto come variabile dipendente mentre l'età ripondeva a queto requiito (lo tudio fu accettato enza obiezioni).

5 Diaz - Appunti di tatitica - AA 1/ - edizione 9/11/1 Cap. 4 - Pag. 5 Nel paragrafo precedente, abbiamo anticipato che i valori della variabile dipendente devono eere ditribuiti normalmente per ogni valore x in acia. Non olo, ma dovrebbero anche avere media linearmente variante al variare di x e deviazione tandard cotante. E' ovvio che quando i hanno pochi dati è impoibile verificare tali requiiti. Comunque, e doveero verificari evidenti aimmetrie dei valori attorno alla loro media (opetta non-normalità) oppure ditribuzioni bivariate a forma di punta di freccia (opetto trend della deviazione tandard) arebbe bene approfondire il problema e/o conultare un eperto. Analizziamo ora la variabilità della variabile dipendente. A fianco dei valori oervati mettiamo i valori calcolati in bae all'equazione di regreione. Vediamo quindi che eitono tre tipi di carti o differenze: differenze tra valori di oervati ( o ) e medio devianza totale o emplicemente devianza di, indicata con differenze tra valori di calcolati ( calc ) e medio devianza di regreione, indicata con reg differenze tra valori di oervati ( o ) e valori calcolati ( calc ) devianza di errore, indicata con re variabilità totale variabilità dovuta alla regreione variabilità reidua o di errore x o calc Σ(o - medio) Σ (calc - medio) Σ (o calc) (-4) 4 (1.5-4) 6.5 (-1.5) (3-4) 1 (4-4) (3-4) (7-4) 9 (6.5-4) 6.5 (7-6.5).5 x medio medio 4 codevianza x 5 devianze x 14 reg1.5 re1.5 gradi di libertà GDLn-1 GDLreg1 GDLren-1 varianze 7 reg1.5 re1.5

6 Diaz - Appunti di tatitica - AA 1/ - edizione 9/11/1 Cap. 4 - Pag. 6 carto totale o - medio * medio carto di regreione calc - medio carto reiduo o errore o - calc oervato calcolato

7 Diaz - Appunti di tatitica - AA 1/ - edizione 9/11/1 Cap. 4 - Pag. 7 Come i noterà nel grafico, tenendo conto del egno delle operazioni, per ogni valore oervato di, lo carto totale corriponde alla omma dello carto di regreione più lo carto di errore reiduo. Queto vale anche per la omma dei quadrati degli carti: la devianza totale di corriponde alla omma della devianza dovuta alla regreione più la devianza reidua: reg + re Lo teo vale per i gradi di libertà: GDL GDL reg + GDL re n n i tratta quindi di una decompoizione della variabilità totale di (diperione dei valori oervati attorno alla media) in una variabilità dovuta alla regreione (diperione dei valori dell'equazione attorno alla media) ed una variabilità reidua o di errore (diperione dei valori oervati attorno ai valori calcolati dall'equazione). E' come rendere giutizia dicendo che la variabilità imputabile ad è olo quella reidua, in quanto l'altra, quella dovuta alla regreione, è unicamente imputabile alla relazione tra ed. Le varianze ottenute dalla decompoizione della devianza totale di ono importanti per tetare l'ipotei nulla econdo cui la varianza di regreione e quella reidua iano uguali, che ignifica che non v'è relazione. Il tet i eegue con il rapporto: F reg re In queto cao i tratta quindi di una analii della varianza applicata alla regreione. Per l'ipotei nulla, F1. Come in precedenza, valori di F maggiori di 1 indebolicono via via la probabilità a favore dell'ipotei nulla. La tabella ci dirà e il valore di F ottenuto dal tet è più grande di quello corripondente ad α.5. Ovviamente, e F non riulterà ignificativo i dovrà accettare l'ipotei nulla e concludere che non vi è relazione ignificativa tra ed Finora abbiamo timato olo i parametri dell'equazione. Biogna adeo valutare la deviazione tandard di queti. Nota bene: poiché i tratta di parametri globali di campione - come nel cao delle medie - è indifferente parlare di deviazione tandard o errore tandard. Quindi la notazione a i definice indifferentemente deviazione tandard o errore tandard dell'intercetta. Idem per la pendenza e per altri parametri che vedremo in eguito.

8 Diaz - Appunti di tatitica - AA 1/ - edizione 9/11/1 Cap. 4 - Pag. 8 Attenzione. Non confondiamoci. In diveri teti la devianza dei reidui (eguita dalla varianza, deviazione tandard ed errore tandard dei reidui) ha.x o,x a pedice. Quindi: x, o x,x o.x indicano la codevianza indicano la devianza dei reidui di, critta anche come anche re L'errore tandard della pendenza è dato dalla formula: b re x L'errore tandard per i valori di della retta è: re 1 (x x + n medio x ) Notare che il termine (x-x medio ) è tanto maggiore quanto più x i allontana dalla media. Per cui l errore tandard arà minimo in corripondenza del valore x medio, e andrà crecendo a detra e a initra. Quindi tracciando tutti gli errori tandard dei valori i ottiene una cintura attorno alla retta di regreione che è tretta al centro e i allarga ai lati. Queta cintura è detta cintura di confidenza (confidence belt, vedi grafico ucceivo). L'errore tandard dell'intercetta è emplicemente l errore tandard del valore corripondente a x. Pertanto arà: a re medio 1 x + n x Finalmente poiamo aggiare l'ipotei che l'intercetta ia uguale a zero (H: a) mediante il tet t: t a, con n- gradi di libertà, gli tei di re. a Analogamente, l'ipotei che la pendenza ia uguale a zero (H: b) i può verificare mediante il tet: t b, empre con n- gradi di libertà. b

9 Diaz - Appunti di tatitica - AA 1/ - edizione 9/11/1 Cap. 4 - Pag. 9 Abbiamo già vito coa uccede e a o b. Quindi i riultati di queti due tet dovranno farci trarre delle importanti concluioni. Una volta calcolata l'equazione della retta, le previioni di per un nuovo valore di x (oltre a quelli uati per la valutazione del modello e dei parametri) ono conentite olo nell'ambito dell'intervallo perimentale L'errore tandard delle previioni, cioè di nuovi valori di è: da nuovo x re 1 (x x 1+ + n x medio ) Pertanto un valore ottenuto in bae all'equazione della retta per un nuovo valore x avrà un intervallo fiduciale: LF ± t dove il valore di t è come al olito riferito al livello di probabilità adottato ed ai gradi di libertà della varianza dei reidui: n-. e poi i calcolano i limiti fiduciali per ogni previione al livello di probabilità del 95% o del 99% i ottengono le coiddette face o cinture di confidenza o confidence belt (una più ritretta, per il 95%, ed una più dilatata, per il 99%, dato il maggiore valore di t) entro cui i pera (matematicamente) che i ia compreo il valore vero oggetto delle previioni cintura di confidenza al 95% di probabilità i noterà che le face di confidenza i retringono ad arco vero il centro. Ciò è dovuto al termine (x-x medio ) preente nella formula dell'errore tandard. Quanto più ci allontaniamo dal valore medio di x, tanto più aumenta l'errore tandard della previione. In altre parole, la previione più forte di è quella corripondente al

10 Diaz - Appunti di tatitica - AA 1/ - edizione 9/11/1 Cap. 4 - Pag. 1 valore medio di x, per la quale tutto il termine (x-x medio ) dell'errore tandard i azzera. Avendo calcolato rette di regreione ci i può domandare e i coefficienti angolari b a e b b iano ignificativamente diveri (b a b b ), in alternativa all'ipotei nulla che le rette iano parallele (b a b b ). Il tet che aggia la probabilità a favore di tale ipotei è detto tet di parallelimo: t b a b re + re a b n a + n b 4 x x b a b Ad e., può eere intereante verificare e due differenti tai di crecita iano ignificativamente diveri o aumibili come equivalenti. e poi i tai di crecita riultaero equivalenti (pendenza comune, come da ipotei nulla), arebbe intereante calcolare la precocità di una popolazione nei confronti dell'altra, riultante nella ditanza che epara verticalmente le due rette ditanza tra le rette

11 Diaz - Appunti di tatitica - AA 1/ - edizione 9/11/1 Cap. 4 - Pag. 11 ituazioni non-lineari e e ono legate da una relazione non-lineare i può ricorrere a traformazioni dei dati tali da retituire un andamento lineare. Claica è la traformazione log-log che linearizza la relazione tra dimenione dello tep () e miura del perimetro () dei contorni frattali e quindi in genere delle forme naturali. In pratica una relazione della forma: dopo traformazione log-log appare abbatanza linearizzata: log log Un altro claico cao di rapporto non-lineare è quello doe () - effetto () che normalmente i linearizza valutando il logaritmo della concentrazione della doe. In teoria, i può introdurre qualiai traformazione (logaritmica, eponenziale, ecc.) utile a retituire linearità ai dati. Ovviamente i migliori riultati i ottengono con un po di tudio ed un po di eperienza. Eitono comunque tecniche che uggericono il tipo traformazione, e giudicano anche tra divere traformazioni quella che meglio linearizza i dati.

12 Diaz - Appunti di tatitica - AA 1/ - edizione 9/11/1 Cap. 4 - Pag. 1 Correlazione Per correlazione i intende un emplice rapporto di aociazione bidirezionale tra due variabili, che non implica dipendenza né mira a fare previioni. Tanto che in alcuni teti i evita di chiamare le due variabili e, definendole emplicemente e 1. Noi, per mantenere una conneione con alcuni apetti della regreione, manterremo e. Il coefficiente di correlazione r è un indice di adattamento dei punti alla retta (o alla curva, nel cao di modelli non-lineari). r è un numero puro, adimenionale compreo tra -1 e +1. r è poitivo quando b è poitivo (x e crecono inieme). r è negativo quando b è negativo (per x che crece, decrece e vicevera). r è eattamente +1 o -1 quando i punti coincidono perfettamente con la retta. r è eattamente zero quando i punti formano una nuvola omogenea e circolare. r i calcola come: r x, x (1 equazione) Poichè la codevianza (al numeratore) non è mai maggiore della radice del prodotto delle due devianze (al denominatore) r, in valore aoluto, non potrà mai eere maggiore di 1. E' evidente la immetria della formula. ignifica che r non varia invertendo gli ai. r i può ottenere anche come: r reg ( equazione) Queta formula è importante perché e eleviamo tutto al quadrato otteniamo: r reg Poiché la devianza di regreione (al numeratore) non è che una frazione della devianza totale di (al denominatore), r eprime la frazione della devianza totale di dovuta alla regreione. Per queto r è anche detto coefficiente di determinazione. Per il bravo tatitico, il valore di r è ancora più importante del valore r. Generalmente r è epreo in percentuale (bata moltiplicare r per 1).

13 Diaz - Appunti di tatitica - AA 1/ - edizione 9/11/1 Cap. 4 - Pag. 13 L'errore tandard di r è dato da: r 1 r n e otituiamo r mediante la econda equazione otteniamo: reg re 1 1 r re 1 r n n n n re notare la omiglianza con l errore tandard della pendenza: b re x Poiamo quindi aggiare la ignificatività di r (H: r ) con il olito tet t: r t r r 1 r n Applicazione. Riprendiamo i dati da cui abbiamo calcolato i parametri della regreione. (x-x medio )(- medio ) 1 (1-)(-4) 3 (-)(3-4) 3 7 (3-)(7-4)3 x, 5 x medio medio 4 x GDL reg 1.5 GDL reg 1 re 1.5 GDL re 1 Calcoliamo r. In bae alla prima equazione

14 Diaz - Appunti di tatitica - AA 1/ - edizione 9/11/1 Cap. 4 - Pag. 14 r x, x In bae alla econda equazione reg 1.5 r Calcoliamo l errore tandard di r. In bae alla prima equazione r 1 r n n In bae alla econda equazione re 1.5 r Per la ignificatività di r calcoliamo il rapporto t t r r Il valore di t embra buono, ma purtroppo non è ignificativo. Con un olo grado di libertà (n - 1), la ignificatività i raggiunge olo con un t pari o maggiore a 1.76 (vedi la tabella nel Cap. ). Concludiamo pertanto che, nonotante l alto valore (.945), il coefficiente di correlazione non è ignificativamente divero da zero. In altre parole, non iamo autorizzati a ritenere che eita una correlazione tra le due variabili.

15 Diaz - Appunti di tatitica - AA 1/ - edizione 9/11/1 Cap. 4 - Pag. 15 Alcuni grafici con valori indicativi di r: r+1 r+.85 r r r-.4 r-1