INTRODUZIONE AI MODELLI LINEARI

Transcript

1 INTRODUZIONE AI MODELLI LINEARI Andrea Onofri Dipartimento di Scienze Agrarie ed Ambientali Universitá degli Studi di Perugia Versione on-line: onofri/rtutorial/index.html Indice 1 Lo schema di lavoro 1 2 Il caso della media 2 3 Il caso della regressione lineare semplice 4 4 L analisi della varianza ANOVA 9 1 Lo schema di lavoro Adattare un modello matematico statistico ai dati sperimentali significa identificare una relazione matematica del tipo: Y = fx, θ + ɛ con la quale si vogliono descrivere le osservazioni Y, tramite una funzione f, una o più variabili esplicative X, uno o più parametri θ. La descrizione delle osservazioni non sarà perfetta, ma rimarrà una certa quota di variabilità non spiegata ɛ. Il lavoro procede in quattro fasi fondamentali: 1. Definizione del/dei modello/i e delle variabili esplicative 2. Parametrizzazione del/dei modello/i stima dei parametri 3. Stima delle devianze modello e residuo 4. Test d ipotesi Illustriamo il metodo attraverso alcuni esempi pratici. 1

2 2 IL CASO DELLA MEDIA 2 2 Il caso della media Definizione del modello Poniamo di avere due osservazioni sperimentali 3, 1 e immaginiamo che il modello lineare sia della forma: Y = µ + ɛ con il quale si intende che le due osservazioni possono essere considerate una funzione della media, più o meno un certo errore sperimentale. Si tratta in realtà di un sistema a due equazioni, del tipo: { 3 = µ + ε1 1 = µ + ε 2 In notazione matriciale, questo sistema può essere scritto: Y = Zθ + ɛ con: Y = 3 1 ; Z = 1 1 ; θ = µ Z prende il nome di matrice del disegno. La risposta attesa è: Stima dei parametri EY = Zθ La nostra incognita è θ. La si può determinare considerando che, da un punto di vista geometrico, le osservazioni in nostro possesso Y sono un vettore giacente nello spazio R n n è pari al numero dei dati; in questo caso, nel piano euclideo, il vettore Y è rappresentato dal punto di coordinate 3,1, mentre la risposta attesa EY deve giacere sul luogo dei punti con coordinate uguali per definizione di media e quindi sulla retta r bisettrice del primo e terzo quadrante. Questa retta è un sottospazio di R 2 ad una dimensione la media ha quindi un grado di libertà generato dal vettore Z e dal versore µ. Di conseguenza EY può essere individuato come il punto della retta r più vicino al punto Y, cioè il piede della perpendicolare ad r passante per Y 1. Insomma, il vettore ɛ deve essere perpendicolare al vettore Z; ossia: Di conseguenza: Z T ɛ = 0

3 2 IL CASO DELLA MEDIA 3 Figura 1: Significato geometrico del metodo dei minimi quadrati, per il calcolo della media di due osservazioni. Da cui: Z T ɛ = Z T Y Zθ = Z T Y Z T Zθ θ = Z T Z 1 Z T Y L equazione risolutiva anzidetta equivale perfettamente alla formula usuale per il calcolo della media; infatti si può facilmente osservare che: Z Z T 1 = 1 n Z T Y = n X i i=1 dove n rappresenta il numero dei dati. Stima delle devianze Dopo aver eseguito la stima dei parametri del modello un modo elegante per dire: dopo aver calcolato la media possiamo procedere al calcolo del vettore ɛ; il quadrato del modulo di questo vettore, coincide con la devianza somma dei quadrati degli scarti ed è pari a: ε T ε = Questa devianza ha un solo grado di libertà, in quanto il vettore ɛ deve per forza giacere su un segmento perpendicolare alla retta r e può quindi muoversi solo in uno spazio unidimensionale ben definito. = 2

4 3 IL CASO DELLA REGRESSIONE LINEARE SEMPLICE 4 Ovviamente, nel semplice caso della media non vi sono esempi di test d ipotesi di interesse pratico. 3 Il caso della regressione lineare semplice Definizione del modello L estensione al caso della regressione lineare è estremamente semplice: si assume che la variabile dipendente è funzione di quella indipendente secondo la retta di equazione generale y = a + bx. Il modello lineare è analogo a quello precedentemente indicato, ma la matrice Z, stavolta, ha due colonne, la prima come nel caso della media è rappresentata da una colonna di 1, mentre la seconda è rappresentata dalla variabile indipendente. Consideriamo, come semplice esempio, tre osservazioni sperimentali, sulle quali siano state rilevate due caratteristiche X ed Y: Num. x y Le matrici Y e Z sono: Y = Stima dei parametri Z = Anche in questo caso possiamo vedere il nostro vettore Y variabile dipendente osservata come un punto nello spazio a tre dimensioni. Ci possiamo ora chiedere, nello stesso spazio, dove giace la risposta attesa EY = Zθ. Si può osservare che, se si indicano con b 0 e b 1 rispettivamente l intercetta e la pendenza della retta, la risposta attesa è pari a: Zθ = b0 b 1 = b 0 + 5b 1 b b 1 b b 1 Cambiando i valori di b 0 e b 1 cambia la posizione del punto che rappresenta la risposta attesa nello spazio a tre dimensioni. Si può notare che se b 0 e b 1 fossero entrambi uguali a zero, la risposta attesa sarebbe Y 0, 0, 0 cioè coinciderebbe con l origine degli assi. Se invece b 0 fosse pari a 0 e b 1 ad 1, otterremmo il punto Y 5, 10, 15, mentre se b 0 fosse pari a 1 e b 1 a 0, otterremmo il punto Y 1, 1, 1. Si può quindi dimostrare che la risposta attesa

5 3 IL CASO DELLA REGRESSIONE LINEARE SEMPLICE 5 giace su un piano definito dall origine degli assi e dai punti 1,1,1 e 5,10,15 corrispondenti ad ognuna delle colonne della matrice del disegnoz. Di conseguenza, la stima di b 0 e b 1 e b 0 e b 1 è data dai valori che consentono di minimizzare la distanza tra il punto Y di coordinate 91, 61, 54 e il punto Y, che giace sul piano della risposta attesa. Anche in questo caso il punto di un piano più vicino ad un punto dato ed esterno al piano è rappresentato dal piede delle perpendicolare al piano passante per il punto dato. La linea che congiunge Y ed Y è rappresentata dal vettore ɛ. Bisogna quindi imporre che il vettore degli scarti sia perpendicolare ortogonale a Z e, di conseguenza, vale ancora la relazione scritta più sopra per il caso della media: θ = Z T Z 1 Z T Y Si può dimostrare che l anzidetta relazione matriciale porta a risultati assolutamente analoghi a quelli raggiungibili per via algebrica si veda ad esempio onofri/rtutorial/tutorial/regressione.htm Nel nostro caso otteniamo: Z T Y = θ = = 1 Z Z T Z T Y = = la risposta attesa sarà: Zθ = = mentre il vettore degli scarti sarà Stima delle devianze ε = Y Zθ = La norma al quadrato di ɛ è pari a 88.17, che corrisponde alla devianza residuale del modello, cioà la devianza non spiegata dalla regressione della Y sulla X. Da questa possiamo calcolare la varianza, considerando che il numero di gradi di libertà è dato dalla differenza tra n numero dei dati, nel nostro caso 3 e p numero dei parametri stimati nel nostro caso 2. La varianza sarà quindi 88.17/1= 88.17, mentre la deviazione standard del residuo sarà pari alla radice quadrata della varianza, cioè

6 3 IL CASO DELLA REGRESSIONE LINEARE SEMPLICE 6 Per stabilire la quota di devianza spiegata dal modello dobbiamo procedere in modo sequenziale. Possiamo infatti considerare che aggiungendo alla matrice del disegno Zla seconda colonna che è apunto quella che differenzia il caso della regressione rispetto al caso della media esposto in precedenza otteniamo un decremento della devianza del residuo pari a cioè = , che costituisce appunto la quota di devianza spiegata dalla regressione. In altre parole, la devianza spiegata dalla regressione è pari alla differenza tra la devianza totale delle osservazioni e la devianza del residuo della regressione, con un numero di gradi di libertà pari al numero dei parametri stimati meno 1 nel nostro caso 1. Test d ipotesi Dopo la stima dei parametri, prima di procedere con qualunque altra analisi, è necessario verificare la correttezza del modello e la sua adeguatezza a descrivere i dati sperimentali. Gli aspetti legato alla diagnostica di un modello sono trattati in una lezione a parte, ma si anticipa che si tratta di una fase fondamentale di ogni analisi statistica corretta. Una volta che si sia sicuri della bontá del modello si puó procedere con una serie di test d ipotesi di interesse biologico o con il calcolo di alcune statistiche di interesse pratico. Test F per la bontà del modello Un modello è buono il suo effetto cioè la quota di varianza che riesce a spiegare è superiore alla varianza dell errore. Queste due varianze possono essere confrontate mediante un test di F: F p,n p = MS reg MS residuo che in questo caso è uguale a 684.5/88.17 = 7.76, con una probabilità pari a Di conseguenza, la varianza spiegata dalla regressione non è tanto più alta di quella dell errore da consentirci di rifiutare l ipotesi nulla di non significatività del modello. Ovviamente questo risultato è legato prevalentemente al basso numero di gradi di libertà in gioco. Bontà della stima dei parametri L errore standard del p-esimo parametro si ottiene con la seguente formula: [ ES θ p = s Z T Z 1] pp dove s è la deviazione standard del residuo e il termine sotto radice è dato dal p-esimo termine diagonale della matrice quadrata ottenuta dall inversa del prodotto Z T Z 1 già menzionata in precedenza.

7 3 IL CASO DELLA REGRESSIONE LINEARE SEMPLICE 7 Nel caso dell esempio esposto in precedenza gli errori standard dei parametri sarebbero: ESb 0 = = ESb 1 = = 1.33 I limiti di confidenza della stima possono essere costruiti moltiplicando l errore standard per l integrale di probabilitã della distribuzione t di Student, per un numero di gradi di libertã pari alla devianza del residuo n - p e il livello α prefissato. Il rapporto tra la stima di un parametro e il suo errore standard segue la distribuzione t di Student, per un numero di gradi di libertà pari ad 1 e permette di testare l ipotesi che il valore stimato differisce da 0. Gli intervalli di confidenza del valore y stimato per un dato x0 si possono calcolare tramite la formula: f x 0 ; θ ± s y0 T ZT Z y 0 t N P ;α/2 Il coefficiente di determinazione Una quantitã frequentemente utilzzata per valutare la bontã d adattamento di un modello di regressione à il coefficiente di determinazione R2, dato dal rapporto tra la devianza della regressione e la devianza totale. R 2 = SS reg SS tot Essendo un rapporto, ci da solo una indicazione abbastanza grezza sulla bontà della regressione, in quanto valori bassi possono essere ottenuti sia perchè la devianza dell errore è grande, sia perchè la devianza dell errore è piccola, ma lo è anche la devianza della regressione. Inoltre, R 2 dipende dall intervallo di variazione della variabile indipendente; di conseguenza, se nella regressione aggiungiamo uno o più livelli della X otteniamo un innalzamento del valore di R 2, che tuttavia non necessariamente produce una miglior stima della funzione. Un esempio tipico è l aggiunta del livello di fertilizzazione zero in una prova di concimazione: ciò aiuta ad alzare il valore di R 2, ma non necessariamente implica una miglior stima del modello di regressione, soprattutto in vicinanza dei livelli ottimali. Ciò è particolarmente importante con le regressioni non-lineari, laddove vi sono molti parametri di forma della curva. Ad esempio, se il valore di N ottimale è tra 5 e 40 kg/ha, un esperimento con 0, 20, 40 e 80 kg/ha di N darà sicuramente valori di R 2 più alti che non un esperimento con 5,10, 20 e 40 kg/ha anche se quest ultimo fornirà più probabilmente una miglior stima dei livelli di N ottimale.

8 3 IL CASO DELLA REGRESSIONE LINEARE SEMPLICE 8 Se dovessimo confrontare i due modelli, sarebbe preferibile farlo attraverso la devianza del residuo, magari espressa come coefficiente di variabilità, piuttosto che attraverso il valore del coefficiente di determinazione. Un altra considerazione generale che può essere fatta è che il coefficiente di determinazione è sensibile al numero di regressori presenti nel modello, quindi in caso di regressione multipla, all aumentare del numero di variabili X incluse nel modello aumenta il valore di R 2, anche se l aggiunta non determina un miglioramento della capacità descrittiva del modello stesso. Il coefficiente di determinazione corretto Il vaore di R 2 corretto è costituito dalla proporzione di varianza MS spiegata dalla regressione ed è pari a: R 2 a = 1 MS residuo MS tot Per questo motivo il valore di R 2 corretto è detto anche R 2 corretto per i gradi di libertà. Il suo rapporto con il coefficiente di determinazione tradizionale è: 1 R Ra 2 2 n 1 = 1 n k 1 dove n è il numero di osservazioni e k il numero dei regressori. L R 2 corretto è sempre più basso dell R 2 e diminuisce con l aggiunta al modello di un nuovo regressore se l incremento di devianza totale è meno che quello della devianza residua. Può assumere valori negativi se la varianza del residuo è maggiore della varianza della variabile dipendente. La regressione con R L analidi di regressione in R si effettua ricorrendo alla funzione lmy ~ x. L oggetto risultanto può essere interrogato con l uso della funzione summary, che fornisce i parametri stimati ed altre statistiche descrittive, e con la funzione anova, che invece fornisce l analisi della varianza della regressione. x <- c5, 10, 15 y <- c91,61,54 model summarymodel Call: lmformula = y ~ x Residuals:

9 4 L ANALISI DELLA VARIANZA ANOVA Coefficients: Estimate Std. Error t value Pr>t Intercept x Signif. codes: 0 *** ** 0.01 * Residual standard error: 9.39 on 1 degrees of freedom Multiple R-Squared: , Adjusted R-squared: F-statistic: on 1 and 1 DF, p-value: > anovamodel Analysis of Variance Table Response: y Df Sum Sq Mean Sq F value Pr>F x Residuals > 4 L analisi della varianza ANOVA Definizione del modello Immaginiamo di aver posto a confronto tre trattamenti sperimentali qualitativi tre tipi di concime, tre varietà di frumento... e di aver registrato il loro effetto su una variabile quantitativa ad esempio la produzione Supponiamo di aver distribuito su due parcelle di frumento solo acqua e di aver registrato una produzione pari a A54, 49. Altre due parcelle sono state trattate con acqua ed una sostanza concimante, registrando una produzione pari a B57, 54. Altre due parcelle sono state trattate con acqua ed una seconda sostanza concimante, registrando una produzione C59,61. Ovviamente, le sei parcelle sono inserite in un disegno a randomizzazione completa, nel quale esse differiscono solo per il trattamento oggetto di studio ed ognuna di esse è assegnata casualmente ad uno dei trattamenti. Il modello lineare potrebbe essere posto nel modo usuale: con: y = Zθ + ɛ

10 4 L ANALISI DELLA VARIANZA ANOVA 10 Y = Z = ϑ = In sostanza, ogni osservazione è funzione della media generale, più l effetto del trattamento α, più l errore sperimentale. La differenza con l analisi della regressione è che gli effetti non sono quantitativi bensì qualitativi: una tesi differisce dall altra per la qualità del trattamento, non per la quantità. Stima dei parametri La stima dei parametri può essere effettuata con la formula risolutiva usuale, che nel caso degli effetti qualitativi, soprattutto per i disegni più complessi, pone problemi legati al fatto che la matrice Z T Z non è sempre di rango pieno e quindi è necessario ricorrere al calcolo della pseudoinversa di Moore- Penrose, o ricorrere a procedure numeriche come l eliminazione di Gauss- Jordan o l algoritmo Sweep. Più semplicemente, notiamo che: Z T Z = Questa matrice non è di rango pieno in quanto la prima colonna e la prima riga possono essere ottenute per combinazione lineare delle altre tre colonne o righe rispettivamente. Non possiamo quindi calcolare l inversa, ma possiamo calcolare in modo semplice un inversa generalizzata, escludendo la prima colonna e la prima riga della matrice quindi prendendo solo la parte di rango pieno, facendo l inversa della matrice 3 x 3 che resta e aggiungendo poi una prima colonna ed una prima riga di zeri. Così facendo otteniamo: 1 = e quindi: Z T Z Z T Z 1 Z T Y = µ α 1 α 2 α 3

11 4 L ANALISI DELLA VARIANZA ANOVA 11 Stima delle devianze Dopo essere giunti alla stima dei parametri, possiamo notare che il residuo errore è rappresentato dal vettore ɛ2.5,-2.5, 1.5, -1.5, -1, 1, il cui modulo al quadrato del modulo è pari a 19. La devianza del modello, anche in questo caso, è uguale al calo della devianza residua che otteniamo dopo aver inserito nel modello l effetto del trattamento le ultime tre colonne della matrice Z, cioè alla differenza tra la devianza totale delle sei osservazioni pari a e la devianza residua del modello, quindi = 72.33: Nel caso di disegni bilanciati, è possibile raggiungere gli stessi risultati con un approccio algebrico semplificato. Infatti, l effetto del trattamento è dato dalla differenza tra la media del trattamento e la media generale. Le tre medie sono pari a 51.5, 55.5 e 60, rispettivamente, mentre la media generale è pari a Di conseguenza il modello lineare può essere scritto: = I due vettori a destra rappresentano rispettivamente l effetto del trattamento e il residuo. Il quadrato dei loro moduli à pari a rispettivamente alla devianza del trattamento e del residuo, che coincidono con le quantitã riportate in precedenza. Per rispondere alla domanda: il trattamento ha avuto effetto? è sufficiente confrontare l effetto del trattamento con il residuo. Non dobbiamo però dimenticare che in generale i due effetti espressi come devianze possono avere un diverso numero di gradi di libertà e quindi non essere confrontabili. Di conseguenza, andremo a confrontare le varianze come nella tabella seguente: Factor Df Sum Sq Mean Sq F value Prob. X Residuals Test d ipotesi Poniamo l ipotesi nulla che il trattamento non ha avuto effetto; in questo caso, la probabilità di trovare un valore di F pari a 5.71 è del 9.4% circa. Non abbiamo quindi elementi per rifiutare l ipotesi nulla e dobbiamo accettarla. Di conseguenza, possiamo affermare che non ci sono elementi sufficienti per ritenere che il trattamento concimante ha avuto effetto.

12 4 L ANALISI DELLA VARIANZA ANOVA 12 Grazie all ANOVA possiamo calcolare alcune importanti quantità, come ad esempio il coefficiente di variabilità della prova: MSresiduo 6.33 CV = 100 = 100 = 4.52 µ che è una buona misura della precisione dell esperimento, nonchè l errore standard di una media s.e.m.: MS errore s.e.m. = n r dove n è il numero delle repliche, oppure l errore standard della differenza di due medie s.e.d. 2 MS errore s.e.d. = n r S.e.m. e s.e.d. sono in genere accettate dalle riviste scientifiche come indicatori di variabilità delle prove da riportare su grafici e tabelle; il s.e.m. è preferito per serie di dati quantitativi come nel caso della regressione mentre il s.e.d. è preferito per variabili esplicative qualitative come in questo caso. L ANOVA con R In R l esecuzione dell ANOVA è banale ed avviene attraverso la funzione giè presentata nel capitolo precedente. Nel caso in cui la variabile esplicativa à di tipo quantitativo bisogna ricordarsi di specificare che la variabile esplicativa à di tipo factor, altrimenti R esegue un analisi di regressione lineare. > Y<-c54,49,57,54,59,61 > X<-c1,1,2,2,3,3 > X1<-factorX > analisi.varianza<-lmy~x1 > anovaanalisi.varianza Analysis of Variance Table Response: Y Df Sum Sq Mean Sq F value Pr>F X Residuals

13 4 L ANALISI DELLA VARIANZA ANOVA 13 Signif. codes: 0 *** ** 0.01 * > regressione<-lmy~x > anovaregressione Analysis of Variance Table Response: Y Df Sum Sq Mean Sq F value Pr>F X * Residuals Signif. codes: 0 *** ** 0.01 * Per approfondimenti CAMUSSI Alessandro, MOELLER Frank, OTTAVIANO Ercole, SARI GORLA Mirella Metodi Statistici per la sperimentazione biologica. Zanichelli Editore, 496 pp.