Modelli con predittori qualitativi e modelli con interazioni. Strumenti quantitativi per la gestione

Transcript

1 Modelli con predittori qualitativi e modelli con interazioni Strumenti quantitativi per la gestione Emanuele Taufer file:///c:/users/emanuele.taufer/dropbox/3%20sqg/classes/3d_viq.html#(1) 1/26

2 Utilizzare variabili indipendenti qualitative (VIQ) I modelli di regressione possono includere VIQ (o categoriche) Le categorie di una VIQ sono definite livelli Poiché i livelli di una VIQ non sono misurati su una scala numerica naturale, per evitare di introdurre relazioni inesistenti o soggettive nel modello è necessario usare un codice binario. Una soluzione è quella di definire nuove variabili, le cd variabili dummy, che possono assumere due soli valori: 0 oppure 1. Nei dati ExecSal.txt abbiamo incontrato una variabile qualitativa: Gender che classifica le unità in M e F file:///c:/users/emanuele.taufer/dropbox/3%20sqg/classes/3d_viq.html#(1) 2/26

3 Codifica binaria 0,1 Supponiamo in prima battuta, di voler modellare il Salario ( Y carattere qualitativo Gender (M o F). ) in funzione del Definiamo la variabile binaria (o dummy): ={ 0 se l'unità è F x i 1 se l'unità è M Il nostro semplice modello assume due possibili valori = + + ={ β0 ε i se l'unità è F β0 + β1 + ε i se l'unità è M y i β0 β1x i ε i + file:///c:/users/emanuele.taufer/dropbox/3%20sqg/classes/3d_viq.html#(1) 3/26

4 β0 può essere interpretato come il salario atteso per il gruppo delle donne β0 + β1 è il salario atteso per il gruppo dei maschi β1 può essere inerpretato come differenza media tra i salari dei due gruppi il gruppo codificato con il valore definito anche livello base. 0 diventa quello di riferimento, In questo semplice modello i valori previsti sono solo due: i redditi medi per i due gruppi file:///c:/users/emanuele.taufer/dropbox/3%20sqg/classes/3d_viq.html#(1) 4/26

5 Esempio: salari dei manager Carichiamo il data set ExecSal.txt Es=read.table(" Poiché la variabile Gender nel dataset è codificata come variabile numerica procediamo a trasformarla in factor (variabile qualitativa) con i livelli M e F Es$Gender=factor(Es$Gender,levels=c(0,1),labels=c("F","M")) str(es) 'data.frame': 100 obs. of 6 variables: $ Salary : int $ Experience: int $ Education : int $ Gender : Factor w/ 2 levels "F","M": $ Employees : int $ Assets : int file:///c:/users/emanuele.taufer/dropbox/3%20sqg/classes/3d_viq.html#(1) 5/26

6 Scatter-plot e frequenze summary(gender) F M file:///c:/users/emanuele.taufer/dropbox/3%20sqg/classes/3d_viq.html#(1) 6/26

7 RLS - output reg< lm(salary~gender) summary(reg) Call: lm(formula = Salary ~ Gender) Residuals: Min 1Q Median 3Q Max Coefficients: Estimate Std. Error t value Pr(> t ) (Intercept) < 2e 16 *** GenderM e 05 *** Signif. codes: 0 '***' '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1 Residual standard error: on 98 degrees of freedom Multiple R squared: , Adjusted R squared: F statistic: on 1 and 98 DF, p value: 5.61e 05 file:///c:/users/emanuele.taufer/dropbox/3%20sqg/classes/3d_viq.html#(1) 7/26

8 Interpretazione Il salario medio per il gruppo delle donne è Il salario medio per il gruppo dei maschi è = I maschi percepiscono in media un salario più elevato rispetto al gruppo delle donne. La differenza media è pari a Il t-test relativo a β1 è significativo, indicando che la differenza media di salari tra maschi e femmine è da consederare una differenza strutturale piuttosto che un risultato casuale. il test F indica che nel complesso il modello funziona, sebbene R 2 = 0.15 sia molto basso (difficile aspettarsi quacosa di diverso con questi dati). file:///c:/users/emanuele.taufer/dropbox/3%20sqg/classes/3d_viq.html#(1) 8/26

9 Dati e rette stimate Si noti che i salari medi forniti dalla regressione sono le medie dei due gruppi mean(salary[gender=="f"]) [1] mean(salary[gender=="m"]) [1] file:///c:/users/emanuele.taufer/dropbox/3%20sqg/classes/3d_viq.html#(1) 9/26

10 file:///c:/users/emanuele.taufer/dropbox/3%20sqg/classes/3d_viq.html#(1) 10/26

11 VIQ con più di due livelli Di regola, se la VIQ ha livelli sono necessarie variabili dummy per la codifica. q = 3, 4 q 1 Il livello non codificato diventa quello di riferimento. Esempio: se una VIQ ha tre livelli, A, B and C, è necessario definire due dummy x i1 x i2 ={ ={ se l'unità è A altrimenti se l'unità è B altrimenti Il livello C diventa la categoria di riferimento. Si veda il testo per ulteriori dettagli ed esempi. file:///c:/users/emanuele.taufer/dropbox/3%20sqg/classes/3d_viq.html#(1) 11/26

12 Modelli con interazioni Nell analisi dei dati Advertising abbiamo usato un modello additivo Sales = + TV + Radio + ε β0 β1 β2 dove l effetto di TV è sempre pari a β1 indipendentemente dalla spesa in Radio Supponiamo che la spesa per la pubblicità radiofonica in realtà aumenti l efficacia della pubblicità televisiva, In questa situazione, dato un budget fisso di $ , spendendone metà in Radio e per metà in TV dovrebbe aumentare in misura superiore le vendite rispetto alla scelta di allocare l intero importo solo a TV Nel marketing, questo è noto come effetto sinergico, e in statistica viene indicato come un effetto di interazione. file:///c:/users/emanuele.taufer/dropbox/3%20sqg/classes/3d_viq.html#(1) 12/26

13 Modello bivariato con interazione Un modo per consentire effetti di interazione è includere un terzo predittore, chiamato termine di interazione, che è costruito calcolando il prodotto di X1 e X2. Ossia Y = ε β0 β1 X1 β2 X2 β3 X1X2 Per capire come funziona l inclusione del termine di interazione si noti che possiamo riformulare Y = + ( + ) + + ε β0 β1 β3 X2 X1 β2 X2 dove possiamo notare che l effetto di X1 dipende anche da X2 e viceversa. file:///c:/users/emanuele.taufer/dropbox/3%20sqg/classes/3d_viq.html#(1) 13/26

14 Advertising - continua Un modello lineare che utilizza Radio, TV, e un interazione tra i due per prevedere le vendite prende la forma Sales = + TV + Radio + Radio TV + ε β0 β1 β2 β3 Possiamo interpretare β3 come aumento dell efficacia della pubblicità TV per un incremento unitario di pubblicità Radio (o viceversa). Estimate Std. Error t value Pr(> t ) (Intercept) TV Radio TV:Radio RSE R.squared Adj.R.squared F.statistic p.value file:///c:/users/emanuele.taufer/dropbox/3%20sqg/classes/3d_viq.html#(1) 14/26

15 Il p-value per il termine di interazione, TV indicando che vi è una forte evidenza per chiaro che il vero rapporto non è additivo. : 0 Ha Radio, è estremamente basso, β3. In altre parole, è R 2 per il modello è 96.8 rispetto all 89.7 per il modello con TV e Radio ma senza termine di interazione. In questo esempio, i p-value associati a TV, Radio (effetti principali), e TV Radio (interazione) sono tutti statisticamente significativi (Tabella 3.9), e quindi è ovvio che tutte e tre le variabili dovrebbero essere incluse nel modello. Può capitare che il termine di interazione abbi un p-value piccolo, ma gli effetti principali associati (in questo caso, TV e Radio) no. Il principio gerarchico afferma che se includiamo un interazione in un modello, dobbiamo includere anche gli effetti principali, anche se i p-value associati non sono significativi. file:///c:/users/emanuele.taufer/dropbox/3%20sqg/classes/3d_viq.html#(1) 15/26

16 Interazione tra variabile quantitativa e variabile qualitativa Riprendiamo in considerazione il dataset ExecSal.txt e, per il momento, consideriamo le sole due variabili Experience e Gender Confrontiamo i due modelli M1 M2 Salary = + Gender + Exp + ε β0 β1 β2 Salary = + Gender + Exp + Gender Exp + ε β0 β1 β2 β3 file:///c:/users/emanuele.taufer/dropbox/3%20sqg/classes/3d_viq.html#(1) 16/26

17 Poiché gender è una variabile dummy, i modelli possono essere riscritti come M1 ={ Salary β 0 + β2 Exp + ε β0 β1 β2 + + Exp + ε se l'unità è F se l'unità è M M2 ={ + Salary β 0 β2 Exp + ε β0 β1 β2 β3 + + ( + )Exp + ε se l'unità è F se l'unità è M β1 β3 indica il differenziale medio di Salario M - F indica il differenziale medio di salario per unità di Experience In altre parole il M2 ammette un tasso di crescita di salario, in base all esperienza, diversa per i due gruppi file:///c:/users/emanuele.taufer/dropbox/3%20sqg/classes/3d_viq.html#(1) 17/26

18 Grafici M1 - M2 file:///c:/users/emanuele.taufer/dropbox/3%20sqg/classes/3d_viq.html#(1) 18/26

19 Stima M1 - M2 M1 Estimate Std. Error t value Pr(> t ) (Intercept) GenderM Experience M2 Estimate Std. Error t value Pr(> t ) (Intercept) GenderM Experience GenderM:Experience file:///c:/users/emanuele.taufer/dropbox/3%20sqg/classes/3d_viq.html#(1) 19/26

20 Bontà di adattamento M1 - M2 M1 RSE R.squared Adj.R.squared F.statistic p.value M2 RSE R.squared Adj.R.squared F.statistic p.value file:///c:/users/emanuele.taufer/dropbox/3%20sqg/classes/3d_viq.html#(1) 20/26

21 In base al M1 un anno di esperienza è pagato in media M che per F In base al M2 un anno di esperienza è pagato in media per M = sia per per F e il p-value del t-test relativo a Gender nel M2 NON è significativo tuttavia la variabile non è in discussione per criterio di gerarchia il p-value del t-test relativo all interazione nel M2 è significativo e pertanto il M2 è preferito al M1 file:///c:/users/emanuele.taufer/dropbox/3%20sqg/classes/3d_viq.html#(1) 21/26

22 Relazioni non-lineari In alcuni casi, la relazione tra variabile risposta e predittori può essere non lineare. Un modo molto semplice per estendere direttamente il modello lineare a relazioni non lineari, è quello di utilizzare la regressione polinomiale. Ad esempio la regressione quadratica o cubica Y = ε β0 β1x1 β2x 2 1 Y = ε β0 β1x1 β2x 2 1 β3x 3 1 permettono di seguire andamenti non lineari dei dati. Si noti che il modello è ancora lineare nei parametri e quindi può essere stimato semplicemente usando il metodo dei minimi quadrati. L uso di potenze di ordine troppo elevato può diventare tuttavia file:///c:/users/emanuele.taufer/dropbox/3%20sqg/classes/3d_viq.html#(1) 22/26

23 numericamente instabile e produrre overfitting file:///c:/users/emanuele.taufer/dropbox/3%20sqg/classes/3d_viq.html#(1) 23/26

24 Modelli di regressione multipla In generale un modello di regressione può contenere diverse componenti variabili quantitative e variabili qualitative interazioni tra variabili quantitave e qualitative (qualsiasi combinazione) componenti polinomiali (variabili al quadrato, al cubo, ) Dal punto di vista pratico la regressione lineare può diventare un strumento di analisi molto potente e flessibile. file:///c:/users/emanuele.taufer/dropbox/3%20sqg/classes/3d_viq.html#(1) 24/26

25 Potenziali problemi 1. Non-linearità. 2. Correlazione degli errori. 3. Varianza non-costante negli errori. 4. Valori anomali. 5. Osservazioni influenti. 6. Collinearità. Si veda il testo per una breve panoramica file:///c:/users/emanuele.taufer/dropbox/3%20sqg/classes/3d_viq.html#(1) 25/26

26 Riferimenti bibliografici An Introduction to Statistical Learning, with applications in R. (Springer, 2013) Alcune delle figure in questa presentazione sono tratte dal testo con il permesso degli autori: G. James, D. Witten, T. Hastie e R. Tibshirani file:///c:/users/emanuele.taufer/dropbox/3%20sqg/classes/3d_viq.html#(1) 26/26