Modelli con predittori qualitativi e modelli con interazioni

Transcript

1 Modelli con predittori qualitativi e modelli con interazioni Strumenti quantitativi per la gestione Emanuele Taufer Utilizzare variabili indipendenti qualitative (VIQ) Codifica binaria 0,1 Esempio: salari dei manager Scatter plot e frequenze RLS output Interpretazione Dati e rette stimate VIQ con più di due livelli Modelli con interazioni Modello bivariato con interazione Advertising continua Interazione tra variabile quantitativa e variabile qualitativa Grafici M2 Stima M2 Bontà di adattamento M2 Relazioni non lineari Modelli di regressione multipla Potenziali problemi Riferimenti bibliografici Utilizzare variabili indipendenti qualitative (VIQ) I modelli di regressione possono includere VIQ (o categoriche) Le categorie di una VIQ sono definite livelli Poiché i livelli di una VIQ non sono misurati su una scala numerica naturale, per evitare di introdurre relazioni inesistenti o soggettive nel modello è necessario usare un codice binario. Una soluzione è quella di definire nuove variabili, le cd variabili dummy, che possono assumere due soli valori: 0 oppure 1. Nei dati ExecSal.txt abbiamo incontrato una variabile qualitativa: Gender che classifica le unità in M e F Codifica binaria 0,1 Supponiamo in prima battuta, di voler modellare il Salario ( Y ) in funzione del carattere qualitativo Gender (M o F). Definiamo la variabile binaria (o dummy): file:///c:/users/emanuele.taufer/dropbox/3%20sqg/classes/3d_viq.html 1/9

2 x i ={ 0 se l'unità è F 1 se l'unità è M 10/13/2015 Modelli con predittori qualitativi e modelli con interazioni Il nostro semplice modello assume due possibili valori = + + ={ β0 ε i se l'unità è F β0 + β1 + ε i se l'unità è M y i β0 β1x i ε i + β0 β0 può essere interpretato come il salario atteso per il gruppo delle donne + β1 è il salario atteso per il gruppo dei maschi β1 può essere inerpretato come differenza media tra i salari dei due gruppi il gruppo codificato con il valore diventa quello di riferimento, definito anche livello base. In questo semplice modello i valori previsti sono solo due: i redditi medi per i due gruppi Esempio: salari dei manager Carichiamo il data set ExecSal.txt 0 Es=read.table(" Poiché la variabile Gender nel dataset è codificata come variabile numerica procediamo a trasformarla in factor (variabile qualitativa) con i livelli M e F Es$Gender=factor(Es$Gender,levels=c(0,1),labels=c("F","M")) str(es) 'data.frame': 100 obs. of 6 variables: $ Salary : int $ Experience: int $ Education : int $ Gender : Factor w/ 2 levels "F","M": $ Employees : int $ Assets : int Scatter plot e frequenze ## Warning: package 'ggplot2' was built under R version file:///c:/users/emanuele.taufer/dropbox/3%20sqg/classes/3d_viq.html 2/9

3 summary(gender) F M RLS output reg< lm(salary~gender) summary(reg) Call: lm(formula = Salary ~ Gender) Residuals: Min 1Q Median 3Q Max Coefficients: Estimate Std. Error t value Pr(> t ) (Intercept) < 2e 16 *** GenderM e 05 *** Signif. codes: 0 '***' '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1 Residual standard error: on 98 degrees of freedom Multiple R squared: , Adjusted R squared: F statistic: on 1 and 98 DF, p value: 5.61e 05 Interpretazione file:///c:/users/emanuele.taufer/dropbox/3%20sqg/classes/3d_viq.html 3/9

4 Il salario medio per il gruppo delle donne è Il salario medio per il gruppo dei maschi è I maschi percepiscono in media un salario più elevato rispetto al gruppo delle donne. La differenza media è pari a Il t test relativo a β1 è significativo, indicando che la differenza media di salari tra maschi e femmine è da consederare una differenza strutturale piuttosto che un risultato casuale. il test F indica che nel complesso il modello funziona, sebbene R 2 (difficile aspettarsi quacosa di diverso con questi dati). Dati e rette stimate = = 0.15 sia molto basso Si noti che i salari medi forniti dalla regressione sono le medie dei due gruppi mean(salary[gender=="f"]) [1] mean(salary[gender=="m"]) [1] VIQ con più di due livelli q = 3, 4 q 1 Di regola, se la VIQ ha livelli sono necessarie variabili dummy per la codifica. Il livello non codificato diventa quello di riferimento. Esempio: se una VIQ ha tre livelli, A, B and C, è necessario definire due dummy file:///c:/users/emanuele.taufer/dropbox/3%20sqg/classes/3d_viq.html 4/9

5 x i1 x i2 ={ ={ se l'unità è A altrimenti se l'unità è B altrimenti Il livello C diventa la categoria di riferimento. Si veda il testo per ulteriori dettagli ed esempi. Modelli con interazioni Nell analisi dei dati Advertising abbiamo usato un modello additivo Sales = β0 + β1t V + β2radio + ε dove l effetto di TV è sempre pari a β1 indipendentemente dalla spesa in Radio Supponiamo che la spesa per la pubblicità radiofonica in realtà aumenti l efficacia della pubblicità televisiva, In questa situazione, dato un budget fisso di $ , spendendone metà in Radio e per metà in TV dovrebbe aumentare in misura superiore le vendite rispetto alla scelta di allocare l intero importo solo a TV Nel marketing, questo è noto come effetto sinergico, e in statistica viene indicato come un effetto di interazione. Modello bivariato con interazione Un modo per consentire effetti di interazione è includere un terzo predittore, chiamato termine di interazione, che è costruito calcolando il prodotto di X1 e X2. Ossia Per capire come funziona l inclusione del termine di interazione si noti che possiamo riformulare dove possiamo notare che l effetto di X1 dipende anche da X2 e viceversa. Advertising continua Y = β0 + β1x1 + β2x2 + β3x1x2 + ε Y = β0 + ( β1 + β3x2) X1 + β2x2 + ε Un modello lineare che utilizza Radio, TV, e un interazione tra i due per prevedere le vendite prende la forma Sales = β0 + β1t V + β2radio + β3radio T V + ε Possiamo interpretare β3 come aumento dell efficacia della pubblicità TV per un incremento unitario di pubblicità Radio (o viceversa). ## Warning: package 'xtable' was built under R version file:///c:/users/emanuele.taufer/dropbox/3%20sqg/classes/3d_viq.html 5/9

6 EstimateStd. Errort valuepr(> t ) (Intercept) TV Radio TV:Radio (TV:Radio) RSER.squaredAdj.R.squaredF.statisticp.value Il p value per il termine di interazione, TV Radio, è estremamente basso, indicando che vi è una forte evidenza per H a : β3 0. In altre parole, è chiaro che il vero rapporto non è additivo. R 2 per il modello è 96.8 rispetto all 89.7 per il modello con TV e Radio ma senza termine di interazione. In questo esempio, i p value associati a TV, Radio (effetti principali), e TV Radio (interazione) sono tutti statisticamente significativi (Tabella 3.9), e quindi è ovvio che tutte e tre le variabili dovrebbero essere incluse nel modello. Può capitare che il termine di interazione abbia un p value piccolo, ma gli effetti principali associati (in questo caso, TV e Radio) no. Il principio gerarchico afferma che se includiamo un interazione in un modello, dobbiamo includere anche gli effetti principali, anche se i p value associati non sono significativi. Interazione tra variabile quantitativa e variabile qualitativa Riprendiamo in considerazione il dataset ExecSal.txt e, per il momento, consideriamo le sole due variabili Experience e Gender Confrontiamo i due modelli M2 Salary = β0 + β1gender + β2exp + ε Salary = β0 + β1gender + β2exp + β3gender Exp + ε Poiché gender è una variabile dummy, i modelli possono essere riscritti come Salary ={ β 0 + β2 Exp + ε β0 β1 β2 + + Exp + ε se l'unità è F se l'unità è M M2 Salary ={ β 0 + β2 Exp + ε β0 β1 β2 β3 + + ( + )Exp + ε se l'unità è F se l'unità è M file:///c:/users/emanuele.taufer/dropbox/3%20sqg/classes/3d_viq.html 6/9

7 β1 indica il differenziale medio di Salario M F β3 indica il differenziale medio di salario per unità di Experience In altre parole il M2 ammette un tasso di crescita di salario, in base all esperienza, diversa per i due gruppi Grafici M2 ## Warning: package 'gridextra' was built under R version Stima M2 Estimate Std. Error t valuepr(> t ) (Intercept) Gender Experience M2 Estimate Std. Error t valuepr(> t ) (Intercept) GenderM Experience GenderM:Experience Bontà di adattamento M2 RSE R.squaredAdj.R.squaredF.statisticp.value file:///c:/users/emanuele.taufer/dropbox/3%20sqg/classes/3d_viq.html 7/9

8 . M2 RSE R.squaredAdj.R.squaredF.statisticp.value In base al un anno di esperienza è pagato in media In base al M2 un anno di esperienza è pagato in media per M sia per M che per F per F e il p value del t test relativo a Gender nel M2 NON è significativo tuttavia la variabile non è in discussione per criterio di gerarchia il p value del t test relativo all interazione nel M2 è significativo e pertanto il M2 è preferito al Relazioni non lineari In alcuni casi, la relazione tra variabile risposta e predittori può essere non lineare. Un modo molto semplice per estendere direttamente il modello lineare a relazioni non lineari, è quello di utilizzare la regressione polinomiale. Ad esempio la regressione quadratica o cubica = permettono di seguire andamenti non lineari dei dati. Si noti che il modello è ancora lineare nei parametri e quindi può essere stimato semplicemente usando il metodo dei minimi quadrati. L uso di potenze di ordine troppo elevato può diventare tuttavia numericamente instabile e produrre overfitting Modelli di regressione multipla In generale un modello di regressione può contenere diverse componenti variabili quantitative e variabili qualitative interazioni tra variabili quantitave e qualitative (qualsiasi combinazione) componenti polinomiali (variabili al quadrato, al cubo, ) Dal punto di vista pratico la regressione lineare può diventare un strumento di analisi molto potente e flessibile. Potenziali problemi Y = β0 + β1x1 + β2x1 2 + ε Y = β0 + β1x1 + β2x1 2 + β3x1 3 + ε file:///c:/users/emanuele.taufer/dropbox/3%20sqg/classes/3d_viq.html 8/9

9 1. Non linearità. 2. Correlazione degli errori. 3. Varianza non costante negli errori. 4. Valori anomali. 5. Osservazioni influenti. 6. Collinearità. Si veda il testo per una breve panoramica Riferimenti bibliografici An Introduction to Statistical Learning, with applications in R. (Springer, 2013) Alcune delle figure in questa presentazione sono tratte dal testo con il permesso degli autori: G. James, D. Witten, T. Hastie e R. Tibshirani file:///c:/users/emanuele.taufer/dropbox/3%20sqg/classes/3d_viq.html 9/9