Modelli Lineari Generalizzati. (Cap. 10) Marcello Gallucci Univerisità Milano-Bicocca

Transcript

1 Modelli Lineari Generalizzati (Cap. 0) Marcello Gallucci Univerisità Milano-Bicocca

2 Preludio La maggior parte delle comuni tecniche statistiche volte ad individuare le relazioni fra variabili, quali Correlazioni, Regressione, ANOVA, ANCOVA, sono riconducibili al Modello Lineare Generale (GLM) Il GLM ci permette di studia gli effetti di variabili indipendenti di vario tipo su variabili quantitative (variabili dipendenti continue) La ricerca empirica è disseminata di variabili dipendenti qualitative (scelte dicotomiche, scelte multiple, frequenze di eventi, classificazioni, etc) I Modelli Lineari Generalizzati ci consentono di studiare gli effetti di variabili indipendenti su variabili dipendenti qualitative

3 Modello Lineare Generale Variabili Indipendenti quantitative Regressione Correlazione Path Analysis Variabili Dipendenti quantitative Variabili Indipendenti Nominali t-test ANOVA ANCOVA ANOVA Misure Ripetute

4 Modello Lineare Generalizzato Modello Lineare Generale Variabili dipendenti Dicotomiche Chi-quadro Regressione logistica ANOVA logistica Variabili dipendenti Multinomiali Regressione logistica multinomiale ANOVA logistica multinomiale Analisi di tabelle multidimensionali Variabili dipendenti basate su frequenze Variabili dipendenti ripetute Regressione Poisson ANOVA Poisson Equazioni di stima generalizzate

5 MLGZ Techniche volte a studiare e quantificare gli effetti di una o più variabili indipendenti continue o nominali su una variabile dipendente nominale (qualitativa) Tecniche statistiche: La regressione logistica: Variabile dipendente dicotomica La regressione ordinale: Variabile dipendente ordinabile La regressione multinomiale: Variabile dipendente multinomica La regressione di Poisson: Variabile dipendente basata su frequenze Tutto ciò, anche a misure ripetute

6 Violazioni assunzioni Quando le assunzioni non sono soddisfatte, i risultati sono da considerarsi dubbi Se la violazione delle assunzioni è grave, la regressione/anova non può essere applicata Nella pratica, con variabili dipendenti continue normalmente distribuite, queste assunzioni sono abbastanza semplici da soddisfare Ma cosa succede se volessimo usare una variabile dipendente dicotomica?

7 La regressione logistica La regressione logistica si propone di studiare e quantificare le relazioni tra una o più variabili indipendenti quantitative (es. età, salario, atteggiamento verso la birra, birre bevute) e una variabile dipendente dicotomica (es. stato civile, voto al referendum, appartenenza ad un gruppo, etc.)

8 Assunzioni e Dicotomiche Le assunzione della regressione lineare non possono essere soddisfatte nel caso di VD dicotomiche Assunzione Se VD dicotomica Linearità Non può essere lineare Omoschedasticità Sicuramente la varianza dipende dal valore predetto Normalità errori Gli errori saranno sempre distribuiti con due gobbe

9 Assunzioni regressione lineare Come si può intuire dal fatto che la regressione interpola una retta tra i punti, la relazione che stima è una relazione lineare, omoschedastica e 0 normale SORRISI BIRRE

10 Violazioni assunzioni Quando queste assunzioni non sono soddisfatte, i risultati sono da considerarsi dubbi Se la violazione delle assunzioni è grave, la regressione non può essere applicata Nella pratica, con variabili dipendenti continue normalmente distribuite, queste assunzioni sono abbastanza semplici da soddisfare Ma cosa succede se volessimo usare una variabile dipendente dicotomica?

11 VD dicotomica voto attepol

12 VD dicotomica La relazione non protrà mai essere lineare Gran parte della varianza non è spiegata I punteggi saranno necessariamente raggruppati in due rette piatte voto La retta di regressione avrà moltissimo 0.00 margine di errore attepol

13 VD Categorica Quando abbiamo una variabile dipendente dicotomca, ogni soggetto ha o o 0 come valore della variabile dipendente VD=sesso (Maschi=0, Femmine=), VD=acquisto (Si=, No=0), voto al referendum (Si=, No=0) La media della variabile dipendente è la probabilità di ottenere il valore n Y ntot Ciò che prediciamo è la probabilità p di appartenere al gruppo con valore (e -p sarà la probabilità di appartenere al gruppo 0).

14 Soluzione Necessitiamo dunque di un tipo di regressione che: Risolva il problema della omoschedasticità, linearità e normalità degli errori Ammetta valori non assurdi Ci esprima le relazioni sulla base di probabilità o qualcosa di comparabile Cioè dobbiamo usare un modello che trasformi la variabile dipendente tale da linearizzare la relazione, rendere la variabile dipendente continua, e farla variare su tutto l asse (valori positivi e negativi)

15 Soluzione: parte Intanto decidiamo di non cercare di predire la probabilità, ma il rapporto tra probabilità Tale rapporto è detto odd (rapporto di probabilita ) Pi =a b yx x i Pi P i =a b yx x i

16 Odd L odd è il rapporto tra la probabilità di un evento (appartenere ad un gruppo) rispetto alla probabilità del non evento (appartenere all altro gruppo) Odd= Pi P i Esempi: se la probabilità di avere una figlia femmina è.50.5 Odd= =.5 se la probabilità di votare Si ad un referendum è.70.7 Odd= =

17 Odd L odd indica quanto più probabile è un evento rispetto al suo complemento Pi P i Esempi: Una figlia femmina è tanto probabile quanto un maschio.5 Odd= =.5 Il voto Si è 2.33 volte più probabile del No.7 Odd= =

18 Odd: Interpretazione L odd consente di esprimere la probabilità mediante valori che variano da 0 ad infinito 000 Odd da 0 ad infinito Odd= Pi P i odd ratio Probabilità da 0 a p

19 Odd: Interpretazione L odd varia da 0 ad infinito Se gli eventi sono equiprobabili.5 p=. 5 odd = =.5 É maggiore di se l evento è più probabile del contrario.7 p=. 7 odd= = É minore di se l evento è meno probabile del contrario.2 p=. 2 odd = =.25. 2

20 Problema con odd Se usassimo gli odd come variabile dipendente, potremmo ottenere predizioni impossibili, come predizioni di valori negativi Pi P i =a b yx x i Se a=, b=3 e x=-2 Pi P i = 3 x i Pi P i = 3 2 = 5

21 Soluzione: parte 2 Decidiamo di non cercare di predire l odd, ma il logaritmo dell odd Pi P i =a b yx x i ln Pi Pi =a b yx x i La trasformazione con il logaritmo si chiama logit log it =ln Pi Pi La regressione che cerca di predire il logit si chiama regressione logistica

22 Logaritmo Il logaritmo in base A di B è quel numero a cui dobbiamo elevare A per ottenere B. Log0 00=2 0 2 =00 Spesso si usa il logaritmo naturale, cioè il logaritmo con base e o numero neperiano (da Napier che lo scoprì) o di Eulerio (che lo formulò nei termini che lo conosciamo) Ln 00 =4.605 e =00

23 Vantaggi del Logaritmo La logistica usa il logaritmo in quanto: Trasforma una variabile positiva (odd) in negativi e positivi É positivo se l argomento è maggiore di É negativo se l argomento è minore di É zero se l argomento è uguale ad

24 Perché il logaritmo? Il logaritmo di una variabile che varia da 0 ad infinito (come gli odd), varia per tutti i valori possibili, da negativi a positivi 8.00 Il logaritmo dell Odd permette di esprimere la probabilità mediante valori sia positivi che negativi 6.00 logit 4.00 p log it =ln p p

25 Trasformazione Logit Per ovviare a ciò, la regressione logistica non predice la variabile dipendente così come è, ma la trasforma Variabile Originale Odd Logit Probabilità Rapporto di probabilità Logaritmo del Odd Pi Y= P i Y =0 Appartenenza ad un gruppo Odd= Pi P i Quanto è più (o meno) probabile un gruppo rispetto all altro ln Pi Pi Variabile continua definita su tutto l asse delle Y

26 Regressione logistica La regressione logistica è una regressione in cui la variabile dipendente è dicotomica, e dunque si predice mediante una regressione lineare il logaritmo del rapporto tra la probabilità di essere in un gruppo piuttosto che l altro ln Pi Pi =a b yx x i

27 Logistica in pratica Ci proponiamo di studiare in un campione di 33 soggetti, le relazioni tra atteggiamento politico (conserv, positivo= conservatore, 0=incerto, negativo=liberal) e voto alle elezioni presidenziali americane La variabile dipendente è: 0 se ha votato Kerry se ha votato Bush Validi Totale Frequenza votobush Percentuale Percentuale valida Percentuale cumulata

28 Logistica in pratica SPSS

29 Logistica in pratica SPSS Variabile Dipendente Variabile Indipendente

30 Output: Risultati Essendo una regressione, ci aspettiamo di trovare un coefficiente B, un coefficiente costante, e un test di significatività del coefficiente Variabili nell'equazione Passo a conserv Costante B E.S a. Variabili immesse al passo : conserv. Wald df Sig Exp(B)

31 Output: Risultati Essendo una regressione, ci aspettiamo di trovare un coefficiente B, un coefficiente costante, e un test di significatività del coefficiente Test di significatività Effetto della VI Variabili nell'equazione Passo a conserv Costante B E.S Wald df Sig Exp(B) a. Variabili immesse al passo : conserv. Costante Errore standard Significatività (valore-p) Non c è il coefficiente standardizzato, ma c è exp(b)

32 Intepretazione Essendo una regressione, possiamo interpretare i coefficiente come al solito Cambiamento atteso nel logaritmo di Odd, per uno spostamento nella di una unità nella VI Variabili nell'equazione Passo a conserv Costante B E.S Wald df Sig Exp(B) a. Variabili immesse al passo : conserv. Valore atteso nel logaritmo di Odd, quando la VI è zero Significatività (valore-p): se minore di 0.05, rifiutiamo l ipotesi nulla di B=0

33 Intepretazione: Problema Il problema sta nel fatto che tutte le informazioni (come in ogni regressione) sono espresse nell unità di misura della VD Nel caso del logaritmo di Odd, questa unità è non intuitiva e poco informativa Passo a conserv Costante Variabili nell'equazione B E.S Wald df Sig Exp(B) a. Variabili immesse al passo : conserv. Per ogni unità in più di conserv, ci aspettiamo un aumento del logaritmo di Odd di.907! Ma è tanto o poco?

34 4. = Svantaggi del Logaritmo Il problema del logaritmo è che la sua unità di misura non è intuitivamente interpretabile Una differenza di.903 nella scala logaritmica è tanto o poco in termini di probabilità? Per ovviare a ciò, le quantità espresse su scala logaritmiche possono essere riportate all unità originale mediate la funzione esponenziale ln (00)=4.605 exp (4.605)=00

35 Unità più comprensibili Dato che nella logistica le informazioni sono ottenute sulla base di una VD logartmica, la funzione esponenziale le riporta all unità precedente L unità precedente è l odd ratio Odd ratio Logit Ln Pi P i In generale exp Ln exp Ln q =q Pi P i = Pi P i

36 L esponenziale La funzione esponenziale di un logaritmo ci da l argomento orginale del logaritmo X Ln(X) Exp(Ln(X))

37 Relazioni tra unità di misure Al fine interpretativo è importante ricordare che: La somma tra due logaritmi, equivale al prodotto tra gli argomenti Logit Odd ratio q= Ln a Ln b exp q =a b Ln 2 Ln 3 =. 79 exp. 79 =6 B Ln(Odd ) Ln(Odd 2 ) exp( B ) Odd * Odd 2

38 B espresso come OR Per facilitare l interpretazione, il legame tra VD e VI si esprime mediante l esponenziale di B Variabili nell'equazione Passo a conserv Costante B E.S Wald df Sig Exp(B) a. Variabili immesse al passo : conserv. Exp(B) trasforma il B espresso in scala logaritmica in un B expresso in termini di odd ratio

39 Interpretazione di exp(b) Exp(B) è il tasso con cui aumenta Odd per ogni unità della VI Cioè il tasso con cui cambia il rapporto di probabilità al variare della VI Per ogni unità in più di conserv, il rapporto di probabilità tra votare Bush e votare Kerry aumenta di 2.47 volte

40 Interpretazione di exp(costante) Exp(Costante) è l Odd atteso quanto la VI è zero Se conservatorismo è uguale a zero, ci aspettiamo un odd ratio di.4, cioè votare Bush è.42 volte più probabile che votare Kerry P votarebush =. 4 P votarekerry Se conservatorismo è uguale a zero (soggetto incerto), votare Bush o Votare Kerry sono equiprobabili

41 Interpretazione di exp(b) Exp(B) è quanto aumenta l Odd per ogni unità in più della VI Se passiamo da conservatorismo=0 a conservatorismo= (aumentiamo x di una unità), ci aspettiamo che l odd ratio aumenti di Odd x= =Odd x=0 Exp B = =2.825 Odd se X= Odd se X=0 Tasso di cambio Odd per X=

42 Ricordiamo dalla lineare Nella regressione lineare y =a b x a è il valore atteso di y per x=0 y x=0=a b è quanto dobbiamo aggiungere ad a passando da X=0 a X= y x==a b In generale, b è quanto dobbiamo aggiungere ad a passando da X a X+ y x = y x b

43 Se la scala è logaritmica Con la scala logaritmica, la sostanza è la stessa ln Odd =a b x a è il valore atteso di y per x=0 b è quanto dobbiamo aggiungere ad a passando da X=0 a X= In generale, b è quanto dobbiamo aggiungere ad a passando da X a X+ ln Odd x=0 =a ln Odd x = =a b ln Odd x =ln Odd x b

44 Relazioni tra unità di misure Ma la somma di due logaritmi equivale alla esponenziale dei prodotti degli argomenti Logit q= Ln a Ln b Odd ratio exp q =a b

45 Se la scala è riportata in OR Con la scala riportata in Odd Logit a è il valore atteso di y per x=0 Odd ratio Exp(a) è il valore atteso di Odd per x=0 ln Odd x=0 =a exp a =Odd x=0 b è quanto dobbiamo aggiungere ad a passando da X=0 a X= b è quanto dobbiamo moltiplicare a passando da X=0 a X= ln Odd x= =a b Odd x= =Odd x=0 b

46 Interpretazione di exp(b) Paragone con la regressione linerare Regressione lineare y =a b x a è il valore atteso di y per x=0 b è quanto dobbiamo aggiungere ad a passando da X=0 a X= Regressione logistica ln Odd =a b x Exp(a) è il valore atteso di Odd per x=0 Exp(b) è quanto dobbiamo moltiplicare Exp(a) passando da X=0 a X=

47 Interpretazione di exp(b) Aumentando X di, aumento in termini di logaritmo di.907 L esponenziale di.907 è Variabili nell'equazione Passo a conserv Costante B E.S Wald df Sig Exp(B) a. Variabili immesse al passo : conserv. Dunque in termini di Odd aumento di Cioè se un soggetto ha conservatorismo uguale ad, il suo Odd di votare Bush sarà volte più grande del soggetto che ha conservatorismo uguale a 0

48 Logistica in pratica (2) Ci proponiamo di studiare in un campione di 33 soggetti, le relazioni tra voto precendente (prevbush, 0=Gore, =Bush) e voto alle elezioni 2004 (votobush, 0=Kerry, =Bush) Tavola di contingenza votobush * prevbush votobush Totale voto alle elezioni 2004 Conteggio % entro prevbush Conteggio % entro prevbush Conteggio % entro prevbush prevbush % 30.0% % 70.0% % 00.0% x voto alle precendenti elezioni Totale % % %

49 Logistica in pratica (2) Concentriamoci su coloro che non hanno votato Bush alle precedenti elezioni, cioè x=0 Tavola di contingenza votobush * prevbush votobush Totale Conteggio % entro prevbush Conteggio % entro prevbush Conteggio % entro prevbush prevbush % 30.0% % 70.0% % 00.0% Totale % % % Se x=0, il 38. % vota Bush e 6.9 % vota Kerry nel Odd 0 = = Se x=0, l Odd di votare Bush è:

50 Logistica in pratica (2) Passiamo ora a coloro che hanno votaro Bush alle precendenti elezioni, cioè x= Tavola di contingenza votobush * prevbush votobush Totale Conteggio % entro prevbush Conteggio % entro prevbush Conteggio % entro prevbush prevbush % 30.0% % 70.0% % 00.0% Totale % % % Se x=, il 70.0 % vota Bush e il 30.0 % vota Kerry nel 2004 Se x=, l Odd di votare Bush è: Odd =. 70 =

51 Logistica in pratica (2) Dunque, passando da X=0 a X=, Odd di votare Bush è aumentato di 3.79 volte Tavola di contingenza votobush * prevbush votobush Totale Conteggio % entro prevbush Conteggio % entro prevbush Conteggio % entro prevbush prevbush % 30.0% % 70.0% % 00.0% Odd exp( B ) Odd 0 Totale % % %

52 Logistica in pratica (2) Dunque, grazie alle differenze in X, possiamo predire un cambiamento in Odd di 3.79 Tavola di contingenza votobush * prevbush votobush Totale Conteggio % entro prevbush Conteggio % entro prevbush Conteggio % entro prevbush prevbush % 30.0% % 70.0% % 00.0% Odd 0 =. 66 Odd =2. 33 Odd =Odd Totale % % %

53 Exp(B) La regressione logistica calcola esattamente questa predizione Variabili nell'equazione Passo a prevbush Costante B E.S Wald df Sig Exp(B) a. Variabili immesse al passo : prevbush. Se x=0, l Odd di votare Bush è: Odd 0 =. 66 Se x=, l Odd di votare Bush è: Odd =Odd 0 * Cambiamento in Odd dovuto a X

54 Quando exp(b) è minore di Proviamo ora ad invertire i gruppi e calcolare la regressione con VotoKerry come VD, cioè la medesima variabile ma con 0=vot a Bush, =voto a Kerry Variabili nell'equazione Passo a prevbush Costante B E.S Wald df a. Variabili immesse al passo : prevbush. Se x=0, l Odd di votare Kerry è: Se x=, l Odd di votare Kerry è: Odd 0 =. 625 Odd =Odd 0 *.264 Al cambiare di X, la propensione a votare Kerry diminuisce Sig Exp(B)

55 Inversione della VD Ovviamente, se prediciamo Odd di votare Bush, o Odd di votare Kerry, i risultati sono equivalenti Qui Bush= Passo a prevbush Costante Variabili nell'equazione B E.S Wald df Sig Exp(B) a. Variabili immesse al passo : prevbush. Exp B bush = = = Exp B ker ry. 264 Qui Kerry= Variabili nell'equazione Passo a prevbush Costante B E.S a. Variabili immesse al passo : prevbush. Wald df Sig Exp(B)

56 Fine Fine della lezione