Regressione logistica. Strumenti quantitativi per la gestione

Transcript

1 Regressione logistica Strumenti quantitativi per la gestione Emanuele Taufer file:///c:/users/emanuele.taufer/dropbox/3%20sqg/classes/4a_rlg.html#(1) 1/25

2 Metodi di classificazione I metodi usati per analizzare situazioni in cui Y è una variabile qualitativa sono noti come metodi di classificazione. Prevedere una variabile risposta qualitativa significa assegnare l osservazione ad una categoria o una classe. D altra parte, i metodi utilizzati per la classificazione prima di tutto predicono la probabilità che l unità appartenga ad una certa classe e poi effettuano la classificazione. In questo senso sono anche dei metodi di regressione. In molti casi può essere in effetti più interessante stimare la probabilità di appartenenza ad una certa classe che effettuare una mera classificazione. Ad esempio, per una compagnia assicuratrice, può essere più importante conoscere la probabilità che una richiesta di risarcimento sia fraudolenta piuttosto che una semplice classificazione in fraudolenta/non-fraudolenta. file:///c:/users/emanuele.taufer/dropbox/3%20sqg/classes/4a_rlg.html#(1) 2/25

3 Tecniche principali I metodi di classificazione più tradizionali sono La regressione logistica L analisi discriminante (lineare e quadratica) La classificazione KNN Altri metodi, computer intensive, sono I modelli additivi generalizzati Gli alberi di classificazione, foreste casuali e boosting Support vector machines file:///c:/users/emanuele.taufer/dropbox/3%20sqg/classes/4a_rlg.html#(1) 3/25

4 Alcuni esempi Una società di analisi vuole stimare la probabilità di fallimento di un impresa sulla base di indicatori di bilancio e di tendenza del mercato Un servizio di online banking deve essere in grado di determinare se un operazione svolto sul sito è fraudolenta, sulla base dell indirizzo IP dell utente, cronologia delle transazioni passate, e così via Un general store vuole classificare i consumatori e stimare le probabilità di acquisto di determinate categorie di prodotti in base ad alcune caratteristiche demografiche (età, titolo di studio, sesso, etc.) file:///c:/users/emanuele.taufer/dropbox/3%20sqg/classes/4a_rlg.html#(1) 4/25

5 Data set Default Un data set simulato (10000 casi) disponibile nella libreria ISLR in cui una società creditizia vuole stimare la probabilità di default (incapacità di fare fronte ai pagamenti ) in base ad alcune caratteristiche del debitore Y - default: variabile binaria (default o no) X 1 - student: variabile binaria (studente o no) X 2 - balance: l importo medio di debito residuo sulla carta di credito dopo i versamenti mensili X 3 - income: il reddito dell unità file:///c:/users/emanuele.taufer/dropbox/3%20sqg/classes/4a_rlg.html#(1) 5/25

6 I dati library(islr) data(default) str(default) 'data.frame': obs. of 4 variables: $ default: Factor w/ 2 levels "No","Yes": $ student: Factor w/ 2 levels "No","Yes": $ balance: num $ income : num head(default) default student balance income 1 No No No Yes No No No No No No No Yes file:///c:/users/emanuele.taufer/dropbox/3%20sqg/classes/4a_rlg.html#(1) 6/25

7 Defaut=Yes (arancio). Default=No (blu) file:///c:/users/emanuele.taufer/dropbox/3%20sqg/classes/4a_rlg.html#(1) 7/25

8 file:///c:/users/emanuele.taufer/dropbox/3%20sqg/classes/4a_rlg.html#(1) 8/25

9 La regressione logistica La regressione logistica, anzichè modellare direttamente Y, propone un modello per la probabilità che Y appartenga ad una particolare categoria. Nel caso dei dati Default, abbiamo Y ={ 1 0 se Default altrimenti Supponiamo in prima istanza di avere un solo predittore, regressione logistica propone un modello per stimare X. La p(x) = P(Y = 1 X) Le stime prodotte dal modello sono usate per analisi e classificazione file:///c:/users/emanuele.taufer/dropbox/3%20sqg/classes/4a_rlg.html#(1) 9/25

10 Esempio Nel caso dei dati Default, utilizzando, ad esempio, balance come predittore, interessa stimare Per ogni valore dato di balance, si può fare una previsione per default. Ad esempio, si potrebbe prevedere default = Yes per ogni individuo per il quale. Alternativamente, se la società creditizia vuole essere prudente allora si può scegliere di utilizzare una soglia più bassa, come ad esempio. p(balance) > 0.1 p(balance) = P(default = Y es balance) p(balance) > 0.5 file:///c:/users/emanuele.taufer/dropbox/3%20sqg/classes/4a_rlg.html#(1) 10/25

11 Il modello logistico Poiché l obbiettivo è quello di modellare una probabilità, sempre compresa in [0, 1] il modello logistico propone di utilizzare la funzione logistica con un po di manipolazione si ottiene La quantità qualsiasi valore in. p(x) = e β 0 + β 1 X 1 + e β 0 + β 1 X p(x) 1 p(x) p(x)/[1 p(x)] [0, ) = β 0 β 1 X e + è chiamata odds, e può assumere file:///c:/users/emanuele.taufer/dropbox/3%20sqg/classes/4a_rlg.html#(1) 11/25

12 Odds Un odds vicino a 0 indica una probabilità molto bassa di default Ad esempio, tra gli individui con odds in media ogni andrà in default poiché implica un odds pari a p(x) = = 1/4 1 5 = 1/4 Gli odds sono tradizionalmente utilizzati al posto delle probabilità nelle scommesse. Dato un odds è possibile ricavare la probabilità da p(x) = odds 1 + odds file:///c:/users/emanuele.taufer/dropbox/3%20sqg/classes/4a_rlg.html#(1) 12/25

13 Logit Il logaritmo naturale dell odds ottiene p(x) log( ) = β + X 1 P(X) 0 β 1 che prende il nome di logit o log-odds ed è lineare in X Nella regressione logistica dunque il coefficiente β 1 è legato alla variazione del logit e non alla variazione della probabilità cui è legato non-linearmente Spesso si analizza il coefficiente e β 1 che indica la variazione dell odds in corrispondenza di una viaraizione di X poiché p(x) 1 p(x) = X = ( e β 0 + β 1 e β 0 e β 1 ) X file:///c:/users/emanuele.taufer/dropbox/3%20sqg/classes/4a_rlg.html#(1) 13/25

14 Regressione logistica o lineare? Una regressione lineare propone il modello p(x) = + X β 0 β 1 La regressione logistica propone il modello p(x) = e β 0 + β 1 X 1 + e β 0 + β 1 X Pur essendo di fatto utilizzabile in questo contesto il modello di regressione lineare può produrre stime di probabilità negative o superiori a 1 Se il numero di categorie di Y diventa inappropriato. è superiore a 2 il modello lineare file:///c:/users/emanuele.taufer/dropbox/3%20sqg/classes/4a_rlg.html#(1) 14/25

15 Confronto grafico file:///c:/users/emanuele.taufer/dropbox/3%20sqg/classes/4a_rlg.html#(1) 15/25

16 Stima dei coefficienti Il metodo dei minimi quadrati non è adatto ai modelli di regressione logistica. Si usa invece il metodo della massima verosimiglianza Per i dati Default si ottiene Estimate Std. Error z value Pr(> z ) (Intercept) balance file:///c:/users/emanuele.taufer/dropbox/3%20sqg/classes/4a_rlg.html#(1) 16/25

17 Interpretazione dei risultati = Vediamo che β^1 ; ciò indica che un aumento in balance è associato a un aumento della probabilità di default. Per essere precisi, un aumento di una unità di balance è associato ad un aumento del log-odds di default di unità. = = In alternativa e β^1 e indica la variazione dell odds in corrispondenza di una variazione di balance Ad esempio se balance=1500 $ allora l odds è pari a p(1500) 1 p(1500) = = e (1500) file:///c:/users/emanuele.taufer/dropbox/3%20sqg/classes/4a_rlg.html#(1) 17/25

18 Con relativa probabilità di default pari a odds p(1500) = = = (1 + odds) Una variazione di balance pari a 200 implica una variazione dell odds pari a Si verifichi infatti che p(1700) 1 p(1700) La statistica verifica dell ipotesi = = ed il relativo p-value sono usati per la contro H a β 1 z = β^1 /SE( β^1 ) H 0 : β 1 = 0 : 0 file:///c:/users/emanuele.taufer/dropbox/3%20sqg/classes/4a_rlg.html#(1) 18/25

19 Predittori qualitativi Il caso dei predittori qualitativi è trattato esattamente come nella regressione lineare, ossia attraverso l uso di variabili dummy. Ad esempio, se per i dati Default proviamo a stimare p(student), Estimate Std. Error z value Pr(> z ) (Intercept) studentyes I risultati indicano che uno studente ha, in media, probabilità di default più elevata rispetto ad un non-studente e P^ (default = Y es student = Y es) = = e (default = Y es student = No) = = P^ e e file:///c:/users/emanuele.taufer/dropbox/3%20sqg/classes/4a_rlg.html#(1) 19/25

20 Regressione logistica con più predittori Per X = ( X 1,, X p ) il modello di regressione logistica multipla è ed il logit p(x) = e β 0 + β 1 X 1 + β p X p 1 + e β 0 + β 1 X 1 + β p X p p(x) logit(p(x)) = log = p(x) β 0 β 1 X 1 β p X p file:///c:/users/emanuele.taufer/dropbox/3%20sqg/classes/4a_rlg.html#(1) 20/25

21 Esempio Per il data set Default, utilizzando tutti i predittori otteniamo Estimate Std. Error z value Pr(> z ) (Intercept) balance I(income/1000) studentyes I p-value associati a balance e student sono molto piccoli, indicando che ciascuna di queste variabili è associata alla probabilità di default. Al contrario di quanto visto prima, il coefficiente per la variabile student è negativo, indicando che gli studenti hanno meno probabilità di default dei non-studenti. file:///c:/users/emanuele.taufer/dropbox/3%20sqg/classes/4a_rlg.html#(1) 21/25

22 Confounding Il coefficiente negativo per student nella regressione logistica multipla indica che per un dato valore di balance e income, uno studente ha minor probabilità di default di un non-studente. Il problema è dovuto al fenomeno, già discusso, della distorsione da variabili omesse, (o confounding) ed al fatto che le variabili student e balance sono correlate. Gli studenti hanno maggior probabilità di avere balance più elevato che è associato a tassi di default più elevati. Così, anche se un singolo studente, per un dato balance e income, tenderà ad avere una minor probabilità di default rispetto ad un nonstudente, il fatto che gli studenti nel complesso tendano ad avere un balance più elevato significa che, nel complesso, gli studenti tendono al default ad un tasso superiore a quello dei non studenti. Questa distinzione è importante per una società di carte di credito che sta cercando di stabilire a quali persone dovrebbero offrire credito. Uno studente è più rischioso di un non-studente in assenza di indicazioni relative a balance. La situazione si rovescia a parità di balance file:///c:/users/emanuele.taufer/dropbox/3%20sqg/classes/4a_rlg.html#(1) 22/25

23 Spiegazione grafica Studenti: arancio. Non-studenti: blu Sinistra: il tasso di default per student è uguale o inferiore a quello dei non-studenti per ogni dato valore di balance. Le linee tratteggiate, corrispondenti alle probabilità di default medie (calcolate du tutti i valori di balance e income) suggeriscono il contrario. Destra: Spiegazione: student e balance sono correlate. Gli studenti tendono ad avere livelli elevati di debito, che è a sua volta associato ad una maggiore probabilità di default. file:///c:/users/emanuele.taufer/dropbox/3%20sqg/classes/4a_rlg.html#(1) 23/25

24 Regressione logistica con più classi di previsione La regressione logistica può essere estesa al caso in cui la variabile abbia più di due categorie. Tuttavia in questi casi l analisi discriminante è molto più agevole da usare e pertanto più diffusa nell utilizzo pratico. Y file:///c:/users/emanuele.taufer/dropbox/3%20sqg/classes/4a_rlg.html#(1) 24/25

25 Riferimenti bibliografici An Introduction to Statistical Learning, with applications in R. (Springer, 2013) Alcune delle figure in questa presentazione sono tratte dal testo con il permesso degli autori: G. James, D. Witten, T. Hastie e R. Tibshirani file:///c:/users/emanuele.taufer/dropbox/3%20sqg/classes/4a_rlg.html#(1) 25/25