UNIVERSITÀ DEGLI STUDI DI PADOVA

Transcript

1 UNIVERSITÀ DEGLI STUDI DI PADOVA FACOLTÀ DI SCIENZE STATISTICHE CORSO DI LAUREA IN STATISTICA ECONOMIA E FINANZA Tes d laurea Selezone delle varable per mglorare le Prevson: l LASSO Relatore: Prof. Gudo Masarotto Laureanda: Djeuteu Celmene Anno Accademco

2

3 Dedco questa tes a me parent che m hanno sopportato e autato n modo ndretto al compmento d questo mportante lavoro. Inoltre a tutt quell che m hanno permesso d portare avant quest stud.

4

5 INDICE INTRODUZIONE... PAG. 7 CAPITOLO 1 LA REGRESSIONE LINEARE PAG DEFINIZIONE..... PAG FORMULAZIONE DEL MODELLO DI REGRESSIONE LINEARE..... PAG STIMA DEL MODELLO ATTRAVERSO I MINIMI QUADRATI....PAG VERIFICA D IPOTESI PAG. 19 CAPITOLO SELEZIONE DELLE VARIABILI.. PAG. 1.1 INTRODUZIONE PAG.1. LASSO.....PAG..3 L ALGORITMO DI LARS..PAG. 4 CAPITOLO 3 SIMULAZIONE: STUDIO DI CONFRONTO TRA GLI ALGORITMI LARS, LASSO E STEPWISE REGRESSIO..PAG MODELLO SENZA INTERAZIONE... PAG MODELLO GENERALE....PAG. 40 CONCLUSIONE..PAG.43 BIBLIOGRAFIA. PAG.45

6

7 INTRODUZIONE In genere, l obettvo delle scenze statstche consste nel trovare quale modello probablstco possa generare de dat tratt da una popolazone, n modo tale da fornre una descrzone sntetca del fenomeno oggetto d studo, che ne permetta l nterpretazone e la prevsone. Dato un vettore casuale delle rsposte Y, l anals d regressone permette d selezonare tra un nseme d varabl concomtant, quello parsmonoso per una effcente prevsone della varable rsposta. Tuttava essa presenta alcune problematche n quanto a volte c s trova davant a un modello quas spuro, ossa un modello con varabl aggunte non necessare per la stma del modello stesso, oppure ad un campo con numero d osservazon abbastanza grande. Gl algortm d selezone delle varabl, dett stepwse regresson (backward e forward regresson), rdge regresson e all-subsets regresson, non ncludono sempre accurate predzon, ma presentano rsultat parzal nstabl ne test potes durante o dopo la selezone delle varabl. Per cercare d ovvare a cò, nel 1996 Tbshran svluppò un metodo effcente che mglorò problem d stabltà e d predzone, detto LASSO, una versone

8 nteressante d mnm quadrat ordnar che lmta la somma de coeffcent d regressone n assoluto. Dalla sua scoperta, però, tale metodo non è stato ma usato perché presenta comunque dfett nell mplementazone. Nel 004, EFron Bradley, basandos sempre l suo lavoro sulla rsoluzone d problem real, ntrodusse l problemapù mportante nella regressone lneare, la selezone de regressor. Questa rflette la selezone de varabl tra un nseme d canddat, stmando parametr per quell ultm per fare nferenza e per calcolare ntervall d confdenza. In pù, egl dmostrò l esstenza d un legame tra l LASSO e un altro chamato LAR, un nuovo algortmo d selezone ne forward regresson, svluppando una struttura algortmca che mette l nseme e procura un mplementazone rapda, a cu vene dato percò l nome d LARS (la s è sottontesa come la stagewse o l LASSO). LARS è un metodo potenzalmente rvoluzonaro, perfezonando dfett degl altr metod d selezone e offrendo n pù grafc che mostrano pass nella complesstà de modell e un semplce database con regole per determnare l lvello ottmo d complesstà che evta al massmo pregudz ne test d potes. Nel mo lavoro, qund, parlerò nnanz tutto della regressone lneare e d tutt gl aspett ad essa collegat, per soffermarm po sulla selezone delle varabl con metod stepwse, LASSO, e pù brevemente LAR. L ultma parte sarà focalzzata sul metodo LARS, che rchede solo lo stesso ordne d grandezza d sforzo

9 computazonale, come mnm quadrat ordnar applcat all nseme completo d varabl esplcatve.

10

11 Captolo 1 LA REGRESSIONE LINEARE 1.1 Defnzone In statstca, la regressone lneare s rfersce ad un approcco d modellzzazone del rapporto tra una varable scalare Y e una o pù varabl denomnate X. Nella regressone lneare, modell de parametr gnot sono stmat sulla base de dat utlzzando funzon lnear. Tal modell sono chamat modell lnear. Pù comunemente, la regressone lneare s rfersce ad un modello n cu la meda condzonata d Y, dato l valore d X, è una funzone affne d X. Meno comunemente, la regressone lneare potrebbe rferrs ad un modello n cu la medana o qualche altro quantle della dstrbuzone condzonata d Y dato X, è espresso n una funzone lneare d X. Come tutte le forme d regressone, quella lneare s concentra sulla dstrbuzone d probabltà condzonata d Y dato X,

12 puttosto che sulla probabltà condzonata d Y e X, che è l domno d anals multvarata La regressone lneare è stata l prmo tpo d anals d regressone ad essere studata con rgore e ad essere ampamente utlzzata nelle applcazon pratche. Questo perché, da una parte, modell che dpendono lnearmente da loro parametr gnot sono pù facl da stmare rspetto a modell che sono legat n modo non lneare per loro parametr, e dall altra perché le propretà statstche degl stmator rsultant sono pù facl da determnare. Due grand pass sono present nella regressone lneare: se l'obettvo è la prevsone, la regressone lneare può essere utlzzata per adattare un modello predttvo d un nseme d dat osservat Y usando le varable esplcatve X. Dopo lo svluppo d un tale modello, possamo prevedere o calcolare le Y per nuov valor d X. Qund per un X dato senza l relatvo Y, l modello adattato può essere usato per fare una prevsone del valore d Y. Data una varable Y e una sere d varabl X,..., 1 X P che possono essere correlate alla y, l'anals d regressone lneare può essere applcata sa per quantfcare la forza della relazone tra Y e le x j, e valutare qual dellex j possono non avere rapporto con la y, sa per dentfcare qual sottonsem dex j contengono nformazon rdondant su y. Una volta che uno d loro è noto, gl altr non sono pù nformatv.

13 I modell d regressone lneare sono spesso stmat con l metodo de mnm quadrat, ma possono essere modellat anche n altr mod, come ad esempo rducendo al mnmo la "mancanza d adattamento" n qualche altra norma. Al contraro, l approcco de mnm quadrat può essere utlzzato per adattare modell che non sono lnear. Per cu, termn "mnm quadrat" e modello lneare, sono strettamente collegat, ma non sono snonm. 1. Formulazone del modello d regressone lneare Dato un nseme d daty {, y 1, x, xp n } = 1 untà statstche, una regressone lneare assume che la relazone tra la varable d'nteresse y e l p-vettore de regressor x, sa approssmatvamente lneare. Questo rapporto approssmatvo è modellato attraverso un cosddetto termne d dsturbo ε, una varable casuale non osservata che aggunge error tra la varable dpendente e l regressore. Per cu s può scrvere y = β 1 x β x + ε, 1,... n 1 p p = ε sono dentcamente dstrbut come une normale d meda 0 e d varanza d meda σ, che uguale anche la varanza della varable rsposta, y. In forma matrcale Y =Xβ + ε Dove

14 Detto cò, c sono alcun note da fare: le varabl ndpendent sono assunt stocastc, e msurat senza errore da un punto d vsto spermentale; pù n generale sono assunt fssat. A volte uno de regressor può essere una funzone non lneare d un altro regressore o de dat, come nella regressone polnomale. Dato che l problema d regressone consste nella determnazone della legge d probabltà d y rspetto a x, defnamo la parte sstematca della dstrbuzone delle y, l valore atteso E µ ( y ) =, come una funzone d x tramte parametr d regressone. Quest ultm verranno stmat, per po fare nferenze. S nota che µ = x, β ) e che ( β appartengono a un sottonseme d dmensone p e non dpendono da n.; y sono varabl quanttatve. La loro varabltà è costante e ndpendente dalle condzon spermental. Qund σ v y ) = E( y, µ ) =, 1... n ( = : s parla d omoschedastctà. Sono assunt correlat oppure ndpendent rspetto alla

15 dstrbuzone congunta d Y, che sarebbe normale d meda µ, vncolata e d varanza σ. La decsone su quale varable modellare come varable ndpendente può essere basata sulla presunzone che l valore d una delle varabl sa causato, o drettamente nfluenzato, da altre varabl. In alternatva, s può rcorrere ad un modello operatvo per una delle varabl espressa n funzone degl altr. In quest ultmo caso non c'è bsogno d presunzone d causaltà; ε è l termne d errore, d dsturbo oppure rumore. Questa varable cattura tutt gl altr fattor che nfluenzano la varable dpendente y dverso dax. S assume anche che l termne d errore e regresso rsono correlat; è un passo fondamentale nella formulazone d un modello d regressone lneare, n quanto determnerà l metodo da utlzzare per la stma. Sono ndpendent e dentcamente dstrbut come una normale d meda 0 e d varanzaσ. ASSUNZIONI Due potes d base sono comun a tutt metod d stma utlzzat n anals d regressone lneare:

16 1) La matrce X deve essere d rango p, coè avere colonne ndpendent. Così dobbamo avere p < n, dove n è la dmensone del campone (questa è una condzone necessara ma non suffcente). Se questa condzone non è rspettata s ha una multcollneartà ne regressor. In questo caso l vettore parametro non sarà dentfcable, al massmo s potrà restrngere l suo valore per alcun sottospaz lnear d R p. In altre parole, c devono essere abbastanza dat a dsposzone rspetto al numero d parametr da stmare. Nel caso contraro, s rcorre ad un sstema d equazon senza soluzone unca; ) le varable esplcatve s presumono prve d error, ossa non concomttante da error d msurazone. Anche se non è realstco n molte mpostazon, lascando cadere questa potes, s arrverebbe ad error molto pù elevat. Prma d fare la stma del modello, e per valor abbastanza grand d osservazon, s assume che le dstrbuzon della varable osservata s avvcnno ad una dstrbuzone normale. 1.3 Stma del modello attraverso mnm quadrat Un modello stmato può essere usato per dentfcare l rapporto tra un unco predttore x j e la rsposta y,a partà d altr predttor nel modello. In partcolare,

17 l nterpretazone del β j è l cambamento atteso n Y per un cambamento n una sola untà x j quando le altre sono tenute fsse. L effetto margnale d xj d y può essere valutato sulla base d un coeffcente d correlazone. Numerose procedure sono state svluppate per stmare parametr e fare nferenza nella regressone lneare. Tuttava esse dfferscono nella semplctà computazonale degl algortm (presenza d anomale nelle soluzon). La tecnca la pù usata è l metodo de mnm quadrat (OLS). La robustezza rspetto alle dstrbuzon a coda pesante, e potes teorche necessare per convaldare auspcabl propretà statstche, come la coerenza e l effcenza asntotca. Il metodo de mnm quadrat ordnar (OLS) è concettualmente e computazonalmente semplce. Le stme OLS sono comunemente utlzzate per anals sa n campo spermentale, sa per l osservazone de dat. Il metodo OLS mnmzza la somma de resdu al quadrato e conduce ad una espressone n forma chusa per l valore stmato d β, parametro sconoscuto. Sa YN ( µ, σ ), σ 0 dove n è l numero d osservazon, l metodo de mnm n I n quadrat s basa sulla funzone d verosmglanza, ( µ, σ ; y) = logσ y µ che s rcava Log-dfferenzzando la funzone d denstà, n n Y ( y;, σ ) = (1/ σ π ) exp = 1 { 1/ σ ( y ) } P µ µ = 1... n ( µ, σ ) V ( 0, + ) n 1 σ

18 La stma d massma verosmglanza d β è ottenuta mnmzzando la funzone d log-verosmglanza β = ( X X ) T 1 X T 1 1 ' 1 Y = xx xy n n Perché questa relazone sa vera, la matrce ( X T X ) deve avere rango peno, per poter essere nvertble. La stma è corretta e consstente se gl error hanno una varanza mnma e sono ncorrelat con covarat, E[ ε ] = 0 [ ] E / I x x Essa è anche effcente sotto l potes che gl error sano omoschedastc, ossa ε non dpende da. Questa condzone è valda sa con dat spermental che con quell osservazonal. Se l obettvo è l nferenza oppure la modellazone predtttva, le prestazon delle stme OLS possono essere povere se è presente la multcollneartà, a meno che la dmensone del campone sa grande. Nella regressone lneare semplce, n cu v è un solo regressore (con una costante), le stme OLS hanno una forma semplce che è strettamente legata al coeffcente d correlazone tra l regressore e la rsposta. La stma della varanza s ottene consderando nota la meda µ σ = µ = Py, e rsulta essere scrtta σ ˆ T e e = n T ( y yˆ) ( y yˆ) = n, dove e è l vettore degl error stmat, ovvero resdu. Sono ortogonal allo spazo formato dalle covarate e alla varable rsposta.

19 1.4) Verfca d potes Se un coeffcente d regressone è par a zero vene tolto dal modello. Pù n generale, se coeffcent d regressone sono tutt par a zero allora regressor sono rrlevant per l anals de dat y e s rtorna al modello d camponamento casuale semplce. Sa y una realzzazone d Y (,σ ) I n µ dove σ 0 µ V sottospazo p- dmensonale d n R generato dalle colonne della matrce X Le potes fatte su un modello d regressone sono l uguaglanza a zero d un coeffcente βr, r =... n oppure d un nseme d coeffcent (s esclude l ntercetta). L potes lneare generale è data da H0 : µ Vo n cu V0è un sotto spazo dv con dmensone ad H : β = 0, r =... p 0 r p 0 < p L potes nulla corrsponde generato dalle p = p 1 colonne d X esclusa l r-esma. L potes lneare generale 0 permette d trattare untaramente molt mportant problem d verfca d potes per modell lnear normal. S consdera l potes nulla

20 H0 : µ Vo contro l potes alternatva H µ V \Vo : 1 La funzone d verosmglanza L, σ ; y) = ( σ ) n / 1 ( µ exp y µ σ è massma n ( ˆ, µ ˆ σ ) = ( Py, y Py / n) sotto l modello completo mentre è ( ˆ, ˆ σ ) = ( P 0y, y Py 0 / n) sotto l modello rdotto. Il test è equvalente a rfutare l potes nulla per valor grand d µ F ( P P0 ) y /( p p0 ) ( I P) y /( n p) = = ˆ σ n ( ~ σ ˆ σ ) ( p p ) ( n p) 0 F esprme dunque la dmnuzone relatva nella varanza stmata dell errore che s ha passando dal modello rdotto al modello completo, corretto con grad d lbertà. Una grande dmnuzone d F è sntomo d nadeguatezza del modello rdotto. Il test sulla sgnfcatvtà d un parametro, l test t, equvale al test per verfcare l potes nulla che valga l modello rdotto, avendo solo una sola varable esplcatva contro l alternatva che valga l modello completo, composto dal resto delle varabl esplcatve. S tratta d modell anndat e l test del rapporto d verosmglanza è equvalente al test che rfuta l potes nulla per valor grand d F.

21 Captolo SELEZIONE DELLE VARIABILI.1)Introduzone Sceglere un modello lneare con l dea d mpostarlo a dat a cu l modello verrà applcato, rleva d un mportanza statstca nel senso che, s scegle tra le covarate date nella partenza, l nseme parsmonoso per l effcente prevsone della varable rsposta. Nella regressone lneare, classc metod d selezone delle varable sono la backward elemnaton oppure la forward stepwse selecton. In partcolare, dato un nseme d p varabl esplcatve, la forward stepwse regresson scegle quella che produce una correlazone pù alta con la varable rsposta y, che chameremo x j1, j = 1,..., p, e esegue una semplce regressone lneare d y su j1 x. Questo produce l pù pccolo valore R e lasca un vettore resduo ortogonale al x j1, consderato come l vettore rsposta. S nsersce qund nel modello uno fra gl altr predttor, quello

22 che rsulta produrre una mglor estmazone, e s rpete l processo d selezone fno ad avere un nseme d k predttor x,..., j1 xjk. La backward elemnaton, d altro canto, comnca l estmazone del modello con tutt predttor e sequenzalmente togle le varabl che contrbuscono ad avere un valore pccolo della R. Quest metod non sono stabl perché possono produrre modell sbaglat, n quanto un cambamento ne dat può portare a sceglere una varable nvece d un'altra. Da cò derva che le nferenze possano rsultare non correte, vsto l numero grande d modell propost. Inoltre, se è presente un numero elevato d osservazon oppure l numero delle varabl esplcatve è superore al numero de dat, la scelta delle varabl dventa pù dffcle e percò s hanno modell spur. Efron promette d produrre modell nterpretabl, predzon accurate e nferenze approssmatvamente non errate: ntroduce l LASSO (Tbshran 1996)..) LASSO È una versone lmtata del metodo de mnm quadrat ordnar (OLS), nel senso che mnmzza l quadrato de resdu pù un termne, l 1 penalty, su coeffcent d regressone: lmta la somma del valore assoluto de coeffcent d regressone. Sa l vettore d p regressor, Y vettore rsposta e β = β,..., β ), abbamo la formulazone seguente ( 1 p

23 Y Xβ p + θ β j j= 1 Dato ˆ β ( ˆ β, ˆ β,..., ˆ β ) = p d prevsone µˆ 1, un opportuno vettore d coeffcent stmat per dare l vettore p = j= 1 ˆ µ x ˆ β X ˆ β j j = S ˆ µ. Con l errore quadratco totale ( β ) = y ˆ Sa p T ( ˆ) = ˆ β β, la norma assoluta d βˆ, LASSO scegle βˆ mnmzzando S(β ) j= 1 j ˆ soggetto d un t vncolato su T (βˆ ) LASSO tende a rdurre a 0 coeffcent OLS uno alla volta. La rduzone spesso mglora la prevsone. Qund per le varabl che sono pù valde, che charamente devono essere ncluse nel modello e dove l restrngmento verso lo zero è meno auspcable, l 1 penalty strnge meno. Questo è mportante per fornre prevson mglor de valor futur. LASSO ha una propretà tale per cu s stpula che, per qualsas valore vncolato d t, solo un sottonseme d repressor hanno un valore dverso dallo zero d βˆ j. In conclusone, se la bontà del modello scelto rsulta soddsfacente, l problema che s pone è d sapere se regressor sono quell pù mportant.

24 .3) L algortmo d LARS Least Angle Regresson è una versone stlzzata della stagewse regresson per mglorare l LASSO. È una procedura che utlzza una semplce formula matematca per accelerare calcol. Solo k passagg sono necessar per l nseme completo d regressor adatt, dove k rappresenta l numero d covarate. Il funzonamento d LARS è, brevemente, l seguente. Come nella classca selezone forward, esso prevede che s nz con tutt coeffcent par a 0, per po trovare l predttore, x j1, con la correlazone pù alta con la rsposta. Prendamo l pù grande passo possble nella drezone d questa fno al predttore o qualche altro fattore predttvo, x j, che ha correlazone pù elevata con l vettore resduo. Invece d contnuare n questo modo, LARS procede n una drezone equangolo tra due predttor fno a una terza varable, x j3, che abba una correlazone alta con resdu. S procede po n manera equangolo tra j1 x, x j, j3 mnmo angolo, fno all entrata della quarta varable e così va. x, coè lungo la drezone d La fgura sotto llustra la stuazone nel caso d due varable esplcatve X = x 1, x ) (

25 X X y U ˆµ 0 ˆµ 1 y 1 X 1 Fgura 1: y è la proezone d y ˆ µ nello spazo L (x1, x). A partre da 0 = 0, l vettore resduo ˆµ 0 y ha una correlazone maggore con X 1 che X ; la prossma ˆ ˆ ˆ 1 X µ stma d LARS sarà = µ 0 + γ 1 1, dove γ 1 scelto è tale che y ˆµ 1 sa la bssezone ˆ ˆ ˆ dell angolo formato da X 1 e X ; allora µ = µ 1 + γ u, n cu u è la bsettrce untà; ˆ µ = y nel caso p =, ma non n quello p >. Qu LARS tende a LASSO, ma una modfca è necessara per garantre accord n pù dmenson. Tre sono le caratterstche prncpal dervate: 1) Una semplce modfca del LARS mplementa l LASSO e calcola tutte le stme possbl d LASSO, usando un ordne d grandezza, meno computazonale, mnore rspetto a metod precedent. Una dversa modfcazone effcente del LARS mplementa la FORWARD STAGEWISE REGRESSION o pù comunemente Stagewse, un altro modello d selezone.

26 ) LARS ha un vantaggo sulla veloctà. Infatt raggunge l ampa soluzone con le soluzone de mnm quadrat, usando tutte le varabl n p tapp, vale a dre che n LAR le varabl non vengono ma tolte dal modello una volta entrate. 3)C è la dsponbltà d una statstca fno alla soluzone, C p per sceglere l numero d pass da usare C p 1 = ˆ σ n ( y yˆ ) n + = 1 k Dove k è l numero d tapp e ˆ σ rappresenta la varanza stmata dal modello saturo con n > p. È basato sul teorema 3 n Bradley Efron (004), l quale stpula che dopo k tapp d LAR l numero d grad d lbertà cov( ˆ µ, Y )/ σ sa approssmatvamente k. Questo fornsce una semplce regola per smettere dopo k tapp che mnmzza la statstca C p. Notamo che questo k grado lbertà è valdo solo per la statstca n = 1 Cp e s rvela falso dal momento n cu grad d lbertà sono p per l modello completo, ma l numero totale d pass comput può superare p. Tuttava s dmostra emprcamente che, per un rsultato ntutvamente plausble, bsogna che grad d lbertà sano ben approssmat dal numero d predttor non null nel modello. In partcolare, né la dmnuzone dello scarto quadratco medo, né l'errore d prevsone atteso sono

27 lnear n k (sotto Ipotes nulla che β = 0 per ognj ). Anche quest due effett j rendono meno accettabl la statstca C p. Questo crtero è stato ntrodotto da Mallows (1973) per essere usato n OLS, ma c s è rvelato un metodo d scelta nconsstente (Shao (1993)), dato che sovrastma l modello. Loubes and Massart (004), Madgan and Rdgeway (004) e Stne (004) propongono allora un altro crtero d selezone, la cross-valdazone. La crossvaldazone è una tecnca statstca d rcamponamento che consste nel suddvdere l campone d partenza n k sottonsem e, ad ogn passo, sulla parte (1/k)-esma del dataset, chamato tranng data set, s costrusce l modello, ossa s stmano parametr d un modello, che verranno msurat dalle loro capactà predttve nella restante parte che costtusce l tranng dataset. Questo crtero è utlzzable n presenza d una buona numerostà del tranng dataset. Così, per ognuna delle k part (d solto k = 10) s allena l modello, evtando qund problem d overfttng, ma anche d camponamento asmmetrco (e qund affetto da bas) del tranng dataset, tpco della suddvsone del dataset n due sole part (ovvero tranng e valdaton dataset). Varando la composzone de due campon s valuta la mglore stma e la sua varabltà.

28

29 Captolo 3 Smulazone: studo d confronto tra gl algortm LARS, LASSO e stepwse regresson Fnora abbamo svluppato la teora sul funzonamento de metod d selezone d varabl tenendo conto dell accuratezza delle stme e della bontà del modello. In questo Captolo la nostra attenzone s baserà sull applcazone della procedura LARS con altr metod d selezone, ovvero LAR, Lasso e la Stepwse. Per potere analzzare e dscutere n merto all effcenza d tal metod, rcorreremo all applcazone della procedura ad un esempo pratco: lo studo de dat relatv alla progressone del dabete su 44 pazent. Questa progressone dpende, tra le altre cose, dall età, dal sesso, dal peso, dalla meda della pressone del sangue e altre se dverse msure relatve alle caratterstche del sangue. L obettvo è quello d creare un modello che preveda rsultat da queste varabl esplcatve, tramte la rpetzone d questa procedura per tre algortm, al

30 fne d dentfcare quello pù effcente, tenendo conto che tra buon modell l mglore è quello con l pù pccolo sottonseme de predttor. Il nostro dataset sarà composto da una varable rsposta y, da una matrce X con dec regressor e da una matrce X che comprende dec repressor pù alcun nterazon tra repressor. I dat sono stat standardzzat per avere una meda 0 e d lunghezza par all untà su ogn colonna. Al fne d raggungere nostr scop, consdereremo la prma parte del modello con sol regressor, ossa senza fattor d nterazone e la seconda con tutt fattor d nterazone. 3.1 Modello senza terazone Denotamo con x.age, x.sex, x.bm, e x.map le varabl rspettvamente dell età, del sesso, del peso e della meda della pressone sangugna, mentre le altre se varabl (x.tc, x.ldl, x.hdl, x.tch, x.ltg, e x.glu) sono le caratterstche del sangue. Dobbamo assumere che regressor sano stat standardzzat per avere meda par a 0 e lunghezza, l untà, e la rsposta ha meda 0 n y = 1 n x j = 1 = 0 n x j = 1 = 0 = 1, j = 1... p e = 1... n Rorganzzamo dat n un nuovo dataset, che chamamo,, n cu abbamo consderato solo regressor senza nterazone tra loro e con la varable rsposta.

31 Anals prmlnare de dat

32

33 I dat sopra rportat rappresentano la correlazone esstente tra le varable del dataset dabete. Tra le varable repressor la pù forte correlazone par a è tra la varable x.tch e la varable x.hdl. Notamo che la terza varable, x.bm, seguta drettamente dalla 9, x.ltg, hanno coeffcent d correlazone (rspettvamente e ) pù elevat con la varable rsposta. Da cu per tutte le procedure, l peso(x.bm) è pù rlevante e qund ntrodotto per prmo nel modello. Usamo l comando seguente per stmare l modello sa con l metodo LASSO che con l metodo LAR. da.lars1<-lars(x,y,type=c("lasso"),trace=t) LASSO sequence Computng X'X

34 <-lars(x,y,type=c("lar"),trace=t) LAR sequence Computng X'X...

35 Guardando due rsultat del LASSO e dell LAR, l prmo elemento rlevante che notamo è per tutt due metod, la cronologa (la prortà) n cu le varabl entrano nel modello è la stessa; la prma varable che ntegra l modello è la 3, la seconda è la 9, la terza è la 4 Po, l applcazone dell algortmo Lars al Lasso è modfcata al passo 11,cò per dare un rsultato Lasso: l numero d pass usat è 11,superore al numero d varabl esplcatve.infatt, fno al passo 10 tutt regressor sono gà nel modello, ma Lars togle la varable 7 perché camba d segno mentre la correlazone attva non camba

36 e po la rensersce. Allora, l numero d nterazone rsulta pù grande(1),da cu vene spegata l mplementazone pù lunga d lasso Nel frattempo, con LAR, l numero d pass necessaro per mplementare l modello è uguale al numero de regressor present nel modello: repressor non sono ma tolt dal modello Fgura 1 LASSO Standardzed Coeffcents * ** ** * ** ** * * * * ** * ** * ** ** * * ** * ** * ** * * * ** * ** ** * ** * ** * * * * ** * * ** * ** * beta /max beta

37 Fgura LAR Standardzed Coeffcents * * ** * ** * * * * * ** * * ** * ** * * ** * * ** * * * ** * ** * * * ** * * * * ** * * * * * * beta /max beta La fgura 1 e la fgura llustrano rspettvamente coeffcent stmat per LASSO e LAR. beta maxbeta è sotto nteso come la norma assoluta t = p j= 1 ˆβ. j Al crescere d t, le varable esplcatve ntegrano l modello n manere sequenzale. Il summary de due modell stmat c dà la statstcac, che decresce all aumentare de pass, ossa, man mano che le varabl entrano nel modello, fno a essere mnmzzata per lasso, al passo 1 e per Lar al passo 10. Qund, da un punto d vsta computazonale Lar mette meno tempo rspetto a Lasso per trovare p

38 >summary(da.lars) LARS/LASSO Call: lars(x = x, y = y, type = c("lasso"), trace = T) Df Rss Cp > summary(da.lars1) LARS/LAR Call: lars(x = x, y = y, type = c("lar"), trace = T) Df Rss Cp

39 plot.lars(ft1,xvar=c("norm"),plottype=c("cp")) LAR Cp Df

40 3.) Modello generale Consderamoo la regressone usuale: abbamo ( y ) x,, 1,..., n =, dove x = x,..., x ) ( 1 p sono 64 regressor chespegano caratterzzando adesso la progressone del dabete e y è la varable rsposta. Il modello adesso è caratterzzato da un nseme d 10 regressor,45 nterazon e l quadrato d 9 regressor tranne la seconda. Importamo dat nel data frame nt e costruamo l nostro modello. >nt<-data.frame(x,y) LASSO sequence Computng X'X... LARS Step 1 : Varable 3 LARS Step : Varable 9 LARS Step 3 : Varable 4 added added added Computng resduals, RSS etc... Call: lars(x = x, y = y, type = "lasso", trace = T) R-squared: 0.59

41 S nota che la prma varable che vene scelta per spegare la varable rsposta è sempre la terza. Durante l mplementazone con Lasso le varabl vengono tolt dal modello e po rmess ulterormente e s raggunge l modello fnale dopo 104 pass. Però,l coeffcente d determnazone(0.59) è cambata;la varanza della varable rsposta è spegata d pù rspetto al prmo modello senza nterazon(0.518). Lar ha un costo pù basso perché l rsultato è ottenuto dopo 64 pass par al numero d repressor e ha lo stesso valore del coeffcente d determnazone(0.59). > ft1<-lars(x,y,type="lar",trace=t) LAR sequence

42 L anals della statstca cp de due metod confermano I rsultat; l suo valore s abbassa mentre cresce I grad d lbertà > summary(ft) LARS/LASSO Call: lars(x = x, y = y, type = "lasso", trace = T) > summary.lars(ft1) LARS/LAR Call: lars(x = x, y = y, type = "lar", trace = T)

43 CONCLUSIONE Abbamo vsto che l metodo pù comunemente usato per stmare un modello d regressone lneare è l metodo de mnm quadrat. Però le stme ols così trovat, non soddsfano l anals: l prmo problema è l accuratezza delle prevson,le stme ols sono consstent ma hanno varanza larga, secondo è l nterpretazone soprattutto quando samo n presenza d un numero grande d varable esplcatve. Abbamo proposto un nuovo metodo per stmare modell lnear, l lasso mnmzza la somma de resdu vncolata dalla somma del valore assoluto de coeffcent sa nferore a una constante. Dato la natura del vncolo, esso tende a mettere a zero alcun coeffcent e gl altr sono rdott al massmo. Così facendo sacrfca una tendenza ben poco per rdurre la varanza de valor prevst e, qund, può mglorare l'accuratezza complessva della prevsone ossa dà modell nterpretabl. Lo studo tramte un esempo c permette d proporre algortm effcent per gl estenson d Lasso e Lar, e s dmostra che quest estenson dà una performmenza superore rspetto alla stepwse regresson a una parte, e dall altra c premette d trovare smltudn tra lasso e lar. Anche se, modfcando l Lars, (dea d Osborne,Presnelle

44 e Turlach)s ottene faclmente e pù velocemente rsultat d LASSO, s rtene che l Lar, è l mglore.

45 Bblografa Bradley E., Trevor H., Ian J. e Robert T.(004). least angle regresson. The Annals of Statstcs 004, Vol. 3, No., P Bradley Efron et.al. (004). Least angle regresson. Stanford Unversty. George, E. I. (000), The varable selecton problem, J. Amer. Statst. Assoc., 95, Mng, Y. e Y. L. (004) Model Selecton and Estmaton n Regresson wth Grouped Varables. TECHNICAL REPORT NO Osborne, M., Presnell, B. and Turlach, B. (000a). A new approach to varable selecton n least squares problems. IMA J. Numer. Anal. 0 P Pace L. e Salvan S.(001). ntroduzone alla statstca-ii. Inferenza, verosmglanza, modell. Cedam, padova. Robert T.(1996). regresson shrnkage and selecton va the lasso Tbshran, R. (1996), Regresson shrnkage and selecton va the lasso, J. Royal. Statst. Soc. B., 58, Tm H., Nam Hee C., Lukas M., e Chrs F. (008). Least angle and 1 penalzed regresson:a revew. Statstcs Surveys vol., P