Regressione. Modelli statistici. Esempio: le automobili si vendono a peso? Esempio: le automobili si vendono a peso? prezzo=a+b*(peso-500)+errore

Transcript

1 Modell statstc Regressoe Ccchtell Cap. 0 La relazoe tra varabl può essere studata per mezzo d modell statstc varable (es. peso) Quato c s dscosta da u valore tpco modello varabl (peso-altezza) Quato c s dscosta da ua relazoe sstematca peso modello 84 peso altezza Statstca 00/ Statstca 00/ Esempo: le automobl s vedoo a peso? Autovettura PESO PREZZO (kg) (ml lre) Peso e prezzo Cqueceto 700 ED de modell base Pada.0.e. L della FIAT, Uo Fre.0.e 3P Tpo.4.e marzo 993 Tempra.4 e.e Croma Fote: Gete Motor, febbrao 993 PACE L. e SALVAN A., 996, Itroduzoe alla Statstca - I Statstca Descrttva, CEDAM, Padova PREZZO PESO Esempo: le automobl s vedoo a peso? Autovettura PESO PREZZO (kg) (ml lre) 5000 Cqueceto 700 ED Pada.0.e. L Uo Fre.0.e 3P Tpo.4.e Tempra.4 e.e Croma prezzo=a+b*(peso-500)+errore 5000 cost fss a PREZZO parte sstematca b errore PESO scostameto dovuto ad altr fattor Statstca 00/0 4

2 Stes tramte fuzo aaltche Esempo d relazoe leare crescete Equazoe della retta: = β 0 +β X La relazoe tra due varabl umerche può essere stetzzata co ua fuzoe matematca (retta, parabola, logartmo ) La retta è la fuzoe pù semplce da adattare a dat e da terpretare Δ β = Δ X β 0 è l tercetta, coè l puto cu la retta terseca l asse d (valore d quado X=0) β è la pedeza o coeffcete agolare o rapporto cremetale (varazoe quado X aumeta d ) Leve, Krehbel, Bereso - Statstca II ed. 006 Apogeo 5 Statstca 00/0 6 Regressoe leare semplce Regressoe leare semplce REGRESSIONE: metodo per studare come ua varable d rsposta (detta ache varable dpedete) dpede da ua o pù varabl esplcatve (dette ache varabl dpedet o regressor) I uo studo su fattor che fluezao la spesa auale per cosum d ua famgla, la varable d rsposta è la spesa auale per cosum, metre le varabl esplcatve soo l reddto auale complessvo, l tpo d lavoro svolto dal capofamgla, l umero d compoet della famgla, Statstca 00/0 7 SEMPLICE: è l caso cu v è ua sola varable esplcatva s tratta d u metodo bvarato perché rguarda due varabl: ua varable d rsposta e ua varable esplcatva X LINEARE: s assume che, ella popolazoe, la relazoe tra la varable d rsposta e la varable esplcatva X sa d tpo leare (= ua retta); pù precsamete, s assume che per og valore x apparteete al rage d X l valor medo d codzoatamete a x, M( X=x), sa ua fuzoe leare d x La regressoe leare semplce è u metodo per studare la dpedeza d ua varable quattatva da ua varable X che può essere sa quattatva che qualtatva (ache se questo corso trattamo solo l caso d X quattatva); quado la rsposta è qualtatva occorroo modell d regressoe d altro tpo Statstca 00/0 8

3 Regressoe leare semplce Regressoe leare semplce Varable dpedete (rsposta) y = β + β x + ε 0 Varable dpedete (esplcatva) L potes fodametale del modello è che l effetto d X sulla meda d sa completamete catturato dalla parte sstematca; altr term, che la meda della parte accdetale o dpeda da X M ( ε X = x) = 0 x Parte sstematca (segale) Parte accdetale (rumore) I alteratva Questo modello potzza che la rsposta y sa geerata dalla somma d ua parte sstematca (che è fuzoe leare d x) ua parte accdetale (che è puramete casuale e qud o dpede da x) Statstca 00/0 9 M ( X = x) = β + β x x 0 Statstca 00/0 0 Regressoe leare semplce Iterpretazoe della pedeza Il modello assume che la relazoe che lega la meda d codzoata a X sa ua fuzoe leare d X (per valor x apparteet al rage) = spesa per cosum e X = reddto ad og valore del reddto x apparteete al rage corrspode u seme d famgle co ua certa dstrbuzoe della spesa per cosum e qud co ua certa spesa meda per cosum M( X=x). La teora ecoomca (supportata dall evdeza emprca) sostee che al crescere del reddto cresce la spesa per cosum, coè M( X=x) è fuzoe crescete d x; se s usa la regressoe leare semplce s assume che tale fuzoe sa leare Statstca 00/0 Suppoamo che X assuma u certo valore x * corrspodeza del quale la meda codzoata d è * * M ( X = x ) = β0 + βx Suppoamo po che X aumet d e qud assuma l valore x * +, corrspodeza del quale la meda codzoata d è * * M ( X= x+ ) = β0 + β( x+ ) Sottraedo s ottee * * ( ) ( ) M X= x+ M X= x = β Pertato β è la varazoe della meda codzoata d coseguete all aumeto d d x, qualuque sa l valore x * d parteza Statstca 00/0

4 Iterpretazoe della pedeza Dal modello a dat L terpretazoe d β dpede dall utà d msura delle due varabl Se X è l altezza cm e è l peso kg allora β è espresso kg/cm perché rappreseta la varazoe kg del peso quado l altezza aumeta d cm Popolazoe o campoe d utà statstche =,, K, S agguge l dce = β + βx + ε 0 Utà statstche varabl y x M M y x M M y x Statstca 00/0 3 Statstca 00/0 4 Dat e retta d regressoe stmata Determare la retta d regressoe: l metodo de mm quadrat y yˆ y dat. stma β b 0 0 β b retta stmata y = b + bx ˆ e. b + bx 0 Statstca 00/0 5 Statstca 00/0 6 x x

5 Retta d regressoe stmata Retta d regressoe stmata I term geometrc: dato u dagramma d dspersoe (che rappreseta osservazo della coppa d varabl esame), qual è la retta che s adatta meglo a put, che passa pù vca all seme de put? I term algebrc: come s calcolao l tercetta b 0 e la pedeza b della retta d regressoe stmata modo che l errore d prevsoe che s commette co la retta sa l pù pccolo possble? Statstca 00/0 7 Occorre stablre ua msura d dstaza tra retta e seme d put (puto d vsta geometrco) errore d prevsoe complessvo (puto d vsta algebrco) I valor x soo cosderat quattà date per cu l problema della prevsoe rguarda valor y y = valore osservato d per l'utà yˆ = b0 + bx = valore prevsto d per l'utà e = y yˆ = errore d prevsoe (scarto) Il crtero pù usato per defre la dstaza tra retta e seme d put o per defre l errore d prevsoe complessvo è quello della somma de quadrat degl error (d prevsoe) e ˆ = ( y y) Statstca 00/0 8 = = Mm Quadrat (MQ) Retta d MQ ŷ = b0 + bx La retta che rede mmo l errore d prevsoe quadratco è chamata retta de mm quadrat Le rette del pao soo fte, ogua dvduata modo uvoco da ua coppa d valor (tercetta, pedeza): determare la retta de mm quadrat sgfca determare la coppa d valor (tercetta, pedeza) per cu la somma de quadrat degl error è mma Da u puto d vsta matematco s tratta d u problema d mmzzazoe d ua fuzoe due varabl; per fortua, la soluzoe è uca ed è esprmble co due semplc formule Statstca 00/0 9 b C X = X = = = = DX Var( X) σ X ( x x) = b = y bx 0 ( x x)( y y) Cov( X, ) C X è detta CODEVIANZA, σ X è detta COVARIANZA Per determare coeffcet della retta d MQ occorroo quattro dc: meda d, meda d X, devaza d X, codevaza tra X e σ Statstca 00/0 0

6 Esempo: come crescoo bamb? / Esempo: come crescoo bamb? / Il rtmo d crescta vara da bambo a bambo, possamo capre meglo l modello geerale d crescta osservado come vara el tempo l altezza meda d u gruppo d bamb Altezza meda per mese d 6 bamb età (mes) altezza meda (cm) altezza (cm) =Altezza meda (varable dpedete) età (mes) Scatterplot dell altezza meda d 6 bamb per età X=Età (varable esplcatva) I put soo quas alleat ua lea retta che passa tra put descrve bee l legame tra X e Es. tratto da Moore (005) Statstca 00/0 Statstca 00/0 Esempo: come crescoo bamb? /3 Esempo: come crescoo bamb? /4 I coeffcet della retta d MQ soo 84.0 Retta d MQ: altezza= *età 83.0 b Cov( X, ) = Var( X ) b = y bx 0 altezza (cm) b 0 =64.93 cm tercetta: altezza meda alla ascta (età=0) 76.0 Nel ostro esempo: M(x)=3.5 mes, M(y)=79.85 Var(x)=.5, Cov(x,y)=7.57 b =7.57/.5=0.635 b 0 = *0.635= età (mes) b =0.635 pedeza: l altezza de bamb cresce og mese meda d 0.6 cm la pedeza della retta è l tasso d varazoe al varare d X Statstca 00/0 3 Statstca 00/0 4

7 Alcue propretà delle stme d MQ La retta de MQ passa per l barcetro x= x yˆ = y ( x x)( y y) C b b y bx X = = = 0 = DX ( x x) = ( ) Ifatt : yˆ = b + bx = y bx + bx= y = e = 0 Ifatt : 0 La somma de resdu è ulla ( ) e = y yˆ = y yˆ = 0 Alcue propretà de MQ yˆ = y ˆ (da cu segue y = y) ˆ = ( 0 ) (( ) ) + = + y b ( x x) y Ifatt : y b b x y b x b x = + = ( x x)( y y) C b b y bx X = = = 0 = DX ( x x) = La somma de valor stmat è uguale alla somma de valor osservat Statstca 00/0 5 Statstca 00/0 6 Traslazoe Cosderamo ua traslazoe a della x x' = x+ a x= x' a y = β + β x+ ε 0 = β + β ( x ' a) + ε 0 = ( β β a) + β x ' + ε 0 Caso specale: a = x, coè x' = x x Pedeza varata Nuova tercetta be terpretable: è l valore prevsto d y quado x = x Pedeza varata Statstca 00/0 7 Cambameto d scala x ' = dx y' = dy x y= β0+ βx+ ε y' x' = β0+ β + ε dy dx dy y' = dyβ0+ β x' + dyε dx espasoe della scala y (d y > ) aumeta pedeza espasoe della scala x (d x > ) dmusce pedeza y Statstca 00/0 8

8 Iterpolazoe Iterpolazoe ed estrapolazoe Possamo utlzzare la retta d regressoe per prevedere l valore d per u dato valore d X o osservato, ma tero al rage d X (ell esempo 8-9 mes). Altezza meda de bamb per x=0.5 mes: altezza= *0.5=77.95 cm Statstca 00/0 9 Statstca 00/0 30 Estrapolazoe Esempo del tempo TV: dat Possamo utlzzare la retta d regressoe per prevedere l valore d per u dato valore d X estero al suo rage (ell esempo 8-9 mes). Altezza meda de bamb per x=3 mes: altezza= *3=85.5 cm L accuratezza dell estrapolazoe dpede da: quato la retta s adatta bee a dat quato l valore d X è lotao da valor osservat Esempo X=0 è u valore estero lotao tercetta potrebbe o essere ua buoa prevsoe dell altezza alla ascta Statstca 00/0 3 I dat rportat ella tabella seguete s rferscoo all età a (X) e al tempo mut passato davat alla televsoe ell ultma settmaa () per u campoe d 6 soggett: Età Tempo TV X Somma Meda ( x x) = = = ( x x)( y y) = Statstca 00/0 3

9 Esempo del tempo TV: retta d regressoe = = = = ( x x) = b tempo TV () ( x x)( y y) b0 = y bx = = Dagramma d dspersoe e retta d regressoe yˆ = x età (X) Esempo del tempo TV: terpretazoe La pedeza b = 3.3 è la varazoe meda del tempo TV settmaale mut corrspodete ad u aumeto d ao dell età Poché la pedeza è postva all aumetare dell età tede ad aumetare l tempo TV: ao pù aumeto medo d 3.3 mut per settmaa a pù aumeto medo d 6.6 mut per settmaa 0 a pù aumeto medo d 33 mut per settmaa ao meo rduzoe meda d 3.3 mut per settmaa ecc. L tercetta b 0 = 0.5 è l tempo TV settmaale prevsto per u soggetto d età zero (x=0) I questa applcazoe l tercetta o è terpretable perché o ha seso cheders qual è l valore prevsto del tempo TV per u eoato! L tercetta è u caso specale d valore prevsto (è l valore prevsto d quado x=0) Statstca 00/0 33 Statstca 00/0 34 Esempo del tempo TV: prevso La retta d regressoe può essere usata per calcolare l valore prevsto d corrspodeza d u qualuque valore d X, sa u valore osservato el campoe che u valore o osservato Usado la retta d regressoe precedete yˆ = x s ottegoo, ad esempo, seguet valor prevst (arrotodat all tero) x -0 ŷ La retta, come fuzoe matematca, è defta sull tero asse de real e qud qualsas valore x d X può essere usato per fare la prevsoe d Tuttava o tutt valor d x hao seso el cotesto applcatvo: ell esempo del tempo TV x è l età e qud o può essere egatva, ma o ha seso emmeo predere cosderazoe valor d x vc a 0 (perché eoat o guardao la TV) e valor d x oltre 00 (perché gl esser uma raramete superao tale età) Iterpolazoe vs estrapolazoe I og applcazoe s può determare a pror (coè dpedetemete da dat effettvamete rlevat) u tervallo d valor d x che ha seso predere cosderazoe ell esempo del tempo TV l tervallo d x che ha seso cosderare va grosso modo da 3 a 00 a A posteror, alla luce de dat effettvamete rlevat, l tervallo d valor d x che è opportuo utlzzare per prevedere la o dovrebbe essere molto pù ampo del cosddetto tervallo rlevate, coè l tervallo d valor assut dalla varable esplcatva X el campoe osservato ell esempo del tempo TV l tervallo rlevate va da 34 a 63 a Statstca 00/0 35 Statstca 00/0 36

10 Iterpolazoe vs estrapolazoe I percol dell estrapolazoe Iterpolazoe: prevedere corrspodeza d u valore x tero all tervallo rlevate (come la prevsoe d 398 per x=60) Estrapolazoe: prevedere corrspodeza d u valore x estero all tervallo rlevate (come la prevsoe d 64 per x=0 o la prevsoe d 83 per x=70) Le estrapolazo vao evtate o, per lo meo, lmtate a valor x appea fuor dall tervallo rlevate. Ifatt la retta d regressoe è stata determata usado valor x dell tervallo rlevate e o v è alcu modo d sapere come la retta s modfcherebbe aggugedo valor x ester all tervallo rlevate; facedo estrapolazo s assume mplctamete che aggugedo valor x ester la retta rmarrebbe sostazalmete varata, ma tale potes o è verfcable ed è tato meo plausble quato pù put cosderat soo lota dall tervallo rlevate Statstca 00/0 37 tempo TV () Dagramma d dspersoe e retta d regressoe Itervallo rlevate età (X) La lea rossa rappreseta ua possble relazoe tra e X ella popolazoe, metre la retta era è la retta d regressoe determata co dat campoar, cu l tervallo rlevate è [34,63] Statstca 00/0 38 Botà d adattameto della retta d regressoe: l coeffcete d determazoe r Statstca 00/0 39 Msure d varabltà ella regressoe D (Devaza totale d ): msura la varabltà de valor osservat attoro alla loro meda D = ( y y) = D SL (Devaza d Spegata della regressoe Leare su X): msura la varabltà de valor prevst attoro alla loro meda (la quale, per ua propretà del metodo de mm quadrat, cocde co la meda de valor osservat) D RL (Devaza d Resdua rspetto alla regressoe Leare su X): msura la varabltà degl error d regressoe attoro alla loro meda D = ( e e) = e = ( y yˆ ) ( ˆ ˆ) ( ˆ SL = = ) = = D y y y y RL = = = Statstca 00/0 40

11 Msure d varabltà ella regressoe Msure d varabltà ella regressoe D = ( y yˆ ) RL = Co alcu passagg algebrc s dmostra che D = DSL + DRL D = ( y y) = D = ( yˆ y) SL = Pertato la regressoe leare semplce opera ua scomposzoe della varabltà totale d due part, terpretabl come D SL : varabltà d spegata da X (pù precsamete: varabltà d dovuta alla relazoe leare co X ) D RL : varabltà resduale d (coè o dovuta alla relazoe leare co X) Statstca 00/0 4 Statstca 00/0 4 Regressoe: spegare la varabltà La regressoe può essere vsta come u metodo per spegare la varabltà d ua varable () tramte la relazoe leare co u altra varable (X) La spesa per cosum () vara molto da famgla a famgla e può essere msurata da SST (che è l umeratore della varaza). D: perché le famgle hao cosum dvers? R: motv soo molt, uo è perché le famgle hao reddt dvers e l cosumo cresce al crescere del reddto. D: quato è mportate l ruolo del reddto ello spegare la varabltà de cosum delle famgle? R: assumedo ua relazoe leare tra cosum e reddto, la rsposta è forta dalla scomposzoe d SST elle due part SSR (varabltà de cosum spegata dalla relazoe leare co l reddto) e SSE (varabltà resduale de cosum) Statstca 00/0 43 Coeffcete d determazoe r Il coeffcete d determazoe è la proporzoe d varabltà totale d spegata dalla relazoe leare co X: SL Poché D SL 0 e D SL D segue che r [0,]. Duque r è u dce ormalzzato: per og seme d dat r ha valore m 0 e max Il coeffcete d determazoe msura la botà d adattameto della retta d regressoe; fatt per la scomposzoe d D, r s può scrvere ache r D = D RL La retta d regressoe s adatta a dat tato meglo quato pù pccola è la somma de quadrat degl error, D RL, ovvero quato pù grade è l coeffcete d determazoe r (ma r è pù faclmete terpretable perché è u dce ormalzzato) r D = D Statstca 00/0 44

12 Coeffcete d determazoe r Coeffcete d determazoe r Msurare la botà d adattameto è crucale per l terpretazoe e l utlzzo de rsultat della regressoe La retta d regressoe è la retta che meglo s adatta a dat, quella che mmzza l errore d prevsoe complessvo (defto dalla somma de quadrat degl error); Tuttava la mglore retta potrebbe comuque fare u pessmo lavoro, coè la regressoe leare potrebbe spegare solo ua pccola parte della varabltà d ( eorm error d prevsoe) Quado l coeffcete d determazoe r è pccolo l adattameto della retta è scarso e qud la regressoe leare è uo strumeto utle Statstca 00/0 45 Il metro d gudzo sul valore assuto da r dpede dal cotesto applcatvo: alcu camp r è soltamete su valor tra 0.5 e 0.30, altr camp (ad es. sere temporal) r è spesso toro a 0.90 o s può dre geerale quale sa la sogla al d sotto della quale r debba rteers soddsfacete Caso lmte r =: accade quado D RL =0, l che sgfca che tutt gl error d prevsoe soo ull e qud tutt put del dagramma d dspersoe gaccoo sulla retta d regressoe (che può avere qualuque pedeza, postva o egatva) Caso lmte r =0: accade quado D SL =0, l che sgfca che valor prevst y soo tutt ugual a y ˆ e qud la retta d regressoe è orzzotale (ha pedeza ulla) Statstca 00/0 46 Calcolo d r Calcolo d r Per calcolare r occorre calcolare D e, a scelta, uo de due term della scomposzoe della devaza La va pù veloce è quella d calcolare D SL perché ( ) ˆ ( ) SL = = ( 0 + ) ( 0 + ) = = = b( x x) = ( b) ( x x) = ( b) DX = = D y y b bx b bx Pertato r s può scrvere ache C X DX DSL ( b ) D D X X CX r = = = = D D D D D X Questo è l quadrato del coeffcete d correlazoe leare (ved pù avat) Statstca 00/0 47 Nell esempo del tempo TV s ha D = D X = b = Pertato, D SL = (3.344) = DSL r = = = D Il 77.39% della varabltà del tempo TV è spegata dalla relazoe leare co l età Statstca 00/0 48

13 Errore medo d prevsoe La smmetra d r La radce quadrata della varaza resdua è terpretable come l errore medo che s commette prevededo tramte l modello d regressoe leare su X σ D Nell esempo del tempo TV D σ RL RL RL ˆ RL = = y y = ( ) = = = = (mut) 6 Statstca 00/0 49 Guadamo l dce d determazoe ella forma C = D D X L dce è smmetrco: rmae varato cambado l orde d X e coè vertedo l ruolo d X e ella regressoe: la regressoe d su X e la regressoe d X su producoo lo stesso coeff. d determazoe, coè hao la stessa botà d adattameto Duque rsultat della regressoe o forscoo alcua dcazoe merto alla scelta d quale varable usare come rsposta e quale come esplcatva: tale scelta è ecessaramete basata sulla coosceza a pror d quale è la causa (= l esplcatva) e quale l effetto (la rsposta); macaza d tale coosceza la scelta è effettuata arbtraramete dall aalsta base al puto d vsta che vuole prvlegare Statstca 00/0 50 r X Relazo causa-effetto Regressoe e relazo causa-effetto S può affermare che X è la causa e l effetto? La domada è rlevate sa da u puto d vsta teorco (come fuzoa l modo?) che pratco Ifatt, se s tervee el sstema fssado la X ad u valore arbtraro, preseza d ua pura relazoe causa-effetto la rspode assumedo l valore medo prevsto dal modello, altrmet ha u comportameto mprevedble Statstca 00/0 5 Statstca 00/0 5

14 Relazo causa-effetto: esempo Relazo causa-effetto e regressoe Sa X la spesa auale pubblctà e l ammotare auale d vedte La pedeza stmata usado dat degl ultm a è., coè og euro pù d spesa pubblctà è assocato a. euro pù d vedte: se l ao prossmo l azeda aumeta la spesa pubblctà d euro s deve attedere u aumeto delle vedte d 0000 euro (e vceversa se rduce la spesa) Queste prevso soo attedbl? No! I realtà l ammotare delle vedte dpede solo parte dalla pubblctà, perché è fortemete fluezato da fattor come l cclo ecoomco Ioltre è pure possble ua relazoe versa, coè che la spesa pubblctà sa fluezata dall adameto delle vedte (se le vedte aumetao s redoo dspobl rsorse aggutve che possoo essere destate alla pubblctà) Statstca 00/0 53 Il modello d regressoe può evdezare u assocazoe tra X e ma o cosete d dre ete sulla relazoe causa-effetto Ad es. o v è alcu crtero statstco per preferre () la regressoe del cosumo sul reddto puttosto che () la regressoe del reddto sul cosumo (rcorda: etrambe le regresso hao lo stesso r ): è la teora ecoomca che suggersce d usare la versoe (), quato assersce che l reddto flueza l cosumo e o vceversa Tuttava per certe faltà può essere utle specfcare la regressoe modo cotraro alla relazoe causa-effetto: ell esempo precedete la versoe () potrebbe essere specfcata dall Ageza delle Etrate qualora dspoga d dat su cosum de cotrbuet e vogla usarl per ferre l loro reddto Statstca 00/0 54 Relazo causa-effetto e regressoe Tp d relazo causa-effetto Date due varabl, due possbl mod d specfcare l modello d regressoe (scambado ruol d rsposta ed esplcatva) soo solo due put d vsta alteratv: sceglere u puto d vsta o l altro ovvamete o modfca la realtà, semplcemete s traggoo mpresso dverse dello stesso feomeo è come assstere ad u cotro d calco dalla trbua o dalla curva: cò o modfca l cotro, ache se s ottegoo mpresso dverse Date due varabl osservate Z e Z le possbl relazo causal soo: Z Z Asseza d relazoe Z Z Z Z Z causa Z Z causa Z Z Z Z causa Z e vceversa Statstca 00/0 55 Statstca 00/0 56

15 Relazo causa-effetto e varabl ascoste Relazo causa-effetto e varabl ascoste L uco modo affdable d stablre ua relazoe causa-effetto cosste el raccoglere dat tramte u espermeto cotrollato (assegare a caso le utà statstche a dvers valor d X, po osservare la ) Al d fuor de dat spermetal, v è sempre u percolo agguato: la relazoe tra Z e Z potrebbe essere tutto o parte dovuta ad ua varable o osservata, o comuque o clusa ell aals Z 0 (varable ascosta) Z 0 Z Z Assocazoe tra Z e Z teramete dovuta a Z 0 Esempo. I ua applcazoe su bamb d dverse età: Z = lughezza del pede; Z = umero d vocabol cooscut; Z 0 = età. La regressoe del umero d vocabol sulla lughezza del pede dà luogo ad ua pedeza postva sgfcatva, ma ovvamete tra le due varabl o v è alcua relazoe causa-effetto Statstca 00/0 57 Esempo. I ua applcazoe su adult d dverse età: Z = umero d sgar fumat al goro Z = capactà respratora Z 0 = età Z 0 Z Z Assocazoe tra Z e Z parte dovuta a Z 0 La regressoe della capactà respratora sul umero d sgar dà luogo ad ua pedeza sgfcatva (d sego egatvo: coè all aumetare del umero d sgar la capactà polmoare tede a dmure). Tuttava, etrambe le varabl soo assocate all età: egl aza è maggore la frequeza sa d coloro che fumao l sgaro, sa d coloro che hao scarsa capactà polmoare. Gl stud epdemologc hao dmostrato che l fumo (ache quello d sgaro) rduce la capactà polmoare, coè esste ua relazoe causa-effetto: tuttava, se ell aals s gora che soggett hao dverse età, rsulta u assocazoe pù forte d quato è realmete (la pedeza della retta d regressoe è troppo egatva perché corpora ache l effetto dell età). Ua semplce soluzoe è d esegure l aals d regressoe separatamete per fasce d età. Statstca 00/ Aals de resdu Put fluet Varabl ascoste 59 Statstca 00/0 60

16 Aals de resdu Resdu dspost casualmete r o sempre è suffcete a verfcare la botà d adattameto del modello e = y yˆ resdu Plot de resdu vs valor prevst: La relazoe tra X e è leare? La varabltà d resta costate al varare d X? Soo preset valor aomal e dat? Statstca 00/0 6 Statstca 00/0 6 Aals de resdu: relazoe o leare Esempo: relazoe o leare x y *= X r =0.976 Statstca 00/0 63 Aals de resdu: relazoe quadratca tra X e? Statstca 00/0 64

17 Esempo: relazoe o leare (segue) Aals de resdu: varaza d o costate *= X+.03X r = Aals de resdu: adameto casuale Statstca 00/0 65 Statstca 00/0 66 Osservazo partcolar Esempo: outler (resdu grad) OUTLIER: osservazoe co resduo elevato (valore aomalo d rspetto alla prevsoe) LEVERAGE (puto d leva): valore aomalo della varable dpedete (X) PUNTI INFLUENTI: osservazo co comportameto aomalo che fluezao otevolmete rsultat No tutt gl outler e leverage soo ecessaramete put fluet Statstca 00/0 67 x y *=.+3.7X r =0.573 Valor aomal!! Statstca 00/0 68

18 Esempo: outler (resdu grad) /segue Valor aomal e osservazo fluet Cacellamo valor aomal e rstmamo l modello *= X r =0.995 Mglore adattameto del modello!! U valore aomalo è u osservazoe che sta lotaa dalle altre osservazo. I put che presetao u valore aomalo per (outler) hao resdu alt, ma put co valor aomal X (leverage) o ecessaramete presetao resdu alt! U osservazoe è fluete se la sua rmozoe comporta u cambameto otevole elle stme de parametr e/o r. Put co valor aomal X soo spesso fluet! Statstca 00/0 69 Statstca 00/0 70 Esempo: parola e abltà Esempo: parola e abltà /segue L età cu u bmbo za a parlare è u buo prevsore del puteggo ad u successvo test d abltà metal? x y x y *= X r =0.4 Per bamb s coosce l età, mes X, cu è stata proucata la prma parola e l puteggo ad u test d abltà (Moore e McCabe).9 grade!.8: x grade! Statstca 00/0 7 Il bambo.8 za a parlare molto pù tard degl altr: per la sua poszoe estrema (leverage) questo puto ha ua forte flueza sulla poszoe della retta d regressoe! outler leverage Attezoe: o tutt valor aomal soo fluet!! Statstca 00/0 7

19 Esempo: parola e abltà /segue Cosa succede se cacellamo l osservazoe.8? y = *x r = 0. La relazoe tra X e è debole! Prma sembrava alta a causa della sola osservazoe. 8! Servoo pù dat per capre meglo la relazoe studata! Statstca 00/ Esempo: cambameto strutturale Esempo: cambameto strutturale \segue ao x y Il dpartmeto d matematca d ua grade uverstà deve pafcare l umero d cors elemetar rchest. X = studet scrtt al prmo ao = studet che scelgoo l corso d matematca I resdu mostrao u adameto dfferezato: da cosa dpede? *= X r =0.694 Adameto per ao: dal 995 ua % pù elevata d studet scegle l corso d matematca. È questo cambameto che spega l adameto osservato e resdu! I dat atecedet l 995 o possoo essere usat per prevso Statstca 00/0 75 Statstca 00/0 76

20 Varabl ascoste: esempo # Varabl ascoste: esempo # Per le azo del modo rlevamo X = umero d apparecch TV per 000 abtat = speraza d vta alla ascta La regressoe d su X forsce u coeffcete agolare postvo e u elevato dce d determazoe Possamo allugare la vta del popolo del Rwada vado loro delle TV? NO! Le azo pù rcche hao pù TV d quelle povere e hao ache ua speraza d vta pù elevata perché hao ua mglore almetazoe, acqua potable e cure medche. No c è u rapporto d causa effetto tra TV e speraza d vta!! Statstca 00/0 77 Uo studo sulle codzo d salute ella cttà d Hull (GB) ha msurato per quarter pù pover della cttà X = dce d sovraffollameto = dce d macaza d servz gec Poché X e soo etrambe msure d abtazo adeguate c aspettamo ua forte relazoe; vece la regressoe produce r = Come è possble? Ulteror dag hao mostrato che alcu de quarter pù pover c è ua prevaleza d case pubblche, co servz gec, metre altr o è così La relazoe tra X e è dversa quest due tp d quartere aalzzare tutt quarter seme oscura la relazoe tra X e. Statstca 00/0 78 Varabl ascoste: esempo #3 Modello statstco: costruzoe e uso Due grupp format da ua varable categorca Z=0 Z= su X Z=0 r = 0.79 su X Z= r = 0.4 su X tutt r =0. La rappresetazoe grafca è mportate per capre l legame tra X e e sottogrupp dvduat da Z! Statstca 00/0 79 Teorzzazoe feomeo Idvduazoe varabl esplcatve Formulazoe o detfcazoe modello Uso de dat per la stma del modello verfca modello Utlzzo del modello Uso del modello: Descrzoe delle relazo Ifereza (coosceza del processo geeratore de dat) Prevsoe de valor della varable d rsposta Statstca 00/0 80

21 Covaraza / Correlazoe Cosderamo due varabl quattatve, ad es. SPESE (X) e RENDIMENTO () el 003 per 9 fod comu Esste ua assocazoe tra SPESE e RENDIMENTO? Ovvero: al crescere delle spese l redmeto tede a crescere, tede a calare o essua delle due? Spese Redm Ccchtell Cap Redmeto () Spese (X) Statstca 00/ Statstca 00/0 8 Covaraza / Covaraza /3 Sa per le SPESE (X) che per l RENDIMENTO () posso calcolare separatamete meda e devazoe std μ X =.353 e σ X = 0.7 μ = e σ = 9.95 Ma quest dc o dcoo ulla sulla assocazoe tra X e Per questo fe serve u dce calcolato cogutamete, come la covaraza Redmeto () e cocordat + e + dscordat X Spese (X) Statstca 00/0 83 Statstca 00/0 84

22 Covaraza /4 Covaraza /5 Le osservazo (X, ) co valor cocordat hao scart dalla meda co lo stesso sego (+ + o ) e qud l prodotto degl scart ha sego postvo Le osservazo (X, ) co valor dscordat hao scart dalla meda co sego opposto (+ o +) e qud l prodotto degl scart ha sego egatvo Per otteere u dce d assocazoe basta sommare prodott degl scart e vedere se l rsultato è postvo (prevalgoo cocordat) o egatvo (prevalgoo dscordat) N Cov ( X, ) = σ = ( x μ )( y μ ) X X N = Se postva al crescere d X, tede a crescere (otare l uso della parola tede: fatt, se ua utà sta sopra alla meda per X è probable che v sta ache per, ma o è detto) Se egatva al crescere d X, tede a dmure Se ulla o v è essua tedeza Statstca 00/0 85 Statstca 00/0 86 Calcolo della covaraza Coeffcete d correlazoe leare / spese (X) redm () X-M(X) -M() prodotto Covaraza / 9 = Statstca 00/0 87 I valor mmo e massmo assumbl dalla covaraza dpedoo da dat esame o s può dre se u valore (come l.064 dell esempo) sa da cosderars grade o pccolo Per questo s trasforma la covaraza modo che abba sempre lo stesso mmo ( ) e massmo (+) ρ X σ X = σ σ Nell esempo ρ X =.064 / ( ) = X Statstca 00/0 88

23 Coeffcete d correlazoe leare / Coeffcete d correlazoe leare /3 Meda del prodotto delle varabl stadardzzate: ρ N = z z X x y N = z x x μ = z = y σ X X y μ σ r X >0 X e correlate postvamete r X <0 X e correlate egatvamete r X =0 X e correlate (asseza d correlazoe) Smmetrco: ρ rmae varato se le due varabl soo scambate Numero puro: ρ o ha utà d msura (es. X altezza cm, peso kg S X è cm kg, S X è cm, S è kg, e qud r X è u umero puro) Ivarate per trasformazo lear: ρ rmae varato se le varabl vegoo learmete trasformate (traslazoe e/o moltplcazoe per ua costate) (es. X temperatura grad Celsus, raccolto qutal, ρ o camba se s esprme la temperatura grad Fahrehet e l raccolto toellate) Statstca 00/0 89 r X = + X e hao massma (perfetta) correlazoe postva = tutte le osservazo stao su ua retta crescete r X = X e hao massma (perfetta) correlazoe egatva = tutte le osservazo stao su ua retta decrescete Statstca 00/0 90 Dagramm d dspersoe co var Coeffcet d Correlazoe r = -0.9 r = -0.6 X X r = - r = -0.6 r = 0 X Dagramm d dspersoe per due varabl utlzzado se data set co 00 osservazo r = -0.3 r = +0.3 r = + X X X r = +0.3 r = 0 Statstca 00/0 9 r = +0.6 r =

24 Correlazoe e leartà / Correlazoe e leartà / L dce r X fa ua stes d tutte le osservazo, ma e dat v potrebbero essere adamet molto dvers I questo es. v soo due sottosem, uo co correlazoe egatva e l altro co correlazoe postva. Nel complesso la correlazoe è postva (r = 0.6) Statstca 00/0 93 Il terme leare è spesso sottteso, ma è mportate: fatt r X msura l assocazoe d tpo leare (e o parabolco, espoezale o altro) r X = o + sgfca che v è relazoe leare perfetta r X = 0 sgfca che, el complesso, v è asseza d relazoe leare, ma v potrebbe essere ua relazoe o leare, ache forte! I questo es. v è ua relazoe d tpo parabolco, co due sottosem. Nel complesso la correlazoe è quas ulla (r = -0.00) Statstca 00/0 94 Correlazoe e causaltà / Correlazoe e causaltà / Se due varabl X e soo correlate sgfca che tedoo a muovers seme ( modo cocorde se r >0 o dscorde se r <0) Ma l valore d r o dce ete su come e perché X e s muovoo seme: può essere che X è causa d è causa d X X è causa d e al tempo stesso è causa d X X e o soo relazoe d causa-effetto (cosddetta correlazoe spura) Es: X = spesa pubblctà e = fatturato X flueza, ma ache flueza X I ua certa regoe geografca è stata rlevata ua forte correlazoe tra X = umero d ccoge d passaggo e = umero d bamb at è u caso d correlazoe spura, perché tra X e o v è alcua relazoe! I alcu cas la correlazoe tra X e è geerata da ua terza varable Z ascosta Es. X = macche galle sulle dta e = tosse : o v è relazoe causa-effetto, ma la varable Z = fumatore è causa d etrambe e provoca la correlazoe Statstca 00/0 95 Statstca 00/0 96

25 Correlazoe e causaltà /3 Cocordaza Le sere temporal spesso dao luogo a fort correlazo spure perché v soo adamet sml el tempo e ello spazo, ad es. quas tutt paes del modo d ao ao prezz crescoo, così come gl studet che frequetao la scuola superore, l umero d doe el mercato del lavoro E qud plausble trovare ua correlazoe postva elevata tra due feome che tedoo a crescere el tempo, es. l prezzo delle baae Itala e l salaro degl opera caades, oppure l umero d laureat Brasle Tra due varabl X e v è cocordaza o correlazoe postva quado tedoo a crescere seme Nel caso cotraro s parla d dscordaza o correlazoe egatva Il terme correlazoe vee spesso usato el seso restrttvo d correlazoe leare, che è u tpo partcolare d cocordaza Il coeffcete d correlazoe d Bravas-Galto- Pearso msura la correlazoe leare (assume valor estrem caso d perfetta relazoe leare) Statstca 00/0 97 Statstca 00/0 98 Massma cocordaza/dscordaza Idce d Spearma / S elecao le coppe (x,y ) orde crescete della x: Se valor della y soo crescet massma cocordaza Se valor della y soo decrescet massma dscordaza Per ogua delle due varabl s trasformao valor ragh (raks), coè poszo graduatora (dal pù pccolo) Voto rportato da 0 studet agl esam d matematca X e statstca d x y g(x) g(y) Statstca 00/0 99 Statstca 00/0 00

26 Idce d Spearma / Idce d Spearma /3 L dce d Spearma (o coeffcete d correlazoe tra ragh) r S è l coeffcete d correlazoe leare tra ragh delle due varabl Perfetta relazoe leare crescete (decrescete) Massma cocordaza (dscordaza) Massma cocordaza o dscordaza o mplca perfetta relazoe leare Nell esempo precedete Coeff. d correlazoe leare: r = 0.78 Coeff. d correlazoe tra ragh: r S = 0.76 x y r = r S = Mmo r S = caso d massma dscordaza Massmo r S = + caso d massma cocordaza x y y y = 0.x y = l(x) r = 0.90 r S = x Statstca 00/0 0 Statstca 00/0 0 Idce d Spearma caso d partà I caso d partà (due o pù utà co lo stesso valore) s attrbusce l rago medo Voto rportato da 0 studet agl esam d matematca X e statstca d x y g(x) g(y) r S = 0.78 Statstca 00/0 03