Test delle Ipotesi e Analisi della Varianza (ANalysis Of VAriance: ANOVA)

Transcript

1 delle Ipotes e Anals della Varanza (ANalyss Of VArance: ANOVA) delle Ipotes sulla meda Introduzone Defnzon baslar Teora per l caso d varanza nota Rsch nel test delle potes Teora per l caso d varanza non nota Anals della Varanza Introduzone Teora ANOVA sulle mede ANOVA sulla sgnfcatvtà della regressone lneare potes per sngol coeffcent regressone lneare multpla ANOVA Somma Extra de Quadrat ANOVA Lack Of Ft (LOF) delle Ipotes Introduzone Un potes statstca è un assunzone che no faccamo su una dstrbuzone d una varable aleatora Il test statstco ha lo scopo d verfcare se l campone a nostra dsposzone è compatble o meno con l potes d partenza. Un test statstco d un potes è una procedura n cu s conclude d non rgettare l potes (coè non s può escludere che essa sa vera) oppure rgettare l potes. S usa un campone e s cerca d concludere se tale campone è compatble o meno con l assunzone d partenza. Una conclusone non può ma essere completamente certa. Ogn test statstco comporta un certo rscho d errore ovvero, gungere ad una conclusone sbaglata delle Ipotes e Anals della Varanza

2 delle Ipotes Introduzone Esempo: Una fabbrca produce un catalzzatore per l ndustra la cu durata d vta meda è 5 h e la devazone standard è 3 h Un altra fabbrca produce (con un altra procedura) lo stesso tpo d catalzzatore. Un campone d catalzzator provenent dalla nuova fabbrca ha rlevato una meda d vta y 6 ore Due possbltà: la nuova procedura produce effettvamente un catalzzatore d maggor durata la dfferenza è legata semplcemente alla natura stocastca de dat 3 delle potes: Defnzon Il test statstco mplca l ntroduzone d una potes da testare sul campone a dsposzone potes nulla s ndca con l smbolo: H All potes nulla d partenza s può contrapporre: un potes alternatva s ndca con l smbolo: H Tutt test delle potes rchedono la formulazone d un potes nulla e d un potes alternatva L potes nulla e l potes alternatva sono esaustve e mutuamente esclusve. delle Ipotes e Anals della Varanza

3 delle Ipotes Esempo La meda osservata per l nuovo campone d dat è compatble con la varable aleatora d rfermento? S vuole testare l potes che rsultat d questo camponamento spermentale sano delle varabl aleatore che abbano meda,5 Ipotes nulla: H :,5 Una altra possbltà (plausble) è che l nuovo catalzzatore sa effettvamente pù longevo della veccha produzone Ipotes alternatva: H : > 5 delle Ipotes Sgnfcatvtà del test Ogn test delle potes mplca una scelta del lvello d sgnfcatvtà del test probabltà d rgettare l potes nulla nonostante essa sa vera Questa probabltà prende l nome d errore d tpo I e s ndca con la lettera È un dato assegnato a pror nel processo 6 delle Ipotes e Anals della Varanza 3

4 delle Ipotes sulla meda Teora Caso n cu la varanza sa nota Se l potes nulla H : fosse vera, allora la varable aleatora meda del campone d dat spermental Y Y n ha una funzone denstà d probabltà che è una dstrbuzone gaussana d meda e varanza /n 7 delle Ipotes sulla meda Teora Caso n cu la varanza sa nota Se s assume vera l potes nulla, la probabltà che assuma valor prossm a è molto elevata, ma non s possono escludere anche valor dvers Fssare un lvello d sgnfcatvtà del test equvale a calcolare quale è l valore della varable aleatora al d sopra del quale la probabltà d osservare rsultat è molto bassa 8 delle Ipotes e Anals della Varanza 4

5 delle Ipotes sulla meda Teora Caso varanza nota.5 c Non rgetto l potes nulla H Rgetto l potes nulla H Al d sopra d c la probabltà che la VA, assuma valor è bassa (par al 5%) 9 delle Ipotes sulla meda Rcetta /3 Fssare un lvello d sgnfcatvtà Stablre l potes nulla: Contro l potes alternatva: H : H : > Calcolare l valore stmato per la meda (che corrsponde ad un valore osservato della VA): y y n delle Ipotes e Anals della Varanza 5

6 delle Ipotes sulla meda Rcetta /3 Nel caso n cu la VA fosse una gaussana d meda e varanza /n, la varable aleatora X Y n - sarebbe una dstrbuzone normale d tpo standard Qund ( c) F n - P Y dove F è la dstrbuzone cumulatva della gaussana d tpo standard Determnato l valore della dstrbuzone normale che m soddsfa l eguaglanza è possble determnare c c - < delle Ipotes sulla meda Rcetta 3/3 Se y > c rgettamo l potes nulla ed accettamo l potes alternatva: la probabltà che l rsultato ottenuto appartenga alla varable aleatora potzzata è molto bassa Se y < c non rgettamo l potes nulla. La regone contenente valor per cu rgettamo l potes nulla s chama regone d rgetto dell potes nulla delle Ipotes e Anals della Varanza 6

7 delle potes sulla meda - Esempo S consder d nuovo l esempo ntroduttvo. Il test delle potes è sul valore medo: H H : : > Con un lvello d sgnfcatvtà % 3 delle potes sulla meda - Esempo S valuta nnanztutto l valore c tale che P(Z>c).. F ( c) - c. 8 Se l potes nulla fosse vera, la varable y x n 3.5 sarebbe un valore osservato d una varable aleatora normale d tpo standard. 4 delle Ipotes e Anals della Varanza 7

8 delle potes sulla meda - Esempo La probabltà che la varable aleatora normale d meda e varanza /n n questone assuma un valore eguale a.5 rentra nella zona d rgetto Il valore osservato rentra nella regone.5 n cu la varable.4 aleatora ha poche probabltà d cadere C è un % d probabltà che l valore osservato appartenga alla VA supposta nell potes nulla H e sa comunque rgettata 5 delle potes sulla meda - Esempo S consder ora l caso n cu s scelga un lvello d sgnfcatvtà 5 %. S valuta nnanztutto l valore c tale che P(Z>c). F ( c) - c. 96 Per l lvello d sgnfcatvtà scelto, l valore osservato della varable aleatora non rentra nella regone d rgetto dell potes. S conclude che, per l lvello d sgnfcatvtà scelto, non c sono evdenze suffcent per affermare che l esto osservato non sa compatble con la varable aleatora dell potes nulla non s rgetta l potes nulla. 6 delle Ipotes e Anals della Varanza 8

9 delle potes sulla meda - Esempo Valore osservato della varable aleatora d tpo standard 7 delle potes sulla meda Ipotes alternatve /3 Nel problema n esame s assume che l nostro campone d dat spermental sa caratterzzato da una varable aleatora che abba una funzone denstà d probabltà che convolge un parametro gnoto q e s assume l potes nulla che L potes alternatva era che : q () Ma non è l unca alternatva che possamo consderare. In altr cas la natura può suggerre altr tp d alternatve: Oppure H H : θ θ Le prme alternatve s chamano one-sded. L ultma twosded q > H : q < q H : q q () (3) 8 delle Ipotes e Anals della Varanza 9

10 delle potes sulla meda Ipotes alternatve /3 Nel caso della potes alternatva H : q < q, s deve determnare l valore crtco c tale che tutt valor nferor a c abbano una probabltà d verfcars par a Dobbamo escludere valor per cu la dstrbuzone assuma valor nferor a c tal che P(Y< -c) Inseme de valor per qual rgettamo l potes nulla.5 -c 9 delle potes sulla meda Ipotes alternatve 3/3 Nel caso n cu l potes alternatva H è two-sded, ovvero, dobbamo escludere sa valor per cu la dstrbuzone assuma valor nferor a -c, sa valor per cu la dstrbuzone assuma valor superor a +c Inseme de valor per qual l potes nulla è rgettata.5 -c +c delle Ipotes e Anals della Varanza

11 Rsch d fare false decson ne test Nella enuncazone del test delle potes è stato ntrodotto l concetto d Errore d tpo I Tale probabltà è par al lvello d sgnfcatvtà del test Ma l errore d tpo I non è l solo tpo d errore che possamo ncontrare n un test statstco. Per ntrodurre concett successv consderamo l caso semplfcato d una sola possble potes alternatva per cu la meda possa assumere solo un altro valore precso dstnto q > q. H H : : q q q q Rsch d fare false decson ne test C s può porre l problema d quale era la probabltà d non rgettare l potes nonostante essa fosse falsa e fosse nvece q q b q q L ntegrale b n fgura rappresenta tale tpo d probabltà delle Ipotes e Anals della Varanza

12 Rsch d fare false decson ne test L errore rappresentato dall ntegrale b s chama errore d tpo II ( q c) b Questo valore dpende dall alternatva q. P q q In sntes: Errore d tpo I: Probabltà d rgettare l potes nulla nonostante essa fosse vera b Errore d tpo II: Probabltà d non rgettare l potes nulla nonostante essa fosse falsa 3 delle potes - Potenza del test La quanttà: h(-b) è battezzata potenza del test Rappresenta la probabltà d evtare un errore d tpo II, una volta stablto l lvello d sgnfcatvtà del test. Osservazon Dmnure un errore d tpo II può essere ottenuto per esempo spostando c a valor mnor, ma questo comporta un aumento dell errore d tpo I Come è possble, almeno per cas snora analzzat, rdurre entramb gl error? 4 delle Ipotes e Anals della Varanza

13 delle potes - Error d tpo I e II Se l alternatva non è un sngolo numero, ma del tpo q<q, q>q, q dverso da q, allora b dvene una funzone contnua d q. Questa funzone b (q) s chama caratterstca operatva (OC) del test e la sua curva d chama curva OC 5 delle potes Altra procedura Dal punto d vsta storco, l ntroduzone del lvello d sgnfcatvtà del test è gustfcato dalle dffcoltà computazonal relatve alla valutazone d una CDF: le dstrbuzon pù mportant sono valutate solo n corrspondenza d un numero dscreto (e lmtato) d valor d. Con le dsponbltà computazonal attual, questo problema è superato. 6 delle Ipotes e Anals della Varanza 3

14 delle potes Altra procedura S consderno due dfferent rsultat: x.5 e x 9.6. Nonostante entramb rsultat rgettno l potes nulla per un lvello d sgnfcatvta.5, sono quanttatvamente ben dvers e- e- e- 5e La probabltà che s verfch l evento z è d gran lunga nferore alla probablta dell evento z Le dfferenze tra due cas non sono apprezzabl con l mplementazone corrente del test 7 delle potes P-value Negl ultm ann s tende a calcolare un nuovo parametro per stablre l esto d un test statstco, ovvero l p-value Esso rappresenta la probabltà che la VA assunta nell potes H assuma valor maggor (o mnor, a seconda dell potes alternatva) d quello osservato. Nell esempo precedente (H :, H : > ), la probabltà che la VA supposta assuma valor maggor del valore osservato z è par a Pr(Z>z) 6.e-3 Nel secondo caso: Pr(Z>z)~ Tal valor rappresentano p-value de due campon d dat 8 delle Ipotes e Anals della Varanza 4

15 delle potes P-value Altro esempo: H : H : < S osserva un valore par z -.5. Il p-value corrspondente è p6.7e- L area segnata n gallo è l p-value z delle potes sulla meda Caso Varanza non nota S consder d nuovo l caso del catalzzatore n cu stavolta la varanza non sa nota e sa nvece nota la sua stma s H H : : > Se l potes nulla fosse vera, allora la meda e la varanza osservat opportunamente combnat sono un esto d varable aleatora ovvero una dstrbuzone T d Student ad (n-) grad d lbertà. 3 delle Ipotes e Anals della Varanza 5

16 delle potes sulla meda Caso Varanza non nota Fssare un lvello d sgnfcatvtà del test (es: 5%) Calcolare s: Calcolare l valore d c per cu: ( ) s y - y n - ( c) F( c) - P T Dove T è la dstrbuzone d student ad n- grad d lbertà. Come valore osservato della varable T possamo calcolare y - t n s se t > c, rgettare l potes nulla ed accettare l potes alternatva H : > se t < c non rgettare l potes nulla. 3 delle potes sulla meda Caso Varanza non nota La costruzone del test delle potes nel caso d potes alternatve d tpo dfferente è assolutamente equvalente al caso approccato con le dstrbuzon d tpo gaussano. Nel caso n cu: H : H : < Dobbamo escludere valor per cu la T d student assuma valor nferor a c tal che P(c) Inseme de valor per qual rgettamo l potes nulla.5 3 delle Ipotes e Anals della Varanza 6

17 delle potes sulla meda Caso Varanza non nota Nel caso n cu: H H : : Dobbamo escludere sa valor per cu la T d student assume valor nferor a -c, sa valor per cu la T d student assume valor superor a c Inseme de valor per qual rgettamo H.5.5 delle Ipotes sulla dfferenza d due mede S consderno due campon ndpendent d dmenson rspettvamente m ed n, pres da due VA Y ~N(, ) e Y ~N(, ) A tale scopo è possble calcolare le mede e e le varanze e de due campon d dat: S vuole testare l potes che le meda de due campon sano egual: H : H : > 34 delle Ipotes e Anals della Varanza 7

18 delle Ipotes sulla dfferenza d due mede S può dmostrare che la statstca: è una dstrbuzone T d student ad (n+m-) g.d.l, essendo le varabl aleatore connesse alle osservazon d meda e varanza del prmo e secondo campone rspettvamente. 35 delle Ipotes sulla dfferenza d due mede Rcetta / Rcetta: S fssa un lvello d fduca S stablsce l potes nulla e l potes alternatva adeguata, per esempo: H : H : > S calcola c tale che: P( T < c) - Essendo T la dstrbuzone T d student ad (n+m-) g.d.l. 36 delle Ipotes e Anals della Varanza 8

19 delle Ipotes sulla dfferenza d due mede Rcetta / S calcola meda e varanza de due campon S calcola l valore osservato della VA Se t > c, l potes nulla è rgettata. Nel caso t < c, l potes nulla non è rgettata. 37 delle potes su coeffcent d regressone delle Ipotes sulla pendenza Assunzon: Gl error sono normalmente dstrbut ed ndpendent S vuole testare l potes ~,..d. Contro l potes alternatva: H : b b H : b b Ipotes alternatva d tpo blaterale (ma può anche essere onesded ) 38 delle Ipotes e Anals della Varanza 9

20 delle potes su coeffcent d regressone sulla pendenza: Se l potes nulla fosse vera, la stma della pendenza della retta d regressone sarebbe un esto d una varable aleatora d tpo Gaussano: ~, Essendo b l valore supposto nel test delle potes. La dstrbuzone: È una dstrbuzone normale d tpo Standard nel caso n cu l potes nulla fosse vera. Se fosse nota potremmo usare la X per testare l potes nulla. 39 delle potes su coeffcent d regressone S può comunque dmostrare che, nel caso n cu fosse nota solo una stma MSE della varanza, la varable aleatora: È una dstrbuzone d tpo t d Student ad (n-) grad d lbertà. Il test è qund effettuato confrontando l valore osservato d t con l lmte superore della t d Student, per la sogla d errore stablto. 4 delle Ipotes e Anals della Varanza

21 delle potes su coeffcent d regressone delle potes sull ntercetta In modo analogo è possble rcavare una t d Student per un test sull ntercetta b: H : b b Contro l potes alternatva: H : b b Se l potes nulla fosse vera, allora la dstrbuzone: + È una t d Student ad (n-) grad d lbertà 4 delle potes su coeffcent d regressone Caso partcolare Un caso specale molto mportante è: H : b H : b Questo test delle potes è legato al concetto d sgnfcatvtà della regressone. Il fallmento del rgetto dell potes nulla H mplca che c potrebbe non essere dpendenza lneare tra la varable dpendente e la varable regressore. 4 delle Ipotes e Anals della Varanza

22 delle potes Sgnfcatvtà della regressone Stuazon n cu l potes nulla b non è rgettata Stuazon n cu l potes nulla b è rgettata 43 Anals della Varanza - Introduzone Nel caso del test delle potes sulla dfferenza d due mede c s pone l problema d confrontare due mede. C s può porre l problema d confrontare anche pù mede tra loro. 44 delle Ipotes e Anals della Varanza

23 Anals della varanza sulle mede - Introduzone In una fabbrca sono prodott contentor per bevande. A tal rguardo regstra la loro produzone orara per a3 dverse macchne per n5 ore consecutve Le msure total sono qund Nn a5 35. Macchna Macchna Macchna X X 49 X 56 X 5 X 5 3 Anals della varanza sulle mede - Procedura Da una lettura prelmnare de rsultat, s osserva che la Macchna pare presentare una produzone orara superore a quella regstrata per le altre due macchne Obbettvo: Implementare una procedura rgorosa che permetta d stablre se esstono trattament sgnfcatvamente dvers o, equvalentemente, se la macchna ha un mpatto sulla msura delle Ipotes e Anals della Varanza 3

24 ANOVA ad un sngolo fattore Nomenclatura Msure spermental rpetute Macchna y j y Ogn sngola colonna prende l nome d trattamento Cascun trattamento è costtuto da n osservazon dsposte per rga (nel caso n esame n 5) L anals è svolta su a dfferent trattament o lvell (nel caso n esame a 3) La sngola osservazone è caratterzzata da due ndc: y j Indce : s rfersce alla -esma osservazone Indce j: s rfersce al j-esmo trattamento Anals della varanza sulle mede - Metodo Lo sprto del test ANOVA è confrontare le fluttuazon present all nterno d ogn trattamento, con le fluttuazon regstrate tra trattament Intutvamente, se le fluttuazon tra trattament sono maggor delle fluttuazon all nterno de trattament s può affermare che esste un nfluenza del dfferente trattamento sul processo. delle Ipotes e Anals della Varanza 4

25 ANOVA ad un sngolo fattore Studo del modello degl effett Nomenclatura usata nel seguto: y y j n y j a n j y j Somma d tutte le osservazon per l trattamento -esmo Somma d tutte le osservazon per tutt trattament y j y j n Meda del trattamento -esmo y y N Grande meda del campone d dat (Nn a) ANOVA ad un sngolo fattore Decomposzone della somma totale de quadrat S consder la somma totale de quadrat SST: SST a n ( y j - y ) j È una msura della varabltà complessva presente ne dat. Con qualche passaggo: SST a n ( yj - y j )- ( y j - y ) j a n a n a n ( yj - y j ) ( y j - y ) ( yj - y j )( y j - y ) j j j delle Ipotes e Anals della Varanza 5

26 ANOVA ad un sngolo fattore Decomposzone della somma totale de quadrat In conclusone s ha: SST a n ( yj - y ) j a n a ( yj - y j ) n( y j - y ) j j SSE: Sum of Squares of Errors Somma de quadrat delle dfferenze all nterno de trattament SS Treatments : Sum of Squares of Treatments Somma de quadrat delle dfferenze tra trattament ANOVA ad un sngolo fattore Decomposzone della somma totale de quadrat Interpretazone de termn Somma de quadrat degl error: SSE rappresenta la dspersone de dat non spegata da trattament SSE ha un numero d grad d lbertà par a (N-a) N è l numero totale d punt a dsposzone a è l numero d nformazon usato per calcolare le mede della sngola colonna delle Ipotes e Anals della Varanza 6

27 ANOVA ad un sngolo fattore Decomposzone della somma totale de quadrat S può qund calcolare la varanza corrspondente a tale termne d dspersone SSE MSE N - a Stma della varanza comune all nterno de trattament S può dmostrare che l valore atteso per MSE concde con la varanza dell errore spermentale: E MSE MSE e una msura genuna dell errore spermentale (depurata dall eventuale nfluenza de trattament) ANOVA ad un sngolo fattore Decomposzone della somma totale de quadrat Interpretazone de termn Somma de quadrat de trattament: SS Treatments rappresenta la dspersone de dat spegata da trattament In manera analoga al caso precedente, s può faclmente verfcare che l numero d gdl d SS Treatments è par ad (a-) per cu è possble valutarne la varanza corrspondente: MS Treatments SS a - Treatments Stma della varanza tra trattament delle Ipotes e Anals della Varanza 7

28 ANOVA ad un sngolo fattore Decomposzone della somma totale de quadrat Intutvamente, se trattament non nfluenzano l processo: MSE MS Trearments Se, vceversa, MS Treatments >> MSE la sorgente d varanza presente tra trattament non è della stessa natura della varanza presente all nterno de trattament le dfferenze tra trattament sono pù mportant delle dsperson ne trattament le fluttuazon statstche non sono suffcent a gustfcare dvers valor d meda osservat e l trattamento ha un mpatto ANOVA ad un sngolo fattore Decomposzone della somma totale de quadrat In conclusone la dspersone totale de dat può essere decomposta n due dstnt contrbut: SSTSSE+SS Treatments Inoltre, n assenza d nfluenza de trattament, s ha: SST ~ SSE N - N ~ -a SS Treatments ~ a- S può noltre dmostrare che le VA SST, SSE e SS Treatments sono ndpendent delle Ipotes e Anals della Varanza 8

29 Decomposzone della somma totale de quadrat Anals statstca In conclusone, se l assunzone d partenza: trattament non nfluenzano rsultat spermental fosse vera, l rapporto delle varanze f SS a - SSE N - a Treatments MS MSE Treatments sarebbe dstrbuto secondo una F d Fsher a (a-,n-a) g.d.l. Valor d f» sono poco verosml Anals della varanza sulle mede - Metodo La procedura può essere rassunta nella cosddetta tabella ANOVA Sorgente d varazone Somma de quadrat Grad d lbertà Varanza F SSTreatments Trattament a a- MS n y y Treatments j ( ) j - Errore a n SSE y - N-a MSE j y Totale SST y - N- ( ) j j ( ) a n j j y MSTreat. f MSE delle Ipotes e Anals della Varanza 9

30 Anals della varanza sulle mede - Teora Esempo d funzone denstà d probabltà d una VA d tpo Fsher La maggor parte delle osservazon della varable aleatora s ottene a bass valor d f La probabltà d osservare valor ad alt f è sempre mnore (ma ma completamente mpossble) Se l valore osservato f è nella coda l potes d partenza è poco plausble Anals della varanza sulle mede Il valore d sgnfcatvtà (n nglese: p-value) rappresenta la probabltà d osservare un valore maggore o uguale a F per una varable aleatora d Fsher a (a-,a(n-)) grad d lbertà Nel caso n esame f 8.3 e p.5% x 5 P-value: Area sottesa dalla curva f Possamo concludere che la probabltà che non c sano dfferenze tra le macchne è molto bassa F delle Ipotes e Anals della Varanza 3

31 Anals della Varanza: Esempo d test statstco Nel caso n esame s assume come potes nulla che non v sa dfferenza tra trattament e le fluttuazon che osservamo sano legate al caso: H : 3 Come potes alternatva s assume che l assunzone d partenza sa falsa, ovvero che v sa almeno un trattamento che s dsco H : e/o 3 e/o 3 Anals della Varanza sulle mede - Grupp d dmenson non ugual Il modo pù effcace per fare un ANOVA è d consderare tutt grupp delle stesse dmenson n Nel caso cò non fosse possble è comunque possble generalzzare la tabella ANOVA S ntroduce n la dmensone del generco gruppo consderato. 6 delle Ipotes e Anals della Varanza 3

32 ANOVA ad un sngolo fattore Tabella ANOVA Trattament d dmenson dverse Sorgente d varazone Somma de quadrat Grad d lbertà Varanza F SSTreatments Trattament a a- MS Treatments n y y y j j ( ) j - j a n j Errore SSE y - y N-a MSE j Totale SST y - y N- a n j yj N j N ( ) j j a Dove, per la grande meda s defnsce: a j ( ) n j j n y j j MSTreat. f MSE Anals della varanza Regressone lneare S consder l caso d una regressone lneare l cu modello è: bx, ( ) y b ~ N Può essere d nteresse stablre se la regressone lneare sa sgnfcatva oppure no Esste effettvamente una dpendenza d tpo lneare tra varable dpendente e varable regressore? Ipotes nulla H : y non dpende da x b Ipotes alternatva H : y dpende da x b delle Ipotes e Anals della Varanza 3

33 Anals della varanza Regressone lneare Per l sngolo punto spermentale yˆ - y yˆ - y y ˆ y b b x y n n y Valore osservato spermentalmente Valore predetto dal modello Meda d tutt punt spermental Retta d mglore regressone b b x y Anals della varanza Regressone lneare È possble ntrodurre le seguent grandezze: Y Y + S yy ( y y) - Dspersone totale presente ne dat ( yˆ y) SSR - Dspersone spegata dalla regressone ( ˆ ) SSE y - y Dspersone non spegata dalla regressone delle Ipotes e Anals della Varanza 33

34 Anals della varanza Regressone lneare Interpretazone delle grandezze: S yy SSE SSR ( n -g. d. l.) ( n - g. d. l.) ( g. d. l.) Varabltà complessva delle msure SSE: Sum of Square of Errors: Varabltà delle msure non spegata dalla regressone + SSR: Sum of Square of Regresson: Varabltà delle msure spegata dalla regressone Anals della varanza Regressone lneare S può ntrodurre la seguente statstca: SSR F SSE ~ F n - n - (, ) Rappresenta l rapporto tra: varanza (dspersone) de dat spegata dalla regressone e varanza non spegata dalla regressone. Se la regressone è sgnfcatva, la varanza al numeratore è molto maggore della varanza al denomnatore delle Ipotes e Anals della Varanza 34

35 Anals della varanza Regressone lneare Le consderazon precedent possono essere rassunte nella seguente tabella ANOVA: Sorgente d varazone Varazone (somma de quadrat) grad d lbertà Varanza Rapporto F Regressone Resduo TOTALE SSR SSE S yy n ( yˆ - y) n ( y - yˆ ) n ( y - y) MSRSSR/ n- MSE SSE/(n-) n- MSR F MSE Inoltre, MSE e MSR sono varabl aleatore ndpendent. Da notare che la tabella è dentca a quella fornta da Matlab Anals della varanza per la regressone multlneare Il modello è: In questo caso le potes sono: ( ) y f 3 f3... p f p f Il modello prevede una ntercetta H H : : 3 almeno... p j j Come nel caso della regressone semplce, l nostro scopo è d stablre se è plausble una relazone lneare tra la varable msurata e le varabl regressore f. delle Ipotes e Anals della Varanza 35

36 Anals della varanza per la regressone multlneare Come nel caso della regressone lneare Y X X Syy SSR SSE Anals della varanza per la regressone multlneare Dal punto d vsta concettuale la procedura è analoga al caso della semplce regressone lneare. S consder la varazone delle msure y rspetto al valore medo. Tale grandezza può essere decomposta n due quanttà: S yy SSR SSE È possble qund ntrodurre la seguente statstca: SSR F p - ~ F SSE, - n - p ( p - n p) E rpetere la procedura vsta nel caso precedente. delle Ipotes e Anals della Varanza 36

37 Anals della varanza per la regressone multlneare Le consderazon precedent possono essere rassunte nella seguente tabella ANOVA: Sorgente d errore Somma de Quadrat ( ) Grad d lbertà Quadrato medo (Varanza) F rato Regressone SSR yˆ - y p- MSR SSR/(p-) MSR/ MSE ( ) Resduo SSE yˆ - y n-p MSE SSE/(n-p) ( ) Totale S n- y - y yy Inoltre, MSE e MSR sono varabl aleatore ndpendent. delle potes su coeffcent ndvdual della regressone. Aggungendo n una regressone lneare ulteror dpendenze dalle varabl regressore s ottene: SSR aumenta SSE dmnusce S deve stablre se l aumento nella somma de quadrat è suffcente per gustfcare l regressore addzonale del modello delle Ipotes e Anals della Varanza 37

38 delle potes su coeffcent ndvdual della regressone. Le potes per l test sulla sgnfcatvtà della regressone per l sngolo coeffcente j sono: H H : : j j per un fssato j In questo caso la statstca test per l potes nulla è la dstrbuzone T d student ad n-p grad d lbertà: t a j MSE C jj Dove C jj è l elemento dagonale d (X T X) - corrspondente a b j. 75 delle potes su coeffcent della regressone. S può utlzzare la somma extra de quadrat: Tale procedura può essere usata per nvestgare l contrbuto d un sottonseme d varabl regressore del modello. A tale scopo, s consder l modello d regressone con kp- varabl regressore (s consder qund la presenza dell ntercetta: f ) y F ( n) ( n p) ( p ) ( n) S vuole stablre se esste qualche sottonseme r<k regressor che contrbusce sgnfcatvamente al modello. delle Ipotes e Anals della Varanza 38

39 delle potes su coeffcent della regressone. S partzona l vettore de parametr n due vettor ( p - r) r Per semplctà d dscussone s defnsce: m p-r S vuole testare l potes: H : H : delle potes su coeffcent della regressone. Il modello può qund essere scrtto: y ( n) ( n p) ( p) ( n) Per l modello completo: a F F T - T ( F F) F y F Modello completo ( n m) ( m) ( n r) ( r ) ( n) delle Ipotes e Anals della Varanza 39

40 delle potes su coeffcent della regressone. È possble valutare la somma d regressone de quadrat: SSR ( a) ( yˆ y) - Rappresenta la somma de quadrat della regressone spegata dal vettore completo de parametr È possble noltre valutare la somma de resdu: SSE T ( a) ( yˆ - y) ( y - F a) ( y - F a) E l errore quadratco medo per l modello completo: MSE ( a) ( a) SSE n - p delle potes su coeffcent della regressone. Per trovare l contrbuto de termn b nella regressone s ftta l modello assumendo che l potes nulla sa vera. y F ( n) ( n m) ( m) ( n) Modello rdotto Per l modello rdotto sarà: a T - T ( F F ) F y Il modello rdotto è valdo se l contrbuto delle varabl regressore relatve a è nulla, ovvero se l potes nulla H è vera: H : delle Ipotes e Anals della Varanza 4

41 delle potes su coeffcent della regressone. La somma de quadrat della regressone è: SSR ( a ) ( yˆ - y) grad d lbertà m S può qund defnre la quanttà: ( a ) SSR( a) - SSR( a ) m - p grad d lbertà SSR a r Tale quanttà è chamata somma extra de quadrat dovuta a : msura dell aumento nel termne regressone de quadrat legata all addzone delle varabl regressore. delle potes su coeffcent della regressone. La quanttà SSR(a a ) è ndpendente da MSE e l potes nulla può essere testata con la statstca: f ( a ) SSR a MSE Tale statstca è una dstrbuzone d Fsher a (r, n-p) g.d.l. Se f > F a,r,n-p, s rgetta l potes nulla e s conclude che almeno uno de parametr n deve essere dverso da. / r Tale statstca è mportante nella anals della scelta del mglor modello d regressone. delle Ipotes e Anals della Varanza 4

42 Msure spermental rpetute lack of ft È possble sfruttare l opportuntà d avere pù prove spermental rpetute nelle stesse condzon. In questo modo è possble avere una stma genuna della varanza dell errore spermentale: la varanza tra tutte le osservazon rpetute nelle stesse condzon spermental Tale msura non è affetta da una eventuale valutazone erronea del modello. Il test statstco prende l nome d test lack of ft e verrà ntrodotto qualtatvamente ne prossm lucd. Lo scopo è d confrontare la dspersone de dat all nterno delle prove rpetute con la dspersone de dat dovuta al modello prescelto. 83 Msure spermental rpetute lack of ft Lack of ft - Grandezze n goco: Esempo caso d una sola varable regressore x con msure effettuate per tre dvers valor d esso y j : msura spermentale alla j-esma prova rpetuta per la condzone spermentale x y y ˆ f ( x,θˆ ) y Meda delle m msure per la condzone spermentale x y j y ( ) y ˆ f,θˆ x y ŷ Valore predetto dal modello per la -esma condzone spermentale x x x 3 84 x delle Ipotes e Anals della Varanza 4

43 Msure spermental rpetute lack of ft Msure spermental sono rpetute pù volte nelle stesse condzon y,, y,,, y,n sono n osservazon rpetute a x y,, y,,, y,n sono n osservazon rpetute a x y m,, y m,,, y m,nm sono n m osservazon rpetute a x m S hanno qund m dfferent lvell della varable regressore x Inoltre: m n j m n T n Msure spermental rpetute lack of ft Per cascun lvello delle varabl regressore è possble valutare la meda e la varanza tra le dverse prove rpetute y - ˆ j y y - y j y - ˆ y y ˆ f ( x,θˆ ) y y y ˆ f j ( x,θˆ ) n y ˆ Dstanza della prova spermentale dalla prevsone del modello - y j y - y j Dstanza della prova spermentale dalla meda delle prove rpetute Indpendente dal modello y - yˆ Dstanza tra meda delle prove rpetute e prevsone del modello Dpendente dal modello x delle Ipotes e Anals della Varanza 43

44 Msure spermental rpetute lack of ft Facendo l quadrato d prmo e secondo membro e sommando per tutt gl ndc e j (per semplctà s consdera l caso d n prove rpetute per m dvers valor spermental): m n j m n m ( y - yˆ ) ( y - y ) n ( yˆ - y ) j j j Somma de Quadrat degl Error SSE Somma totale delle dstanze tra prevson del modello ed osservazon Somma de Quadrat dell Errore Puro SSPE Msura della varanza all nterno delle prove rpetute Somma de Quadrat della perdta d ft SSLF (lack of ft) Ottma stma dell errore spermentale: Varanza depurata da eventual error dovut alla non adeguatezza del modello 87 Msure spermental rpetute lack of ft La dstanza del modello da dat spermental può qund essere descrtta come la somma d due dvers contrbut: SSPE Msura della varanza pura (Sum of Squares Pure Error) SSLF Msura delle dstanze tra meda delle osservazon e prevson (Sum of Squares Lack of Ft). 88 delle Ipotes e Anals della Varanza 44

45 Msure spermental rpetute lack of ft I rsultat dell anals possono essere sntetzzat nella seguente tabella d tpo ANOVA Sorgente d errore Somma de Quadrat gdl Quadrato medo (Varanza) Lack of ft SSLF m - p MSLF SSLF/(m-p) Prove rpetute SSPE n T -m MSPE SSPE/(n m-m) Resdu SSE n T -p F rato MSLF/ MSPE Nel caso d modello adeguato le sorgent d errore n SSLF e SSEE sono dello stesso tpo: 89 Msure spermental rpetute lack of ft Se l modello è corretto s deve osservare che le due varanze sono confrontabl MSPE ~ MSLF Nel caso n cu l modello non sa quello gusto, MSLF nclude anche una dspersone dovuta alla scarsa adeguatezza del modello MSLF >> MSPE Da cu è possble valutare l valore f : f SSLF m - p SSPE ~ F, n - m T ( m - p n - m) T delle Ipotes e Anals della Varanza 45

46 Anals della Varanza Sommaro Concett mportant delle potes sulla meda e delle potes su coeffcent d regressone ANOVA ANOVA per modell lnear: test d sgnfcatvtà per la regressone La varable dpendente è nfluenzata da almeno una varable regressore? test Somma Extra de Quadrat Uno specfco sottonseme d varabl regressore nfluenza l processo? test Lack Of Ft Il modello scelto è adeguato per descrvere dat spermental? Basat sulla T d student Basat sulla Fsher delle Ipotes e Anals della Varanza 46