Fit e test del Chi Quadro

Transcript

1 Laboratoro d Informatca Avanzata Botecnologe Agrondustral UIFE Prof. Mrco Andreott Lezone del 03/06/009 - Ft e test del Ch Quadro Ft e test del Ch Quadro In questa lezone conclusva concludamo l argomento ft affrontato nella lezone precedente. Abbamo vsto con R come fare un ft d un nseme d msure d due varabl dpendent (x,y) e d una dstrbuzone d n msure d una sngola varable x. L algortmo d ft c permette d estrarre parametr della funzone f(x) nel caso d due varabl e parametr della funzone denstà d probabltà nel caso della sngola varable. Determnat parametr non sappamo però quanto bene dat msurat s adattano alla funzone fttata (quella che contene parametr rsultat dal ft). Potrebbe nfatt accadere che dat s adattano bene, qund le msure svolte sono sgnfcatve oppure dat non s adattano affatto alla funzone teorca attesa e questo c può portare a concludere che dat sono da scartare e l espermento deve essere rpetuto, oppure l modello teorco che stamo usando non è quello che realmente descrve l comportamento delle varabl che stamo msurando. Per valutare quanto dat msurat s adattano bene alla funzone teorca potzzata possamo usare l test del ch quadrato. Il Ch Quadrato ( ndcato sempre con ) è un numero che c fornsce una ndcazone d quanto dat sano vcn alla funzone/dstrbuzone teorca attesa. ell uso del test del ch quadro dobbamo però dstnguere cas n cu s stano trattando con coppe d varabl correlate (x,y) dal caso n cu s tratt la dstrbuzone d una sngola varable. Affrontamo qund nel seguto due cas separatamente. Test del per una coppa (x,y) d varabl correlate Quando da un espermento s cerca la correlazone fra due varabl (x,y) s effettuano le msure della varable dpendente y n corrspondenza d dvers valor d y, ottenendo così un nseme d dat (x, y) qual rappresentano nel pano x-y un numero d punto par alle msure esegute. Dal modello teorco che descrve le varabl (x,y) c aspettamo una dpendenza d y da x secondo una certa funzone y f(x). La funzone f(x) conterrà n generale un certo numero d parametr (la retta per esempo contene parametr, una esponenzale ne può contenere 3 etc etc) che saranno determnat dal ft. La procedura d ft nfatt cerca que valor de parametr tal per cu la funzone s avvcna d pù a punt (x,y) msurat nell espermento. Supponamo che nostr dat sano (x, y), che la varable y sa stata msurata con un errore σ e che l modello teorco preveda una dpendenza da una qualche funzone y f(x). Anztutto determnamo parametr della funzone con l ft pesato, pesato sgnfca che dobbamo nserre gl error σ. Pù l errore su una sngola msura d y è pccolo pù questa msura nella procedura d ft è mportante, n quanto sgnfca che è stata msurata con maggore precsone. el comando per l ft n R s deve qund specfcare l vettore pes. Capamo che pù pccolo è l errore maggore è l peso, qund l vettore de pes sarà qualcosa d nverso all errore. In generale l peso s defnsce come l nverso del quadrato dell errore: w σ Eseguto l ft pesato ottenamo parametr fttat con qual costruamo la funzone fttata fft(x), con la quale possamo calcolare valor d y fttat che c aspettamo dal modello teorco. Valutando le dstanze de valor msurat da valor fttat e tenendo conto de pes possamo costrure una varable che ndcherà quanto valor msurat s adattano bene al ft. Costruamo qund l ch quadro con la seguente defnzone: /6

2 Laboratoro d Informatca Avanzata Botecnologe Agrondustral UIFE Prof. Mrco Andreott Lezone del 03/06/009 - Ft e test del Ch Quadro w ms ( y f ( x )) Dove è l numero d msure analzzate. Se l valore d rsulta mnore o crca uguale al numero d msure allora punt s adattano bene al modello teorco usato. Tenamo presente che nel caso d accordo perfetto fra dat e modello teorco (stuazone nverosmle n un espermento) allora l ch quadro sarà uguale a 0. Inseme al s è anche solt defnre l ch quadro rdotto come segue: ~ d w ms ( y f ( x )) Dove d è l numero d grad d lbertà, ossa l numero d msure analzzate meno l numero d parametr fttat: d PAR el caso della retta per esempo l numero d parametr è (ntercetta e coeffcente angolare), nell esempo d esponenzale che abbamo vsto nella lezone del 6/05/009 numero d parametr è 3. Se l valore del ~ è mnore o crca uguale a allora dat s adattano bene al modello teorco utlzzato. Il ch quadro rdotto è grosso modo un ch quadro normalzzato, vsto che come valore massmo ndcatvo ha. Calcolato l ~ ft o l ft (ovvamente due sono equvalent, basta sapere quale s sta usando) non s possamo però valutare n modo soggettvo se l valore ndca un buon adattamento oppure no. Supponamo ~ per esempo d ottenere. 4, con questo numero scartamo l potes del nostro modello? Se fosse 0 ft sarebbe scuramente peggo d.4, ma vsto che questo è d poco superore a scartamo tutto? Per concludere qualcosa n merto a dat s deve procedere n modo oggettvo e per fare questo s deve valutare la probabltà d ottenere un valore d > ft. Se la probabltà è alta sgnfca che è molto pù probable msurare dat che s adattano peggo d quell n esame, qund quell n esame possono rteners buon. Dfferentemente se la probabltà è bassa, allora vuol dre che l campone d dat n esame non è buono e s deve o rpetere l espermento oppure valutare se l modello teorco scelto è gusto o corretto. Come valore lmte standard per la probabltà d tpcamente s scegl l 5%, qund oltre l 5% dat s tengono buon, meno del 5% dat s scartano. A seconda de cas s possono comunque sceglere lmt pù strngent per la probabltà. Il valore della probabltà s può determnare da tabelle che rportano le probabltà n corrspondenza del valore d ~ o d ft e del numero d grad d lbertà d. E molto mportante fare attenzone al numero d grad d lbertà. La probabltà s può calcolare ntegrando la funzone denstà d probabltà ( x, d), oppure con l uso d software s cerca la funzone che resttusce la probabltà cercata per d ft o d ~ ft e d. ft /6

3 Laboratoro d Informatca Avanzata Botecnologe Agrondustral UIFE Prof. Mrco Andreott Lezone del 03/06/009 - Ft e test del Ch Quadro ota al caso d assenza d error n y Premesso che non è possble da un espermento avere msure senza ncertezza, tutto cò che rportamo n questa breve nota potrebbero non essere corretto. el caso n cu gl error delle msure y non sano conoscut non è charo come s possa defnre un ch quadro pesato. La procedura d ft c permette d stmare un errore medo sulle msure d y facendo propro rfermento alla dstanza meda dalla funzone fttata, ma questo è molto smle al ch quadro rdotto, qund l rsultato sarebbe propro qualcosa d molto vcno a per defnzone. La dfferenza da dpende dal numero d grad d lbertà n quanto la defnzone d errore medo è: ms σ y ( y f ( x) ) Qund l ch quadro dventa: ( ( )) ( ( )) ( ( )) ( ( )) ms ms ms w y f x y f x y f x σ y ms y f x Allora l ch quadro rdotto dventa: ~ PAR el caso d un andamento lneare è propro uguale a, qund non stamo affatto tenendo conto d quanto dat dstano dalla funzone fttata.. Un modo potrebbe essere quello d sceglere come peso l valore e valutare eventualmente nseme a qualche coeffcente d correlazone e agl error su parametr la bontà del ft. Se n R s esegue un ft senza specfcare pes, allora l RSE vene calcolato con peso.. Un altra alternatva è quella d fare rfermento alla defnzone d ch quadro per le dstrbuzon, che vedremo nel seguto, data da questa relazone: ms ( y f ( x )) f ( x ) Con questa defnzone stmamo una somma d varazon dal valore teorco atteso relatve a questo stesso valore, qund sembrerebbe essere la defnzone pù sensata. 3. Un altra dea potrebbe essere quella d stmare gl error su valor teorc stmat facendo la propagazone degl error su parametr ottenut dal ft. In realtà per applcare questo metodo bsognerebbe verfcare d non rottenere un rsultato assurdo come quello vsto nella parte ntroduttva d questa nota. Comunque se la funzone dpende da PAR parametr P, allora s può stmare l errore sul valore atteso d y come segue: σ y ( x, P P ), L, j Pj PAR f σ P j S dovrebbero qund poter usare quest error come pes per l calcolo del ch quadro. È mportante rbadre che senza error le msure non hanno molto senso, qund poco senso ha anche esegure l test del ch quadro. In questo caso comunque l metodo pù sensato sembrerebbe essere l secondo, anche se nel terzo l ch quadro dovrebbe tendere ad essere maggore d quello calcolato al punto. Per essere tranqull forse convene calcolare tre valor d ch quadro corrspondent a tre metod e alla fne usare quello maggore, al fne d essere conservatv, per stmare la bontà del ft. Uso d R per l Test del per una coppa (x,y) d varabl correlate Defnt x, yms, syms (error su y) e la funzone con cu fttare, calcolamo l vettore pes come w/syms^ qund eseguamo l ft pesato: lm(yms ~ x, weghtsw) 3/6

4 Laboratoro d Informatca Avanzata Botecnologe Agrondustral UIFE Prof. Mrco Andreott Lezone del 03/06/009 - Ft e test del Ch Quadro oppure con ftnls <- nls(yms ~ Ams * x + Bms, start lst(ams, Bms ), weghtsw) rchamamo le nformazon su con l commando summary: summary(ftnls) notamo che a un certo punto compare l mformazone: Resdual standard error:.03 on 8 degrees of freedom Il Resdual Standard Error calcolato su 8 grad d lbertà (0 msure parametr nel caso della retta) che chameremo RSEd altro non è che la radce quadrata del ch quadro rdotto: RSE d w d ms ( y f ( x )) ~ Verfchamo n R questa cosa calcolando ch quadro rdotto come rportato nell eserczo allegato. Ora chedamo a R quale è la probabltà d avere un ch quadro maggore d quello calcolato con l numero d grad d lbertà del ft. Per fare questo usamo la funzone pchsq, la quale resttusce la probabltà d avere un < ft o > ft per un certo numero d grad d lbertà. Bsogna fare molta attenzone n quanto questa funzone vuole come parametr d ngresso l ch quadro e non l ch quadro rdotto e per rchedere la P > bsogna aggungere una opzone come segue: probabltà ( ) d ft pchsq(, d, lower.tal FALSE) ft Useremo qund pchsq( RSE d, d, lower.tal FALSE) vsto che l ft resttusce RSE. In base alla probabltà che ottenamo possamo decdere se dat s accordano bene con l modello teorco oppure no. Test del per una dstrbuzone d una varable msurata x Quando da un espermento s msura rpetutamente una sngola varable, d questa se ne vuole studare la dstrbuzone e la s vuole confrontare con la funzone denstà d probabltà (pdf probablty densty functon) prevsta del modello teorco. Per esempo x può dstrburs secondo una gaussana, una possonana, una bnomale etc etc. ella procedura d ft voglamo qund estrarre parametr della pdf e per determnare quanto dat s adattano bene a questa dstrbuzone possamo esegure l test del ch quadro. In questo caso però l ch quadro è defnto n modo dverso dal precedente, n quanto non dobbamo pù valutare la dfferenza fra y msurato e y fttato, ma dobbamo confrontare le frequenze d x negl ntervall x (che chamamo frequenze 4/6

5 Laboratoro d Informatca Avanzata Botecnologe Agrondustral UIFE Prof. Mrco Andreott Lezone del 03/06/009 - Ft e test del Ch Quadro osservate O) con le frequenze attese E, determnate dalla pdf fttata. Il ch quadro rsulta essere qund defnto come segue: n ( O E ) ( O E ) n ~ e E d E n numero d class d n PAR Dove n è l numero d class, o ntervall (suddvsone dell stogramma), nelle qual sono state raggruppate le msure d x e d è l numero d grad d lbertà defnto come la dfferenza fra l numero d class e l numero d parametr determnat dal ft. Dstnzone fra varabl contnue e varabl dscrete el momento n dobbamo valutare le frequenze attese con la pdf fttata dobbamo fare attenzone se stamo lavorando con varabl dscrete (coè che possono assumere solo numer nter), come potrebbe essere una varable dstrbuta secondo una bnomale, oppure con varabl contnue (coè che possono assumere tutt valor real), come potrebbe essere una varable dstrbuta secondo una gaussana. el caso d varabl contnue la frequenza attesa, o probabltà se normalzzata, per quel dato valore d x sarà dato dal valore della pdf n corrspondenza d x: E P ( x ) pdf( x ) el caso d varabl contnue nvece la probabltà relatva all ntervallo x (d estrem x, mn dall ntegrale della pdf nell ntervallo consderato: E P,max ( x,mn < x x,max) pdf( x) x x,mn dx e x, max ) è dato Determnate le frequenze attese e calcolato l ch quadro s procede come vsto n precedenza con la valutazone della probabltà d ch quadro per valutare la qualtà del ft. Uso d R per l Test del per la dstrbuzone d una varable x Supponamo d aver eseguto 000 msure d una varable x che n R chamamo dat. Possamo vsualzzarne la dstrbuzone con un stogramma: hst(dat) Se non specfcato R procede con una suddvsone n class che rtene pù adatta. Per fare l ft d una dstrbuzone R mette a dsposzone uno strumento chamato ftdstr, come abbamo gà vsto nella lezone del 6/05/009: ftdstr(dat, "normal") #nell potes n cu nostr dat debbano dstrburs secondo una gaussana (normale) dal summary d questo ft non vene vsualzzato nessun RSE o ch quadro, n quanto per le dstrbuzon R mette a dsposzone uno strumento per l test del ch quadro con l comando chsq.test, nel quale s devono specfcare le frequenze osservate e le probabltà attese. Calcolamo qund nell esempo le frequenze attese o usando le funzon specfche oppure ntegrando la funzone pdf. 5/6

6 Laboratoro d Informatca Avanzata Botecnologe Agrondustral UIFE Prof. Mrco Andreott Lezone del 03/06/009 - Ft e test del Ch Quadro Usando chsq.test c s accorge anztutto che non s possono specfcare l numero d grad d lbertà, qund rsultat che resttusce devono essere valutat attentamente. otamo noltre che n questo test dobbamo fornre no le frequenze osservate e quelle msurate, qund l comando s lmta a calcolare l ch quadro e a determnarne la probabltà, tra l altro senza consderare l numero d grad lbertà corretto. A questo punto appare charo che l ch quadro possamo calcolarlo senza problem vsto che abbamo gà tutt gl ngredent necessar. Determnare po la probabltà d ch quadro abbamo vsto essere semplce con l comando pchsq come nell esempo precedente. Concludamo qund che l comando chsq.test d R non è molto utle per gl scop qu vst e probablmente nemmeno esatto, n quanto con l calcolo a mano ottenamo rsultat mglor. La comodtà d fttare una dstrbuzone con ftdstr, anzché con nls, sta nel fatto che se volessmo fttare una dstrbuzone con nls dovremmo costrure l stogramma estrarre una varable dpendente y che corrsponderebbe alle frequenze, o denstà, qund costrure due varabl (x,y) e fare l ft. In ftdstr c è anche la possbltà d fttare con una funzone personalzzata, s veda l esempo rportato nel manuale: mydt <- functon(x, m, s, df) dt((x-m)/s, df)/s ftdstr(x, mydt, lst(m 0, s ), df 9, lower c(-inf, 0)) 6/6

7 Ths document was created wth WnPDF avalable at The unregstered verson of WnPDF s for evaluaton or non-commercal use only. Ths page wll not be added after purchasng WnPDF.