RAPPRESENTAZIONE ANALITICA DELLE DISTRIBUZIONI STATISTICHE CON R

Transcript

1 Rappresetazoe aaltca delle dstrbuzo statstche co R RAPPRESENTAZIONE ANALITICA DELLE DISTRIBUZIONI STATISTICHE CON R Versoe 0.4- febbrao 005 Vto Rcc [email protected] E garatto l permesso d copare, dstrbure e/o modfcare questo documeto seguedo term della Lceza per Documetazoe Lbera GNU, Versoe. o og versoe successva pubblcata dalla Free Software Foudato. La Lceza per Documetazoe Lbera GNU è cosultable su Iteret: orgale glese: traduzoe talao: La creazoe e dstrbuzoe d cope fedel d questo artcolo è cocessa a patto che la ota d copyrght e questo permesso stesso vegao dstrbut co og copa. Cope modfcate d questo artcolo possoo essere copate e dstrbute alle stesse codzo delle cope fedel, a patto che l lavoro rsultate vega dstrbuto co la medesma cocessoe. Copyrght 005 Vto Rcc

2 Rappresetazoe aaltca delle dstrbuzo statstche co R INDICE.0 Itroduzoe.0 Rappresetazoe grafca 3.0 Scelta del tpo d fuzoe 4.0 Stma de parametr 5.0 Msura del grado d accostameto 6.0 Test statstc per verfcare la coformtà al modello 6. Test d ormaltà 7.0 Cocluso Appedce: Eleco de comad d R utl per la rappresetazoe aaltca delle dstrbuzo statstche Rfermet

3 Rappresetazoe aaltca delle dstrbuzo statstche co R 3.0 Itroduzoe U aals statstca che può essere codotta su de dat è la verfca che quest sao coform ad u certo modello teorco. Tra le aals d questo geere possamo aoverare la rappresetazoe aaltca delle dstrbuzo statstche (dstrbuto fttg). Essa cosste el trovare ua fuzoe matematca terpolate che rappreset opportuamete u feomeo statstco osservato. U problema che lo statstco spesso s trova ad affrotare è l seguete: s ha ua sere d osservazo d u carattere quattatvo che deotamo co x, x, x e s vuole verfcare se tal osservazo che costtuscoo u campoe d ua popolazoe o ota a pror provegoo da ua determata popolazoe caratterzzata da ua fuzoe d destà d frequeza della quale s coosce l espressoe term aaltc. Idchamo co f(x,θ) tale fuzoe, che rappreseta la dstrbuzoe del carattere, dove θ è u vettore d parametr valor caratterstc della dstrbuzoe da stmare sulla base de dat dspobl. Gl scop della rappresetazoe aaltca possoo essere: a) descrttv: perequazoe d dat, terpolazoe d dat macat, etc.; b) vestgatv: retrao el campo della statstca ferezale; partcolare, s va alla rcerca d u modello teorco partedo da u campoe d osservazo. Nella rappresetazoe aaltca possamo dvduare 4 fas: ) scelta della fuzoe (modello) che s adatta meglo alle caratterstche della dstrbuzoe de dat; ) stma de parametr della fuzoe (modello) scelta; 3) calcolo del grado d accostameto delle frequeze osservate rspetto a quelle otteute co l modello teorco; 4) applcazoe d test statstc per saggare la botà del modello (goodess of ft) ua logca ferezale; questa fase è mportate soprattutto se le faltà della rappresetazoe aaltca soo d tpo vestgatvo. Il presete lavoro s prefgge d affrotare l problema della rappresetazoe aaltca cogledo alcu aspett teorc e soprattutto quell pratc e d calcolo co l auslo del software statstco R d cu c samo occupat u terveto precedete 3. R è u ambete per l aals statstca de dat molto versatle e potete del quale verrao trattat alcu comad ua sere d esemplfcazo d carattere pratco. I partcolare s affroterà la rappresetazoe grafca de dat (.0), la scelta della fuzoe (modello) aaltca ( 3.0), la stma de parametr d tale fuzoe ( 4.0), la msura del grado d accostameto ( 5.0) ed alcu test statstc per la verfca term ferezal del modello scelto ( 6.0). Per la pea compresoe d questo cotrbuto s presuppoe ua coosceza d base del software R acqusta dopo la lettura d A troducto to R 4. I comad d R rportat, se o specfcato dversamete, soo compres el package deomato stats presete ella versoe base del software..0 Rappresetazoe grafca U prmo approcco esploratvo co dat può essere quello grafco. L uso dello strumeto grafco, fatt, può autare otevolmete el proseguo della rappresetazoe aaltca. Attraverso u stogramma, ad esempo, s può avere ua prma dea del tpo d fuzoe (o d modello) da sceglere. Utlzzamo la possbltà offerta da R d smulare campoamet da popolazo co fuzoe d destà d frequeza (o fuzoe d frequeza) ota (ormale, Posso, gamma, Webull, etc.) e adamo a traccare de G. Groe, T. Salvem, Lezo d statstca, 990, vol. I, pag. 43 e segg. R Developmet Core Team (004). R: A laguage ad evromet for statstcal computg. R Foudato for Statstcal Computg, Vea, Austra. ISBN , URL: 3 V. Rcc, R: u ambete ope source per l aals statstca de dat, Ecooma e Commerco,., 004, pagg R Core Team, A troduto to R, versoe.0., ovembre 004

4 Rappresetazoe aaltca delle dstrbuzo statstche co R 4 grafc. Smulamo u campoe d =00 osservazo proveet da ua popolazoe ormale N(0,) co meda artmetca par a 0 e scarto quadratco medo par a : x.orm<-rorm(=00,m=0,sd=) Possamo otteere l stogramma d quest dat co l comado hst()(fg. ): hst(x.orm,ma Istogramma de dat osservat ) [Fg. ] U ulterore opportutà offerta da R è quella d stmare la fuzoe d destà della frequeza de dat co l comado desty()e d stampare l grafco medate l comado plot() (Fg. ): plot(desty(x.orm),ma Stma destà d frequeza de dat osservat ) Gà da queste rappresetazo grafche possamo zare a farc u dea del modello teorco che meglo s adatta a ostr dat. R permette ache d calcolare la fuzoe d rpartzoe emprca 5 de dat tramte l comado ecdf()- emprcal cumulatve dstrbuto fucto - (Fg. 3): plot(ecdf(x.orm),ma Fuzoe d rpartzoe emprca ) 5 G. Groe, T. Salvem, op. ct., vol. II, pag. 308

5 Rappresetazoe aaltca delle dstrbuzo statstche co R 5 [Fg. ] Altro strumeto grafco che può autarc questa fase è l QQ plot 6 tramte l quale s tracca l grafco co ordata quatl 7 de dat osservat e ascssa quell corrspodet otteut co l modello teorco. Cò R può essere otteuto tramte la fuzoe qqorm(), el caso s tratt d verfcare la coformtà alla dstrbuzoe ormale, oppure qqplot() o qqle(), el caso s tratt d ua qualsas dstrbuzoe teorca. Nel ostro esempo abbamo (Fg. 4): z.orm<-(x.orm-mea(x.orm))/sd(x.orm) ## stadardzzamo dat qqorm(z.orm) ## traccamo l QQ plot able(0,) ## traccamo la dagoale 6 S veda [cosultato data ] 7 Per quatle s tede la frazoe (o percetuale) d osservazo feror ad u dato valore. Per esempo l quatle 0.3 (o 30%) è l puto corrspodeza del quale l 30% de dat è al d sotto d questo valore e l 70% è superore.

6 Rappresetazoe aaltca delle dstrbuzo statstche co R 6 [Fg. 3] [Fg. 4]

7 Rappresetazoe aaltca delle dstrbuzo statstche co R 7 Se put del plot tedoo a dspors sulla dagoale vuol dre che dat s adattao bee al modello gaussao. Nel caso d osservazo d tpo dfferete da quello ormale (ad esempo ua fuzoe d destà della frequeza Webull) utlzzamo qqplot()el seguete modo (Fg. 5): x.we<-rwebull(=00,shape=.,scale=.) ## smulazoe d campoameto da ua dstrbuzoe d Webull co parametr shape=. e scale=. x.teo<-rwebull(=00,shape=, scale=) ## calcolo de valor teorc co parametr della popolazoe suppost ot shape= e scale= qqplot(x.teo,x.we,ma"qq-plot dstr. Webull") ## QQ-plot able(0,) ## traccamo la dagoale [Fg. 5] dove x.we soo dat emprc d cu s dspoe e x.teo soo quell stmat co la fuzoe teorca. 3.0 Scelta del tpo d fuzoe La prma fase della rappresetazoe aaltca altro o è che u problema d specfcazoe: s tratta d formulare u modello matematco che descrva maera soddsfacete l feomeo oggetto d dage. Questa descrzoe può essere semplcemete feomeca o emprca se le faltà della rappresetazoe aaltca soo descrttve. Se gl scop soo, vece, vestgatv la formulazoe del modello teorco deve basars su u approfodmeto della struttura del feomeo e dovrebbe precedere la fase d raccolta de dat. I alcue crcostaze l tpo d fuzoe (o modello) può essere dedotto da plausbl potes sulla atura o sulla struttura del feomeo. S scegle u determato schema matematco-teorco e successvamete s verfca se è coforme a dat rlevat. I altr cas può essere d auto l rcorso alla rappresetazoe grafca (.0): dalla forma dell stogramma è possble stablre approssmatvamete la fuzoe che meglo s presta a rappresetare l carattere. Tale metodo, tuttava, può essere alquato soggettvo. U metodo obettvo per sceglere l tpo d curva teorca da usare ella rappresetazoe aaltca è l crtero K d

8 Rappresetazoe aaltca delle dstrbuzo statstche co R 8 Pearso 8. Dalla rsoluzoe d ua certa equazoe dfferezale s pervee ad ua famgla d fuzo de tp pù dsparat atte a rappresetare quas tutte le dstrbuzo emprche. Tal curve dpedoo esclusvamete da 4 caratterstche: meda, varabltà, asmmetra e curtos. Stadardzzado la dstrbuzoe, l tpo d curva dpede solo dalla msura d asmmetra e da quella d curtos 9 stetzzate el crtero K: dove: γ K = 4(4γ 3 ( x µ ) = è l dce d asmmetra 3 σ γ ( γ 3γ + 6) + )(γ 3γ ) γ 4 ( x µ ) = 4 σ 3 è l dce d curtos. A secoda del valore d K, che s ottee base alle osservazo dspobl, corrspode u tpo partcolare d curve. Rportamo d seguto alcue fuzo aaltche molto dffuse e che verrao trattate el presete lavoro; per cascua soo rportat la forma grafca e comad d R per otteere tal grafc. Esste letteratura ua otevole varetà d fuzo e modell teorc che possoo essere adoperat 0. Nel caso d caratter quattatv dscret possamo avere la dstrbuzoe d Posso (Fg. 6): f ( x, λ) x λ λ = e co x=0,,, x! x.po<-rpos(=00,lambda=.5) hst(x.po,ma"dstrbuzoe d Posso") Nel caso d caratter quattatv cotu abbamo: dstrbuzoe ormale (gaussaa) (Fg. 7): µ σ σ f ( x,, ) = e co x R πσ ( x µ ) curve(dorm(x,m=0,sd=),from=0,to=0,ma"dstrbuzoe ormale") dstrbuzoe gamma (Fg. 8): f λ Γ( α) α α λx ( x, α, λ) = x e co + x R curve(dgamma(x, scale=.5, shape=),from=0, to=5, ma"dstrbuzoe Gamma") 8 G. Groe, T. Salvem, op. ct., vol. I, pag. 56 G. Groe, T. Salvem, op. ct., vol. I, pag. 4 e segg. e [cosultato data ] 0 Per fars u dea s cosulto seguet st: e [cosultat data ] [cosultato data ] [cosultato data ]

9 Rappresetazoe aaltca delle dstrbuzo statstche co R 9 [Fg. 6] [Fg. 7]

10 Rappresetazoe aaltca delle dstrbuzo statstche co R 0 [Fg. 8] dstrbuzoe Webull 3 (Fg. 9): f ( x, α, β ) x α [ ( ) ] α α β = αβ x e co + x R curve(dwebull(x, scale=.5, shape=.5),from=0, to=5, ma"dstrbuzoe Webull") Per calcolare le msure d asmmetra e curtos d ua dstrbuzoe s può rcorre alle fuzo skewess() e kurtoss() coteute el package fbascs (che occorre scarcare dal sto quato o compreso ella versoe base d R): lbrary(fbascs) ## carcameto del package skewess(x.orm) ## asmmetra dst. ormale [] kurtoss(x.orm) ## curtos dst. ormale [] skewess(x.we) asmmetra dst. Webull [] kurtoss(x.we) ## curtos dst. Webull [] [cosultato data ]

11 Rappresetazoe aaltca delle dstrbuzo statstche co R [Fg. 9] 4.0 Stma de parametr Ua volta scelta la fuzoe che meglo s adatta al feomeo da rappresetare è ecessaro stmare parametr che caratterzzao tale modello sulla base de dat dspobl. Tra metod utlzzat pù frequetemete rcordamo 4 : l metodo delle ordate fsse, l metodo delle somme, l metodo delle aree e l metodo de mm quadrat. Nel presete cotesto tratteremo seguet metod d stma: ) aalogco ) de momet 3) della massma verosmglaza Il metodo aalogco è abbastaza tutvo e cosste ello stmare parametr del modello applcado la formula degl stess a dat osservat. Ad esempo, s stma la meda (o ota) d ua popolazoe ormale co la meda delle osservazo campoare. stma.meda<-mea(x.orm) stma.meda [] Il metodo de momet cosste ell eguaglare momet emprc calcolat co dat co quell teorc determat base alla fuzoe scelta e al umero de parametr da stmare. Defamo momet emprc questo modo: 4 G. Groe, T. Salvem, op. ct., vol. I, pag. 58 e segg.

12 Rappresetazoe aaltca delle dstrbuzo statstche co R metre quell teorc: t - mometo emprco d orde t dall orge: mt = x y t=0,, ' t - mometo emprco cetrale (o dalla meda) d orde t: mt = ( x µ ) y t=0,, * t - mometo teorco d orde t dall orge: m x f ( x,) dx t=0,, '* t - mometo teorco cetrale (o dalla meda) d orde t: mt ( x µ ) f ( x,) dx t=0,, dove β α è l campo d varazoe teorco cu è defta f(x,θ), µ è la meda della dstrbuzoe e y soo le frequeze emprche relatve. Ad esempo, stmamo parametr d ua dstrbuzoe gamma co l metodo de momet cosderado l mometo del prm orde dall orge, ossa la meda, e l mometo cetrale d orde due, ossa la varaza: α = λ _ x t α = β α = β α = s λ dove el prmo membro soo rportate la meda e la varaza della dstrbuzoe gamma e el secodo membro la meda e la varaza o corretta delle osservazo. Rsolvedo s ottegoo le stme de parametr: _ ˆ x λ = s _ x ˆ α = s x.gam<-rgamma(00,rate=0.5,shape=3.5) ## smulamo ua dstrbuzoe gamma co λ=0.5 (parametro d scala 5 ) e α=3.5 (parametro d forma) med.gam<-mea(x.gam) ## meda dat smulat var.gam<-var(x.gam) ## varaza dat smulat l.est<-med.gam/var.gam ## stma de lambda (corrspode a rate) a.est<-((med.gam)^)/var.gam ## stma d alfa l.est [] a.est [] Il metodo della massma verosmglaza (maxmum lkelhood) è u metodo utlzzato ella statstca 5 Nella fuzoe rgamma() s può specfcare l argometo rate oppure l argometo scale=/rate; rate corrspode al parametro λ

13 Rappresetazoe aaltca delle dstrbuzo statstche co R 3 ferezale per la stma putuale de parametr 6. Abbamo la fuzoe d destà della frequeza f(x,θ) che descrve l carattere quattatvo a lvello d popolazoe. D tale fuzoe, che s suppoe ota ell espressoe aaltca, occorre stmare l vettore de parametr θ base alle osservazo campoare (dat osservat) x, x, x. Defamo fuzoe d verosmglaza la seguete espressoe: L ( x, x,... x, θ ) = f (, θ ) x che va vsta come fuzoe del vettore de parametr θ. Il metodo della massma verosmglaza cosste ello stmare θ modo che vega massmzzata L ( x, x,... x, θ ), oppure, che è lo stesso, per semplfcare calcol, l suo logartmo. Ne cas pù semplc s rcorre a metod dell aals matematca uguaglado a zero le dervate parzal; quado la fuzoe d verosmglaza assume forme troppo complesse per calcolare le dervate parzal s usao metod d calcolo umerco per trovare l puto d massmo d L ( x, x,... x, θ ). Le stme d massma verosmglaza (MLE, maxmum lkelhood estmates) godoo d ua sere d propretà molto utl da puto d vsta statstco e matematco 7. Ad esempo, el caso d ua fuzoe gamma, la verosmglaza assume la seguete espressoe 8 : α α λ λ α λx λ α L( x, α, λ) = f ( x, α, λ) = x e = ( ) ( x e Γ( α) Γ( α), x,... x ) metre l suo logartmo è par a: log( L) = α log( λ) log( Γ( α)) + ( α ) log x λ x Nell ambete R s possoo otteere stme d massma verosmglaza de parametr d u modello co due comad: ) mle() compreso el package stats4 ) ftdstr() compreso el package MASS La fuzoe mle()permette d otteere delle stme d massma verosmglaza de parametr utlzzado de metod teratv d calcolo umerco per mmzzare l egatvo del logartmo della fuzoe d verosmglaza (che equvale a massmzzare l logartmo della stessa fuzoe) specfcado tale espressoe come argometo e foredo delle stme zal de parametr. Nel caso d ua dstrbuzoe d tpo gamma abbamo: lbrary(stats4) ## per carcare l package ll<-fucto(lambda,alfa) {<-00 x<-x.gam -*alfa*log(lambda)+*log(gamma(alfa))-(alfa- )*sum(log(x))+lambda*sum(x)} ## -log(verosmglaza) est<-mle(muslog=ll, start=lst(lambda=,alfa=)) summary(est) Maxmum lkelhood estmato Call: mle(muslogl = ll, start = lst(lambda =, alfa = )) 6 G. Groe, T. Salvem, op. ct., vol. II, pag. 5. Per approfodmet sul metodo della massma verosmglaza s rmada a: [cosultat data ] 7 G. Ccchtell, Probabltà e statstca, 984, pagg [cosultato data ] x

14 Rappresetazoe aaltca delle dstrbuzo statstche co R 4 Coeffcets: Estmate Std. Error lambda alfa log L: Come valor zal per l calcolo soo stat scelt de valor arbtrar, ma, ad esempo, s potevao usare le stme otteute co l metodo de momet. La fuzoe mle()cosete d otteere stme d massma verosmglaza qualuque sa la fuzoe d destà della frequeza, l mportate è cooscere l espressoe aaltca della fuzoe d verosmglaza che va ottmzzata. Nel package MASS è prevsto l comado ftdstr() che permette d otteere delle stme d massma verosmglaza de parametr delle dstrbuzo seza che sa ecessaro cooscere l espressoe della fuzoe d verosmglaza. È suffcete specfcare l vettore de dat, l tpo d fuzoe (desfu) ed evetualmete valor zal per la procedura teratva (start). lbrary(mass) ## carcameto del package MASS ftdstr(x.gam,"gamma") ## stma de parametr dstr. gamma shape rate ( ) ( ) ftdstr(x.we,desfu=dwebull,start=lst(scale=,shape=))## parametr dstr. Webull scale shape ( ) ( ) stma ftdstr(x.orm,"ormal") ## stma parametr dstr. ormale mea sd (0.4404) ( ) 5.0 Msura del grado d accostameto La determazoe del grado d accostameto 9 serve per verfcare e valutare l approssmazoe tra le frequeze osservate del carattere e quelle calcolate co l modello teorco scelto. L dce d accostameto dovrà essere qud u opportua fuzoe delle dffereze tra le frequeze emprche e quelle teorche, dovrà attrbure l medesmo peso a scart ugual ma d opposto sego, dovrà essere fuzoe crescete degl scart, el seso che deve aumetare al crescere degl scart. S possoo avere dc assolut e dc relatv. Tra gl dc assolut pù usat abbamo: y y ξ = meda artmetca semplce degl scart valore assoluto * ( y y ) ξ = meda quadratca degl scart dove le y soo le frequeze osservate e le * y soo le frequeze teorche. 9 G. Groe, T. Salvem, op. ct., vol. I, pag. 83 e segg.

15 Rappresetazoe aaltca delle dstrbuzo statstche co R 5 Tal msure dpedoo dall orde d gradezza delle frequeze. Per elmare tale coveete s rcorre agl dc relatv d accostameto che s ottegoo rapportado gl dc sopra rportat alla meda artmetca (o quadratca) delle frequeze emprche. Abbamo pertato: δ δ δ = = ξ y / y y y ξ = = y / ξ * ( y y ) y / = = y / ( y * y / y ) * Tal dcator soo d solto moltplcat per 00 per esprmere l rsultato otteuto term d percetuale della corrspodete meda. S rporta ua esemplfcazoe d calcolo co R el caso d fuzoe d frequeza d Posso: lambda.est<-mea(x.po) ## stma del parametro lambda tab.os<-table(x.po)## tabella co frequeze emprche tab.os x.po freq.os<-vector() for( : legth(tab.os)) freq.os[]<-tab.os[[]] ## frequeze emprche freq.ex<-(dpos(0:max(x.po),lambda=lambda.est)*00) ## frequeze teorche freq.os [] freq.ex [] [8] acc<-mea(abs(freq.os-truc(freq.ex))) ## dce d accostameto assoluto acc []. acc/mea(freq.os)*00 ## dce d accostameto relatvo [] 9.5 U ulterore verfca del grado d accostameto può essere fatta rcorredo alla sovrapposzoe della fuzoe d destà della frequeza teorca all stogramma de dat (Fg. 0).

16 Rappresetazoe aaltca delle dstrbuzo statstche co R 6 h<-hst(x.orm,breaks=5) xhst<-c(m(h$breaks),h$breaks) yhst<-c(0,h$desty,0) xft<-seq(m(x.orm),max(x.orm),legth=40) yft<-dorm(xft,mea=mea(x.orm),sd=sd(x.orm)) plot(xhst,yhst,type="s",ylm=c(0,max(yhst,yft)), ma Sovrapposzoe curva ormale a dat ) les(xft,yft, col= red ) [Fg. 0] 6.0 Test statstc per verfcare la coformtà al modello La verfca della coformtà de dat osservat ad u modello teorco (goodess of ft) può essere effettuata co dvers test statstc. S tratta d test talvolta deft test ombus. Ess offroo u approcco globale al problema: la coformtà tra dat campoar e la popolazoe vee esamata u quadro complessvo che clude tutte le caratterstche del carattere oggetto d studo (meda, varabltà, forma della dstrbuzoe, etc.). Tal test soo dstrbuto free ossa rsultao dpedet dalla dstrbuzoe del carattere. Partcolare attezoe verrà prestata a test d ormaltà. U prmo test per verfcare la goodess of ft de dat osservat rspetto ad u modello teorco è l test χ (chquadro) 0. Esso s basa sul cofroto delle frequeze emprche co quelle attese calcolate base alla fuzoe d destà della frequeza mpegata. Può essere utlzzato sa el caso d caratter dscret che cotu, ed ache el caso d parametr del modello stmat co dat rlevat. La statstca d rfermeto è: k ( O E ) χ = E dove le O soo le frequeze assolute osservate, le E le frequeze assolute teorche e k l umero d class o tervall cu è stato dvso l carattere. Tale statstca s dstrbusce astotcamete secodo ua varable casuale χ co k-p- grad d lbertà (p è l umero d parametr del modello stmat co dat). S accetta l potes d coformtà al modello se l valore della statstca è ferore al valore sogla, ovvero, se l p-value otteuto dal test è superore al lvello d sgfcatvtà prefssato. 0 L. Sola,, Statstca uvarata e bvarata parametrca e o-parametrca per le dscple ambetal e bologche, cap. III, pag. e segg. e [cosultato data ]

17 Rappresetazoe aaltca delle dstrbuzo statstche co R 7 Le codzo d valdtà del test χ soo le seguet: - campoe suffcetemete grade perché la dstrbuzoe della statstca è astotcamete χ - l umero d frequeze attese etro og classe o deve essere more d 5 - occorre applcare la correzoe d Yates (o d cotutà) per campo d dmesoe ferore a 00 che cosste ell aumetare d 0,5 gl scart valore assoluto O - E Uo degl coveet d questo test è la soggettvtà della rpartzoe delle frequeze tra var grupp. I R abbamo tre modaltà per effettuare l test del ch-quadro. Nel caso d carattere dscreto s può rcorre alla fuzoe goodft() presete el package vcd (che va scarcato dal sto): lbrary(vcd)## carcameto del package gf<-goodft(x.po,type= "posso",method= "MChsq") summary(gf) Goodess-of-ft test for posso dstrbuto X^ df P(> X^) Pearso plot(gf,ma"approssmazoe dstrbuzoe d Posso") Nella fuzoe va specfcato l tpo d dstrbuzoe e l metodo d stma de parametr adoperato. Nel caso d carattere cotuo, ella fattspece d dat proveet da ua dstrbuzoe gamma, co parametr stmat co dat osservat s procede questo modo: x.gam.cut<-cut(x.gam,breaks=c(0,3,6,9,,8)) ##dvsoe del carattere tervall table(x.gam.cut) ##dstrbuzoe co carattere dvso tervall x.gam.cut (0,3] (3,6] (6,9] (9,] (,8] ## calcolo delle frequeze assolute teorche (pgamma(3,shape=a.est,rate=l.est)-pgamma(0,shape=a.est,rate=l.est))*00 [] (pgamma(6,shape=a.est,rate=l.est)-pgamma(3,shape=a.est,rate=l.est))*00 [] (pgamma(9,shape=a.est,rate=l.est)-pgamma(6,shape=a.est,rate=l.est))*00 [] (pgamma(,shape=a.est,rate=l.est)-pgamma(9,shape=a.est,rate=l.est))*00 [] (pgamma(8,shape=a.est,rate=l.est)-pgamma(,shape=a.est,rate=l.est))*00 [] f.ex<-c(0,7,6,3,7) ## freq. teorche dstr. gamma f.os<-vector()

18 Rappresetazoe aaltca delle dstrbuzo statstche co R 8 for( :5) f.os[]<- table(x.gam.cut)[[]] ## freq. emprche X<-sum(((f.os-f.ex)^)/f.ex) ## statstca ch-quadro gdl<-5-- ## grad d lberta -pchsq(x,gdl) ## p-value [] S accetta l potes ulla d coformtà al modello della dstrbuzoe gamma del carattere osservato poché l p-value otteuto è superore ad u lvello d sgfcatvtà par almeo al 5% [Fg. ] Se l carattere è cotuo e la fuzoe d destà della frequeza è completamete specfcata s può usare l comado chsq.test(): ## calcolo delle frequeze relatve teorche p<-c((pgamma(3,shape=3.5,rate=0.5)-pgamma(0,shape=3.5,rate=0.5)), (pgamma(6,shape=3.5,rate=0.5)-pgamma(3,shape=3.5,rate=0.5)), (pgamma(9,shape=3.5,rate=0.5)-pgamma(6,shape=3.5,rate=0.5)), (pgamma(,shape=3.5,rate=0.5)-pgamma(9,shape=3.5,rate=0.5)), (pgamma(8,shape=3.5,rate=0.5)-pgamma(,shape=3.5,rate=0.5))) chsq.test(x=f.os,p=p) ## test del X Ch-squared test for gve probabltes data: f.os X-squared =.836, df = 4, p-value =

19 Rappresetazoe aaltca delle dstrbuzo statstche co R 9 Ache l tale crcostaza s accetta l potes d coformtà al modello teorco. Il test d Kolmogorov-Smrov per la botà dell adattameto (Kolmogorov-Smrov goodess of ft test), per la sua ampa utlzzazoe è proposto su molt test d statstca applcata. Esso può essere utlzzato: - sa per dat msurat su ua scala ordale dscreta o dat cotu raggruppat class, ache se o tutt gl autor soo d accordo su questo puto - sa per dat cotu, che possoo essere msurat co ua scala d rapport oppure a tervall oppure ordale. Il test s basa sul cofroto tra la fuzoe d rpartzoe emprca del carattere e quella teorca dedotta dal modello adottato 3. Date osservazo ordate Y, Y,..., Y, la fuzoe d rpartzoe emprca è così defta: F (Y )=N()/ dove N() è l umero d osservazo mor d Y (co valor Y orde crescete). La statstca utlzzata per verfcare l potes d coformtà al modello teorco è: D = sup F( x ) F ( x ) ossa l estremo superore delle dffereze valore assoluto tra la fuzoe d rpartzoe teorca e quella emprca. S accetta l potes d coformtà al modello se l valore della statstca è ferore al valore sogla, ovvero, se l p-value otteuto dal test è superore al lvello d sgfcatvtà prefssato. Il test d Kolmogorov-Smrov è pù potete del test partcolare quado l campoe o è grade. Quado la umerostà del campoe è grade, due test hao poteza smle e forscoo probabltà sml. Co l test d Kolmogorov-Smrov parametr della dstrbuzoe teorca o possoo essere stmat co dat osservat, ossa la dstrbuzoe deve essere completamete specfcata (a causa d tale lmtazoe s rcorre al test d Aderso-Darlg che, tuttava, è dspoble solo per alcu tp d dstrbuzoe). Il software R mette a dsposzoe l comado ks.test(). Applchamo tale test a dat estratt da ua popolazoe Webull, sapedo che parametr d detta popolazoe soo ot e par a, l parametro d forma, e, l parametro d scala. ks.test(x.we,"pwebull", shape=,scale=) Oe-sample Kolmogorov-Smrov test data: x.we D = 0.063, p-value = alteratve hypothess: two.sded S accetta l potes d coformtà al modello scelto poché l p-value otteuto è suffcetemete superore a lvell d sgfcatvtà d solto adoperat e test statstc. Traccamo l grafco co la sovrapposzoe delle fuzo d rpartzoe emprca e teorca de dat osservat (Fg.). x<-seq(0,,0.) L. Sola, op. ct., cap. VII, pag. 86 e segg. e [cosultato data ] Cfr. G. Groe, T. Salvem, op. ct., vol. II, pag. 3 e F. Del Veccho, Statstca per la rcerca socale, 99, pag S defsce fuzoe d rpartzoe teorca l espressoe F( x) = f ( y,θ ) dydove α e l estremo ferore del campo d varazoe della fuzoe d destà della frequeza. x α

20 Rappresetazoe aaltca delle dstrbuzo statstche co R 0 plot(x,pwebull(x,scale=,shape=),type="l",col="red", ma"fdc emprca e teorca Webull") plot(ecdf(x.we),add=true) [Fg. ] FDC emprca e teorca Webull pwebull(x, scale =, shape = ) x 6. Test d ormaltà Molto spesso lo statstco è chamato a verfcare se dat raccolt provegoo o meo da ua popolazoe ormale, data l mportaza d tale dstrbuzoe ella metodologa statstca. Verrao d seguto esamat prcpal test d ormaltà 4. Per completezza rcordamo che esstoo letteratura de test per verfcare solo la smmetra o solo la curtos (o etramb cotemporaeamete) d ua dstrbuzoe basat su coeffcet b3 e b4 (o gamma3 e gamma4). 5 Il test d Shapro-Wlk 6 è cosderato uo de test pù potet per la verfca della ormaltà, soprattutto per pccol campo. La verfca della ormaltà avvee cofrotado due stmator alteratv della varaza s : uo stmatore o parametrco basato sulla combazoe leare ottmale della statstca d'orde d ua varable aleatora ormale al umeratore, e l cosueto stmatore parametrco, ossa la varaza campoara, al deomatore. I pes per la combazoe leare (a ) soo dspobl su apposte tavole. La statstca W può essere terpretata come l quadrato del coeffcete d correlazoe u dagramma quatle-quatle (QQ plot). 4 L. Sola, op. ct., cap. XIII, pag. 33 e segg., E. Seer, Testg for ormalty [cosultato data ] e E. Seer, Comparso of tests for uvarate ormalty [cosultato data ] 5 Per approfodmet s rva a L. Sola, op. ct., cap. XIII, pagg S veda: [cosultato data ]

21 Rappresetazoe aaltca delle dstrbuzo statstche co R W ( = a x ( ) ( x x) Il comado per effettuare l test d ormaltà questoe ambete R è shapro.test(): esso resttusce come rsultato l valore della statstca W e l relatvo p-value: shapro.test(x.orm) Shapro-Wlk ormalty test data: x.orm W = , p-value = Il p-value è decsamete elevato rspetto a lvell d sgfcatvtà a cu d solto s fa rfermeto: cò c fa propedere per l potes ulla ovvero la ormaltà della dstrbuzoe de valor osservat. Il test d Jarque-Bera 7 è mpegato molto spesso per la verfca dell potes d ormaltà campo ecoometrco. Esso s basa sulla msura dell asmmetra e della curtos d ua dstrbuzoe. S cosdera partcolare la dstrbuzoe astotca d ua combazoe de ot coeffcet b3 e b4 (o gamma3 e gamma4) che, sotto l potes ulla, è d tpo ch-quadro co grad d lbertà. I R tale test è presete el package tseres (che va scarcato dal sto quato o fa parte della versoe base del software) ed è rchamable tramte l comado jarque.bera.test() che resttusce l valore della statstca, grad d lbertà e l p-value: lbrary(tseres) ## carcameto del package jarque.bera.test(x.orm) Jarque Bera Test data: x.orm X-squared = 0.539, df =, p-value = Il test d Cucco 8 cosete d verfcare la ormaltà superado l problema de parametr stmat co dat campoar. Sa x x... x u campoe tratto da ua popolazoe cotua; s estraggao umer casual (o pseudocasual) ormal stadardzzat ζ, ζ,... ζ e posto: ) r = ζ e q = ζ x x r s cosder la trasformata delle x : y = q + dove x è la meda del campoe e σˆ è la radce σˆ quadrata della varaza campoara corretta. S dmostra che, se le x provegoo da ua popolazoe ormale, le y s dstrbuscoo secodo ua ormale stadardzzata. S può usare l test d Kolmogorov per verfcare tale potes. Rportamo ua esemplfcazoe R: zz<-rorm(=00,m=0,sd=) ## geerazoe umer pseudocasual r<-zz[00] q<-sd(zz[-00]) 7 S veda: [cosultato data ] 8 F. Del Veccho, op. ct., pagg

22 Rappresetazoe aaltca delle dstrbuzo statstche co R m<-mea(x.orm) s<-sqrt(var(x.orm)) y<-q*((x.orm-m)/s)+(r/sqrt(00)) ks.test(y, porm,m=0,sd=) Oe-sample Kolmogorov-Smrov test data: y D = 0.098, p-value = alteratve hypothess: two.sded Esste u apposto package d R deomato ortest (va scarcato dal sto) che permette d effettuare be 5 dvers tp d test d ormaltà: ) sf.test()effettua l test d Shapro-Fraca: lbrary(ortest) ## carcameto del package sf.test(x.orm) Shapro-Fraca ormalty test data: x.orm W = 0.996, p-value = ) ad.test()effettua l test d Aderso-Darlg 9 : questo test è ua varate del test d Kolmogorov-Smrov e può essere usato per verfcare la coformtà a seguet modell: ormale, logormale, espoezale, Webull, valor estrem d I tpo e logstco. Esso s basa sulla statstca: A =--S co: ( ) S = [l F( x ) + l( F( x+ + ))], l ampezza del campoe e F(x) la fuzoe d rpartzoe del modello teorco (ella fattspece è la fuzoe d rpartzoe della dstrbuzoe ormale). Nel software R tale test può essere fatto solo per verfcare la ormaltà della dstrbuzoe: lbrary(ortest) ## carcameto del package ad.test(x.orm) Aderso-Darlg ormalty test data: x.orm A = , p-value = ) cvm.test() effettua l test d Cramer-Vo Mses: s basa sulla seguete statstca: + W = ( F ( x) F( x)) f ( x) dx lbrary(ortest) ## carcameto del package cvm.test(x.orm) Cramer-vo Mses ormalty test 9 [cosultato data ]

23 Rappresetazoe aaltca delle dstrbuzo statstche co R 3 data: x.orm W = , p-value = ) llle.test()effettua l test d Lllefors 30 : è ua varate del test d Kolmogorov-Smrov partcolarmete utle el caso d campo d pccole dmeso. Esso cosete d stmare parametr del modello teorco co dat campoar restado dstrbuto-free. lbrary(ortest) ## carcameto del package llle.test(x.orm) Lllefors (Kolmogorov-Smrov) ormalty test data: x.orm D = 0.044, p-value = ) pearso.test()effettua l test del ch-quadro d Pearso: è lo stesso test del χ del quale s è detto precedeza applcato el caso cu s vuole verfcare la coformtà al modello ormale: lbrary(ortest) ## carcameto del package pearso.test(x.orm) Pearso ch-square ormalty test data: x.orm P = 0., p-value = Cocluso Nel presete lavoro s è affrotato l problema della rappresetazoe aaltca delle dstrbuzo statstche co l auslo del software R che è stato mpegato elle vare fas, dalla rappresetazoe grafca de dat a test statstc per la verfca della coformtà degl stess al modello. Soo stat trattat sommaramete alcu aspett teorc, metre ampo spazo hao trovato gl aspett pratc, co delle esemplfcazo, utlzzado comad de var package d R. Tale ambete computazoale d aals statstca s è dmostrato partcolarmete utle e potete per la rappresetazoe aaltca delle dstrbuzo statstche. 30 L. Sola, op. ct., cap. XIII, pag. 50

24 Rappresetazoe aaltca delle dstrbuzo statstche co R 4 Appedce Eleco de comad d R utl per la rappresetazoe aaltca delle dstrbuzo statstche. Tra paretes è rportato l package del quale fa parte l comado. ad.test(): test d Aderso-Darlg per la ormaltà(ortest) chsq.test(): test ch-quadro (stats) cvm.test(): test d Cramer-Vo Mses per la ormaltà (ortest) ecdf(): fuzoe d rpartzoe cumulatva emprca (stats) ftdstr(): stma d massma verosmglaza de parametr (MASS) goodft(): test d coformtà per caratter dscret (vcd) hst(): stogramma (stats) jarque.bera.test(): test d Jarque-Bera per la ormaltà (tseres) ks.test(): test d Kolmogorov-Smorv (stats) kurtoss(): coeffcete d curtos (fbascs) llle.test(): test d Lllefors per la ormaltà (ortest) mle():stma d massma verosmglaza de parametr (stats4) pearso.test(): test ch-quadro per la ormaltà (ortest) plot(): dagramma cartesao (stats) qqorm(): QQ-plot per dstrbuzoe ormale (stats) qqle(), qqplot(): QQ-plot (stats) sf.test(): test d Shapro-Fraca per la ormaltà (ortest) shapro.test(): test d Shapro-Wlk per la ormaltà (stats) skewess(): coeffcete d asmmetra (fbascs) table(): tabella d cotgeza (stats) Rfermet D.M. BATES, Usg Ope Source Software to Teach Mathematcal Statstcs, 00 (scarcable all drzzo: G. CICCHITELLI, Probabltà e statstca, 984 F. DEL VECCHIO, Statstca per la rcerca socale, 99 G. GIRONE, T. SALVEMINI, Lezo d statstca, 990 R CORE TEAM, A trocuto to R, versoe.0., ovembre 004 (scarcable all drzzo: V. RICCI, R: u ambete ope source per l aals statstca de dat, Ecooma e Commerco,., 004, pagg (scarcable all drzzo: E. SEIER, Testg for ormalty (scarcable all drzzo: E. SEIER, Comparso of tests for uvarate ormalty (scarcable all drzzo: L. SOLIANI Statstca uvarata e bvarata parametrca e o-parametrca per le dscple ambetal e bologche, ovembre 004, (scarcable all drzzo: SYRACUSE RESEARCH CORPORATION, ENVIRONMENTAL SCIENCE CENTER Selectg ad Parameterzg Data-Rch Dstrbutos PRA Ceter Short Course October 0-, Select%0Parameterze.ppt Statstcs - Ecoometrcs - Forecastg: NIST/SEMATECH e-hadbook of Statstcal Methods: Relablty Egeerg ad Webull Aalyss Resources:

25 Rappresetazoe aaltca delle dstrbuzo statstche co R 5