CAPITOLO VII METODI NON PARAMETRICI PER UN CAMPIONE

Transcript

1 CAPITOLO VII METODI NON PARAMETRICI PER UN CAMPIONE 7.1. Caratterstche de test non parametrc I test esatt e l metodo Monte Carlo Il test delle successon per un campone Il test de segn per un campone Intervallo d confdenza per una probabltà o frequenza relatva, secondo l metodo d Clopper e Pearson Intervall d confdenza non parametrc e ntervall d tolleranza Intervallo d confdenza della medana con l test de segn Il test de segn per rangh d Wlcoxon Dfferenze nulle e tes nel test T d Wlcoxon Teora del test T d Wlcoxon e della correzone per tes Intervall d confdenza della locazone (medana) con l T d Wlcoxon; mede d Walsh o quasmedans, stmatore d Hodges Lehmann o pseudomedan Test d casualzzazone (raw scores test, Ptman test, Fsher s randomzaton test) Test T d Wlcoxon per la smmetra Il test d Gosset per la eterogeneta d Posson n contegg; l test per l ndce d dspersone e l grafco d Ellott Il metodo d Kolmogorov-Smrnov per un campone, con dat ordnal dscret e con dat contnu Il T d Freeman-Tukey e confronto con l χ e l g ne test per la bonta dell adattamento Il dbattto sulla sgnfcatvta de test per la bonta dell adattamento, rspetto a quell per un parametro Rnvo ad altr test per un campone Presentazone de rsultat d programm nformatc e confront tra test 118

2 CAPITOLO VII METODI NON PARAMETRICI PER UN CAMPIONE 7.1. LE CARATTERISTICHE DEI TEST NON PARAMETRICI Il test t d Student per uno o per due campon presentato nel captolo precedente, l test F d Fsher per l'anals della varanza, la correlazone e la regressone lneare semplce che saranno llustrat ne prossm captol, la regressone multpla e la statstca multvarata che rappresentano lo svluppo d tal tecnche applcate contemporaneamente a molte varabl sono metod d nferenza classc o d statstca parametrca. Prma della applcazone d ognuno d quest test, è fondamentale che sano sempre verfcat e soddsfatt alcun assunt che rguardano la popolazone d'orgne, dalla quale s presume che dat camponar sano stat estratt. Nel caso n cu anche uno solo de presuppost non sa rspettato, neppure dopo approprat tentatv d trasformazone de dat che modfcano la forma della dstrbuzone camponara, possono ragonevolmente sorgere dubb sulla valdtà delle nferenze raggunte. Qualunque rsultato statstco può essere messo n dubbo, quando non è certo che sano state rspettate computamente le condzon d valdtà del test applcato. Il prmo assunto da rspettare è l'ndpendenza de grupp camponar: campon sottopost a dfferent trattament dovrebbero essere generat per estrazone casuale da una popolazone, nella quale ogn soggetto abba la stessa probabltà d essere ncluso n un gruppo qualsas. In questo modo, fattor aleator o non controllat, quell che nel test t d Student formano l errore standard e che nell anals della varanza formeranno la varanza d errore o resduo, dovrebbero rsultare casualmente dstrbut e non generare dstorson od error sstematc. E una condzone che spesso è soddsfatta con facltà e che dpende quas completamente dalla programmazone dell espermento. Per esempo, per verfcare l effetto d due tossc con l test t d Student, anmal masch e femmne, govan ed anzan, grass e magr devono essere dstrbut casualmente o n modo blancato ne due grupp a confronto, se esste l sospetto che l sesso, l età ed l peso possano dare rsultat dfferent, rspetto all effetto medo de due tossc. Il secondo assunto, dstntvo della statstca parametrca, rguarda la normaltà delle dstrbuzon. Da essa derva la relazone tra popolazone de dat e mede de campon, secondo l teorema del lmte centrale: se da una popolazone con meda µ e varanza σ, cu dat abbano una forma d dstrbuzone non normale, s estraggono casualmente campon d dmensone n, le loro mede 1

3 - s dstrburanno normalmente - con meda generale µ ed - errore standard σ/ n. La non-normaltà della dstrbuzone delle mede è un ndce sero d un'estrazone non casuale. La grande mportanza pratca del teorema del lmte centrale, che rende dffusamente applcable la statstca parametrca, derva dal fatto che grupp d dat (x j ), estratt da una popolazone dstrbuta n modo dfferente dalla normale, hanno mede ( x ) che tendono a dstrburs normalmente. La dstrbuzone normale è la forma lmte della dstrbuzone delle mede camponare x per n che tende all nfnto. Tuttava, s può avere una buona approssmazone alla normale della dstrbuzone delle mede x anche quando n è pccolo e la dstrbuzone de dat (x j ) è molto dstante dalla normale. E possble comprendere l teorema del lmte centrale n modo ntutvo, pensando come esempo al lanco de dad. Con un solo dado, 6 numer avranno la stessa probabltà e la dstrbuzone delle frequenze de numer ottenut con lanc ha forma rettangolare. Con due dad, è possble ottenere somme da a 1 e tra esse quelle central sono pù frequent. All aumentare del numero d dad, la dstrbuzone delle somme o delle mede (la legge è valda per entrambe, poché contengono la medesma nformazone) è sempre meglo approssmata ad una dstrbuzone normale. Il terzo assunto rguarda la omoschedastctà o omogenetà delle varanze: se sono format per estrazone casuale dalla medesma popolazone, come espresso nell potes nulla H 0, var grupp devono avere varanze egual. Nella statstca parametrca, è possble verfcare se esstono dfferenze sgnfcatve tra mede camponare, solamente quando grupp a confronto hanno la stessa varanza. Con un concetto preso dal buon senso, la credbltà d una meda è determnata dalla varabltà de suo dat. Se due grupp d dat hanno varanze dfferent, hanno due mede con credbltà dfferent: è errato calcolare una varanza comune e utlzzare la meda de due grupp, come nella vta per conoscere la vertà non è corretto fare la meda tra due affermazon, quando la prma provene da una persona credble, che dce l vero, e la seconda da una persona non credble, che spesso afferma l falso. Quando la dstrbuzone d base è nota, ma non necessaramente normale, s possono calcolare probabltà esatte, come gà mostrato con la dstrbuzone bnomale o con l metodo esatto d Fsher, fondato sulla dstrbuzone pergeometrca. Quando la forma della dstrbuzone de dat è gnota, servono test che possano essere applcat con qualunque forma d dstrbuzone. E una stuazone che nella rcerca spermentale s realzza con frequenza e che rchede l uso d test ndpendent dalla forma della dstrbuzone, come sono appunto molt d quell non parametrc.

4 L orgne d queste tecnche può essere fatta rsalre al Ch-quadrato d K.Pearson e al metodo delle probabltà esatta d R. A. Fsher. Lo svluppo avvene soprattutto a partre dal 1940 e può drs orma concluso all nzo degl ann 70. Ma la sua applcazone è sempre stata lmtata a poch cas. In quest ann, l mportanza della statstca non parametrca è fortemente aumentata. Nelle rvste nternazonal, è avvenuta una rapda evoluzone nelle scelte degl espert d statstca. Fno a poco tempo fa, test parametrc erano quas sempre rchest, quando non fosse dmostrato che la dstrbuzone doveva essere consderata, con elevata probabltà, dfferente dalla normale; ora sempre pù spesso sono accettat solamente se è possble dmostrare che la dstrbuzone è normale o approssmatvamente tale. S è rovescato l onere della prova, per accettare la valdtà d un test parametrco. Sovente nella rcerca spermentale è possble dsporre solo d poch dat, che sono assolutamente nsuffcent per dmostrare la normaltà della dstrbuzone; n partcolare quando l fenomeno studato è nuovo e non è possble ctare dat d altre esperenze. Nelle edzon pù recent, var test mportant d statstca applcata consglano d rcorrere alle tecnche non parametrche quando gl assunt teorc relatv alle condzon d valdtà della dstrbuzone normale non sono dmostrat. In condzon d ncertezza sull esstenza delle condzon rcheste da un test parametrco, come quas sempre succede quando s dspone d poch dat, una soluzone sempre pù dffusa suggersce una duplce stratega: 1 - utlzzare un test approprato d statstca parametrca, - convaldare tal rsultat medante l applcazone d un test non parametrco equvalente. Se le probabltà stmate con due dfferent metod rsultano sml, sono confermate la robustezza del test parametrco e la sua sostanzale valdtà anche n quel caso. Il test non parametrco qund - può servre per confermare rsultat ottenut con quello parametrco e - come msura preventva contro eventual obezon sulla normaltà ed omoschedastctà de dat. Se le probabltà de due test (non l loro valore, che è stmato sulla base d logche dverse) rsultassero sensblmente dfferent, dovrebbe essere consderato come pù attendble l test non parametrco e sarebbe convenente rportare nella pubblcazone solo esso. Infatt è fondato su condzon meno rgorose e d conseguenza è caratterzzato da nferenze pù general. Alcun autor, tra cu l autorevole Peter Armtage che nel suo testo con Geoffry Berry (Statstca Medca. Metod statstc per la rcerca n Medcna, McGraw-Hll, Lbr Itala, Mlano, XIX pp., tradotto anche n talano nel 1996 dal testo del 1994 Statstcal Methods n Medcal Research, Blackwell Scentfc Publcaton Lmted, Oxford), hanno sntetzzato quest concett n alcun consgl conclusv a rcercator (pag. 47): In generale, è forse meglo consderare metod non parametrc 3

5 come un nseme d tecnche cu far rfermento quando gl assunt teorc standard hanno una valdtà relatvamente dubba. Infne torna spesso utle poter confermare rsultat d un test d sgnfcatvtà basato sulla teora normale medante l applcazone d un approprato test non parametrco. In modo pù esplcto, l consglo pratco è: Quando se ncerto se utlzzare un test parametrco oppure uno non parametrco, usal entramb. Con poch dat e n una rcerca nuova, l dubbo sulla normaltà esste sempre. I metod non parametrc sono meno potent, per cu è pù dffcle rfutare l potes nulla; ma quando l potes nulla è rfutata, generalmente le concluson non possono essere sospettate d nvaldtà. I test non parametrc presentano vantagg e svantagg. I test non parametrc sovente s fondano su una tecnca statstca semplce. Con poche eccezon, rchedono calcol elementar, spesso fondat sul calcolo combnatoro, che possono essere fatt n modo rapdo, anche mentalmente, senza alcun supporto tecnco sofstcato. Per tale caratterstca è comprensble la defnzone, data ann fa da Tukey, d metod rapd e sporch, per evdenzare da una parte l mnor tempo rchesto da calcol, dall altra anche la mnor eleganza logca e la nferore pulza matematca formale rspetto a metod parametrc. Quando per la verfca delle potes non è possble o non è convenente applcare metod classc, s può rcorrere a test d statstca non parametrca, dett anche metod ndpendent dalla forma della dstrbuzone (dstrbuton-free). Per la maggor parte, quest metod sono fondat sulle statstche d rango o d ordne; non utlzzano la meda, ma la medana come msura della tendenza centrale; vengono applcat ndfferentemente sa alle varabl casual dscrete che a quelle contnue. Quando le scale sono qualtatve od ordnal e campon non sono d grand dmenson, non esstono alternatve accettabl all uso d test non parametrc. I metod non parametrc presentano dvers vantagg. Nell ntroduzone del Captolo I, del testo Nonparametrc Statstcal Methods, ( nd ed. John Wley & Sons, New York, XIV pp.) pubblcato nel 1999, Myles Hollander e Douglas A. Wolfe ne elencano nove. Con un lsta ancor pù ampa, s può rcordare che metod non parametrc - rchedono poche assunzon sulle caratterstche della popolazone dalla quale l campone è stato estratto, n partcolare non rchedono l assunzone tradzonale d normaltà; rchedono coè potes meno rgorose, n numero mnore, pù faclmente verfcate nella realtà; - permettono d stmare un valore esatto d probabltà per test e gl ntervall d confdenza, senza rchedere la normaltà della dstrbuzone, 4

6 - fornscono rsposte rapde con calcol elementar, quando campon sono pccol, - sono meno sensbl a valor anomal e qund pù estesamente applcabl; portano a concluson pù general e sono pù dffclmente confutabl; - spesso sono pù facl da capre; - alcune volte permettono anche anals dfferent, non possbl con metod classc, poché non esstono test parametrc equvalent, come nel caso del test delle successon (presentato nel paragrafo successvo); - n certe condzon, hanno addrttura una potenza maggore, n partcolare quando dat raccolt sono molto dstant dagl assunt d valdtà del test parametrco; - le nuove tecnche, qual l jackknfe e l bootstrap (llustrat nell ultmo captolo) permettono d analzzare stuazon molto complesse, dove metod parametrc non sono n grado d dervare una dstrbuzone delle probabltà; - la dffusone de computer rende l loro uso ancor pù semplce e esteso. Impegat vantaggosamente n una varetà d stuazon, test non parametrc presentano anche alcun svantagg. Per scale d'ntervall o d rapport, quando le condzon d valdtà per metod classc sono rspettate n modo rgoroso, - sovente sfruttano n modo meno completo l'nformazone contenuta ne dat; qund hanno una potenza mnore, n partcolare quando rducono l'nformazone da scale d'ntervall o d rapport a scale d rango o a rsposte bnare. Per campon d grand dmenson metod non parametrc, soprattutto se fondat sul calcolo combnatoro, - a volte rchedono metodologe pù lunghe, manualmente mpossbl, che pretendono l uso del calcolatore. L attuale dvulgazone d alcun d quest metod, come sarà llustrato negl ultm captol, è dovuta soprattutto alle possbltà d calcolo rpetuto dell nformatca. Per molt test è complesso valutare la sgnfcatvtà delle potes, - poché è dffcle dsporre delle tavole de valor crtc, pubblcat solo n test per specalst, quando non s hanno campon abbastanza grand da permettere l uso della dstrbuzone normale. I metod non parametrc sono adatt a problem relatvamente semplc, come l confronto tra due o pù mede o tra due o pù varanze, sempre relatvamente ad un solo fattore. Con strutture d dat complesse, n cu s voglano consderare contemporaneamente pù fattor e covarate, non esstono ancora alternatve al modello parametrco. Una soluzone elegante è spesso la trasformazone de dat nel loro rango: anche con poche osservazon, la dstrbuzone dventa approssmatvamente normale e vengono rcostrute le condzon d valdtà per l uso de test d 5

7 statstca classca. Nella rcerca ambentale, s rvela sempre pù utle la conoscenza della statstca non parametrca, almeno de test che pù frequentemente sono ctat nella letteratura specfca. Esste un'ampa varetà d stuazon n cu possono essere applcat con rlevante proftto. Sotto l'aspetto ddattco, per la sua semplctà d mpostazone, la statstca non parametrca s dmostra partcolarmente utle nell'apprendmento de process logc, n rfermento alla formulazone delle potes, alla stma delle probabltà medante l test e all'nferenza su parametr a confronto. I test d statstca classca formano una struttura logca unca, che rcorre a medesm presuppost ed elabora, n modo organco e con complesstà crescente, una quanttà d nformazon sempre maggore, dal test t all'anals della varanza, dalla regressone lneare semplce all anals della covaranza, dalla regressone multpla alla statstca multvarata. La statstca non parametrca nvece è crescuta per semplce accumulo d una sere orma nnumerevole d test, ognuno proposto per rsolvere un problema specfco o poche stuazon partcolar, anche se molt d ess s rfanno agl stess prncp elementar, come l calcolo de segn, de rangh o delle precedenze. In questa frammentaretà d element comun e dverstà d approcc, dventa dffcle ed ampamente soggettva una organzzazone logca e ddattca delle vare centnaa d test non parametrc che è possble rntraccare n letteratura. Ne test è frequentemente rsolta non sull'analoga de metod, ma sulla base del numero d campon a confronto e delle potes da verfcare. Nella presentazone de metod pù utl, test non parametrc sono sovente classfcat n 3 grupp: 1 - test per 1 campone e per campon dpendent o ndpendent, - test per k campon dpendent o ndpendent, 3 - test per l assocazone, la valutazone delle tendenze, la correlazone e la regressone. In queste dspense, dato l alto numero d metod presentat, sono stat suddvs n 1 - test per un campone; - test per due campon dpendent 3 - test per due campon ndpendent, 4 - test per pù campon dpendent o ndpendent, 5 msure d tendenza e d assocazone, 6 test per correlazone, concordanza e regressone lneare. Ad ess sono stat aggunt altr paragraf sull uso del bootstrap e del jackknfe, le tecnche pù recent quando non sa possble rcorrere alla statstca parametrca. 6

8 Tra var argoment fno ad ora dscuss, l test χ, l test G e l metodo esatto d Fsher devono essere classfcat tra test non parametrc. Sono stat trattat separatamente e prma della dscussone generale su metod, perché utl a presentare n modo semplce la procedura dell'nferenza; noltre ess sono consderat fondamental n qualsas corso anche elementare d statstca, a causa delle loro numerose applcazon nella rcerca spermentale, sa n natura sa n laboratoro. I test presentat nel terzo captolo sul χ e l test G, con esclusone d quell che s rfanno alla dstrbuzone Z, sono parte ntegrante ed essenzale della statstca non parametrca. In var cas, ess fornscono anche le procedure nferenzal, valor crtc e la dstrbuzone delle probabltà d altr test non parametrc; è l caso del test della medana, che dopo aver dvso o pù grupp a confronto n due class, rcorre al test χ o test equvalent per la stma della sgnfcatvtà. 7.. I TEST ESATTI E IL METODO MONTE CARLO Il test esatto pù noto, a volte l unco rportato su test d statstca, è l Fsher exact test, n talano chamato test delle probabltà esatte d Fsher. Proposto per la prma volta quas contemporaneamente e n modo ndpendente negl ann da Fsher, da Yates e da Irwn con artcol dfferent e n modo ndpendente, è chamato anche Fsher-Yates test o Fsher-Irwn test. Fondato sulla dstrbuzone pergeometrca, che utlzza l calcolo combnatoro, permette d stmare la probabltà d trovare per caso dstrbuzon specfche n tabelle x. Quando l campone è pccolo, queste probabltà esatte sono pù precse d quelle rcavate con la dstrbuzone normale o dalla dstrbuzone ch quadrato, che sono valde asntotcamente solo per grand campon. I tradzonal metod parametrc sono deal, se dat rspettano le assunzon sottostant test. Ma, quando l numero d cas è rdotto, quando s suddvde l campone n molt sottogrupp oppure quando l ottanta per cento o pù de cas rcadono n una sola categora, qund campon sono fortemente sblancat, test tradzonal possono fornre rsultat non corrett. Anche n quest cas, test esatt fornscono sempre l valore corretto della probabltà p, ndpendentemente dalla struttura de dat. Le probabltà esatte possono essere calcolate per l ntero spettro de problem non parametrc e categoral, sa per nsem d dat rdott sa estes. Possono essere stmate n test per un campone, due campon e k campon sa ndpendent che dpendent, n test per verfcare l trend, n test sulla bontà d adattamento, n test d ndpendenza nelle tavole d contngenza a pù dmenson e n test sulle msure d assocazone. In modo pù specfco e come sarà presentato n molt cas, test per qual programm nformatc pù mportant fornscono le probabltà esatte sono: - test esatto d Fsher e test ch quadrato d Pearson, n tabelle x e n tabelle R x C; 7

9 - test del rapporto d verosmglanza; - test d assocazon lneare; - test d McNemar; - test d Kolmogorov-Smrnov per uno e per due campon - test bnomale e quello de segn; - test d Wlcoxon per un campone; - test della medana per due e per pù campon ndpendent; - test U d Mann-Whtney e test T d Wlcoxon per due campon; - test delle successon d Wald-Wolfowtz per uno e per due campon; - test d casualzzazone o d permutazone per uno e per due campon, dpendent o ndpendent; - test d Fredman per pù campon ndpendent; - test Q d Cochran e test d Kruskall-Walls per pù campon dpendent - test d Joncheere-Terstra e test d Page per l trend; - test d correlazone non parametrca; - test d regressone non parametrca. Per calcolare le probabltà esatte d var test e per costrure gl ntervall d confdenza della tendenza centrale, metod spesso sono fondat sulla dstrbuzone bnomale e sul calcolo combnatoro, n partcolare le combnazon e le permutazon. Corrett e semplc per pccol campon, quest metod dventano napplcabl quando campon sono grand, a causa della quanttà d calcolo rchesta. Per esempo, con 30 dat l numero d permutazon è 30! =.6553 x 10 3 Anche con un computer, s pone qund l problema economco e d tempo d non elencare tutte le possbl rsposte, ma d prendere n consderazone solamente un campone casuale d esse. Il metodo utlzzato è detto Monte Carlo e consste nella scelta casuale d cas attraverso la generazone d numer random, medante l computer. La dstrbuzone delle probabltà ottenuta concde con quella rcavata su tutta la popolazone delle rsposte possbl. Altre volte, come sarà llustrato per l bootstrap e per l jackknfe, nella stma delle probabltà l fattore lmtante non è rappresentato dalle dmenson del campone, ma dalla complesstà della procedura. In questo caso, non potendo fare calcol teorc, le probabltà è rcavata attraverso un numero elevato d smulazon. S ottene rapdamente una sere ampa d dat che, trattat con metod statstc, fornscono stme che dventano tanto pù attendbl quanto pù è grande l numero delle prove fatte. Il metodo Monte-Carlo è una tecnca statstca che fu deata durante la seconda guerra mondale da 8

10 Stanslaw Ulam nell'ambto del Progetto Manhattan. Successvamente venne svluppata da Ulam stesso, John von Neumann, Enrco Ferm, Ncholas Metropols ed altr. Molt ann dopo, nel 1983, Ulam raccontò che l'dea del metodo gl era venuta nel 1946 dopo aver tentato nutlmente d calcolare teorcamente la probabltà d successo n un certo goco d carte (un dffcle soltaro). Le orgn del metodo Monte Carlo sono attrbute al gruppo d fsc che durante le seconda guerra mondale studavano le reazon del nucleo dell atomo, colpto da una partcella veloce. Esso s frantuma n molte partcelle, che vanno a colpre nucle d altr atom vcn, che a loro volta s frantumano con una reazone a catena, nella quale s lbera una gran quanttà d'energa. Il problema da rsolvere è: Il processo durerà fno a convolgere l'ntero unverso oppure s'arresterà, dopo un certo numero d reazon? Una volta ntrodott alcun parametr nzal, l fenomeno fu smulato da un calcolatore per mezzo d valor casual, trattat con metod statstc. S poté così stmare la probabltà che, dopo un certo numero d "generazon", le partcelle emesse nel corso delle reazon a catena, cessassero d generare altre partcelle. Le smulazon dettero suffcent garanze e gl esperment real furono successvamente esegut con una buona dose d tranqulltà. Fu Enrco Ferm, a detta d Emlo Segré, ad nventare l metodo Monte Carlo (senza usare questo nome), quando studava a Roma l moto de neutron all'nzo degl ann 30. Stanslaw Ulam, uno de fsc che lavoravano n questo gruppo, usò l metodo Monte Carlo nel '46. Narra egl stesso: "... L'dea del metodo Monte Carlo m è venuta gocando a carte un soltaro durante un perodo d convalescenza, nel Avevo sprecato un muccho d tempo per calcolare, senza successo, con tecnche combnatore, la probabltà d ruscta del soltaro. Pensa allora che, gocando un centnao d volte l soltaro, avre potuto stmare questa probabltà con la frequenza delle volte con cu era ruscto, aggrando così con la pratca l pensero astratto. Questo metodo era orma possble, vsto l'avvento de calcolator veloc. Era ovvo pensare anche a soluzon sml per problem legat alla dffusone de neutron o d fsca matematca e, pù n generale, a come scambare process descrtt da certe equazon dfferenzal con un modello equvalente nterpretable come successone d operazon aleatore. In seguto descrss l'dea a John von Neumann (l responsable scentfco del progetto della bomba atomca) e comncammo a realzzare ver e propr calcol matematc al rguardo." Il progetto che fu presentato per un fnanzamento su queste rcerche teorche fu chamato Monte Carlo. Da qu l nome, che ntutvamente rmanda a Monte Carlo come sede nota d un casnò. Sono tant orma camp n cu s utlzzano metod statstc per ottenere nformazon e stme su fenomen legat al caso. Non occorre che dat sano raccolt durante un espermento reale n cu tal fenomen avvengono. Cò potrebbe rchedere troppo tempo e, n ogn caso, non sempre la natura fornsce stuazon spermental. 9

11 I dat possono allora provenre da smulazon fatte per mezzo d un computer, n grado d generare sequenze d numer casual. Esse sono qund utlzzate per smulare per mglaa d volte l fenomeno aleatoro, raccoglendo così rapdamente una sere d dat che, trattat con metod statstc, fornscono stme che dventano tanto pù attendbl quanto pù è grande l numero delle prove fatte. Molt camp della rcerca teorca e applcata usano orma questo metodo, reso facle dalla veloctà de computer, con la costruzone d algortm adeguat che possono prendere n consderazone contemporaneamente molte varabl, ognuna generata con l metodo Monte Carlo. In matematca, per la soluzone d problem compless, che vanno dal calcolo combnatoro agl ntegral. In ngegnera, per analzzare rapdamente effett e anomale possbl nella fusone alle alte temperature. In bologa, per l anals delle sequenze e per smulare process d evoluzone naturale. In nformatca, quas tutt goch con l computer IL TEST DELLE SUCCESSIONI PER UN CAMPIONE Quando s dspone d un solo campone, quest d nferenza statstca che rcorrono con maggor frequenza rguardano la verfca d un accordo della dstrbuzone osservata con una dstrbuzone teorca od attesa. E quanto gà dscusso nel captolo III, n cu la dstrbuzone attesa può essere stmata sulla base d qualsas legge matematca, statstca o bologca. Un secondo gruppo mportante d nferenze applcate ad un campone rguarda la verfca della tendenza centrale n una dstrbuzone smmetrca, sa ntorno allo zero che a qualsas altro valore. Come gà presentato ne captol precedent d statstca parametrca, sono utlzzat l test Z o l test t, n rapporto al fatto che s conosca la varanza della popolazone o che s debba rcorrere a quella camponara come sua stma mglore. Quando la dstrbuzone non è normale o l tpo d scala è ordnale, s può rcorrere a test presentat ne captol successv. Prma d ess è tuttava mportante dscutere l test delle successon, n quanto non ha l equvalente n statstca parametrca ed è utle n vare crcostanze. Il test delle successon per un campone o per rsposte alternatve (Run test wth two attrbutes), gà llustrato da J. V. Bradley nel suo testo d Statstca non parametrca del 1968 (nttolato Dstrbutonfree Statstcal Test, edto da Englewood Clffs, NJ: Prentce Hall), è utlzzato nel caso d osservazon raccolte n una successone temporale o n una successone geografca, a partre da un punto orgne. Permette d saggare se, n rfermento all'ordne, alla sequenza, alla successone (run) o sere (termn snonm), dat del campone sono casual. E' un questo che nella rcerca spermentale s pone spesso, sa n laboratoro che n natura: verfcare se rsultat postv e negatv, valor alt e bass d una sere temporale d osservazon oppure due categore d event alternatv s succedono nel tempo o nello spazo con casualtà. Infatt ess 10

12 potrebbero non essere casual, ma aggregars o alternars con regolartà prevedble, come può avvenre ne fenomen cclc. L'mportanza del test per l anals delle successon derva anche dall essere prvo d alternatve: non esstono test analogh nella statstca parametrca. Il test può essere applcato per dat bnar, tpc d un processo bnomale. Può anche essere esteso a dat contnu, msurat con scale d'ntervall o d rapport, ma solo dopo trasformazone n rsposte bnare. Ad esempo, con msure contnue s ottene una dstrbuzone bnomale (valor alt e valor bass), medante l confronto d ogn sngola msura con un valore stmato o prefssato, come la medana o un qualsas valore sogla. Per charre pù computamente concett relatv alla successone d event casual e a cas n cu questo test può essere applcato, è utle un esempo. S supponga d lancare una moneta 15 volte e che s ottenga 8 volte testa (T) e 7 volte croce (C), con la seguente sere temporale T C T C T C T C T C T C T C T E' evdente la sua non casualtà, che s rfersce non al numero d T e d C, la cu probabltà può essere calcolata con l test bnomale, ma al regolare alternars degl event. Parment non casuale sarebbe stata una sere, dentca come numero d dat alternatv T (8) e C (7), ma n sequenza dfferente, T T T T T T T T C C C C C C C che concentra nella prma parte tutt gl event d un tpo e nella seconda quell dell'altro tpo. La verfca degl effett sstematc o perodc è fondata sul conteggo delle successon, defnte come l numero d smbol dentc precedut o segut da smbol dfferent o da nessun smbolo. Nel prmo caso dell esempo, l numero delle successon è T C T C T C T C T C T C T C T , come l numero d osservazon che ne rappresenta l valore massmo; nel secondo caso è TTTTTTTT 1 C CCCCCC 11

13 solamente, come l numero d event alternatv e che rappresenta l numero mnmo. E' ntutvo che la successone de 15 lanc della moneta non può essere rtenuta casuale, n nessuno de due cas teorc presentat. E evdente una legge dell alternanza nel prmo caso e d concentrazone nel secondo, che permettono d ndovnare con facltà l rsultato d eventual lanc successv. Ess rappresentano due cas estrem d tutt mod, n cu è possble dsporre gl element de due grupp. In un gruppo d N oggett d cu n 1 d tpo 1 e n d tpo s hanno N! n 1! n! possbl dfferent ordn dfferent. Nell esempo precedente con N = 15, n 1 = 8 e n = 7 sono 15! = !7! 6435 ordn dfferent. Ognuno d ess è caratterzzato da un numero specfco d successon, che n totale hanno una dstrbuzone approssmatvamente o asntotcamente normale, per campon suffcentemente grand. Un campone può ragonevolmente essere rtenuto casuale solamente quando l numero delle successon non è né troppo grande né troppo pccolo. Per essere casuale, l numero d successon deve tendere ad una frequenza meda ( µ ), che dpende dal numero de due event alternatv; essa può essere calcolata con la formula r n n µ r = N dove - µ r è la meda artmetca attesa delle successon, - n 1 è l numero d event d un tpo, - n è l numero d event dell'altro tpo, - N è l numero totale d dat od osservazon ( N= n + n ) 1. Applcata sempre allo stesso esempo teorco, con N = 15, n 1 = 8 e n = 7, la meda stmata o attesa (µ r ) del numero d successon (runs), nell potes che H 0 (dstrbuzone casuale d T e C) sa vera µ r = = = 8,

14 è uguale a 8,46. In questo modo, l questo sulla casualtà delle successon è trasformato nel problema d verfcare se l numero d successon contato nella sere spermentale d dat (15 o ) sa sgnfcatvamente dfferente dal valore medo atteso (8,46). Nella condzone che l'potes nulla H 0 sa vera (totale casualtà degl event nella loro successone temporale), la dfferenza tra l numero d successon osservate e l numero atteso segue una dstrbuzone approssmatvamente normale, quando le dmenson de due campon sono grand. La probabltà relatva può essere calcolata medante R µ r Z = σ dove - R è l numero d successon (Runs) osservate, - µ r è la meda attesa d successon, nella condzone che l'potes nulla H 0 sa vera, - σ r è la devazone standard della meda e può essere calcolata da r n1 n ( n1 n N) σ r = N ( N 1) sulla base - del numero d dat n 1 e n de due event alternatv e - del numero totale N d osservazon. Nell uso d questo test, l potes che rcorre con frequenza maggore rguarda un numero troppo rdotto d successon. Nella rcerca etologca può essere, n anmal a struttura socale d tpo gerarchco, la modaltà d accesso al cbo d ndvdu appartenent a due lvell socal dvers o la precedenza degl anzan rspetto a govan. Nella rcerca ambentale, è l caso della successone d depost geologc n una sezone, della quale s ntenda verfcare la non casualtà de dfferent strat rsalent a due tpologe dverse. Per pccol campon (n 1 e n < 0), la dstrbuzone delle probabltà è dstorta rspetto a quella normale. In tal condzon, la sgnfcatvtà deve essere fornta da tabelle che rportano le frequenze crtche mnme e massme. Nelle due pagne precedent sono state rportate quattro tabelle: le prme due per test blateral, le altre due per test unlateral. 13

15 TAVOLA DEI VALORI CRITICI NEL TEST DELLE SUCCESSIONI ALLA PROBABILITA 0.05 PER TEST A DUE CODE La tabella superore rporta valor mnm e quella nferore valor massm sgnfcatv. n n n n

16 TAVOLA DEI VALORI CRITICI NEL TEST DELLE SUCCESSIONI ALLA PROBABILITA 0.05 e 0.01 PER TEST A UNA CODA Le tabelle rportano valor mnm sgnfcatv. E sgnfcatvo ogn numero d successon mnore od uguale a quello rportato nella tabella. α = 0.05 n n α = 0.01 n n

17 Le prme due tabelle fornscono valor crtc del numero d successon mnmo e massmo alla probabltà α = 0.05; le due tabelle sono smmetrche, per cu è ndfferente l dentfcazone n n 1 o n del numero d osservazon d uno qualsas de due grupp. Nella tabella superore, è rportato l valore mnmo sgnfcatvo: permette d rfutare l potes nulla, con qualsas valore uguale o mnore d quello rportato. Qualunque valore osservato (R) che sa uguale o mnore a quello rportato ha una probabltà α 0.05 d verfcars, nell'potes che H 0 sa vera. Nella tabella nferore, è rportato l valore massmo sgnfcatvo: permette d rfutare l potes nulla, con qualsas valore uguale o superore a quello rportato. Qualunque valore osservato (R) che sa eguale o maggore d quello rportato corrsponde a una probabltà α 0.05 d essere casuale. Con dat dell esempo (n 1 = 8 e n = 7), - l valore mnmo, rportato nella tabella superore, è 4; - l valore massmo, rportato nella tabella nferore, è 13. In un test blaterale, sarebbero qund sgnfcatv valor ugual od nferor a 4 e ugual o superor a 13: due valor ( e 15) del numero d successon osservate nell esempo con l lanco delle monete permettono d rfutare l potes nulla. Quando l numero d successon è compreso nell'ntervallo fra la frequenza mnma e quella massma rportate della tabella, con esclusone de valor rportat, non s è nelle condzon d rfutare l'potes nulla H 0 : la sequenza de due event può essere rtenuta casuale. Le altre due tabelle fornscono valor crtc per test ad una coda, al fne d verfcare se l numero d successon osservato sa mnore d quello casuale, atteso nella condzone che H 0 sa vera (H 1 : R < µ r ). La tabella superore rporta valor crtc alla probabltà α = 0.05 e la tabella nferore valor crtc alla probabltà α = A dfferenza delle due precedent, queste due tabelle non sono smmetrche: - n 1 è l numero d osservazon del campone maggore ed - n dentfca l numero d osservazon del campone mnore. Per grand campon (n 1 o n > 0) non eccessvamente sblancat, la dstrbuzone delle successon tende ad essere asntotcamente normale. I valor crtc sono pertanto fornt dalla tabella della dstrbuzone normale standardzzata. I valor crtc alla probabltà α = 0.05 sono rspettvamente - 1,96 per un test blaterale (α = 0.05 nelle due code della dstrbuzone) e - 1,645 per un test unlaterale (α = 0.05 n una sola coda della dstrbuzone). 16

18 Alla probabltà α = 0.01 sono rspettvamente -,576 per un test blaterale (α = nelle due code della dstrbuzone) e -,33 per un test unlaterale (α = 0.01 n una sola coda della dstrbuzone). ESEMPIO 1. In laboratoro d anals delle sostanze nqunant oleose, s ha l tmore che lo strumento d anals non sa corretto; s teme che, sporcandos con una concentrazone alta, nfluenz quella successva. Sono stat msurat n successone 16 campon d acqua contenent una sostanza oleosa e sono stat ottenut seguent valor d concentrazone, espress n mg per ltro: Sulla base de dat raccolt, s può affermare alla probabltà α = 0.05 che lo strumento non sa corretto? Rsposta. Occorre dapprma classfcare valor n due categore: bass (-) e alt (+). E una trasformazone possble medante l confronto con la medana (uguale a 51 nella sere de dat raccolt), per cu due grupp avranno un numero uguale d osservazon basse e alte (8- e 8+). La sequenza delle rsposte, tradotte n valor bass (-) e alt (+), dventa e rsulta formata da 4 successon. Sulla base dell'potes formulata, è un test ad una coda: s tratta nfatt d verfcare se esste trascnamento dell nformazone e qund se l numero d successon sa sgnfcatvamente nferore al valore atteso, nell potes d totale casualtà degl event come dovrebbe succedere con uno strumento corretto. Secondo l'potes nulla Η 0 : R = µ r l numero medo d successon osservate (R) non s dscosta n modo sgnfcatvo da quello atteso, mentre secondo l potes alternatva unlaterale 17

19 essa è sgnfcatvamente mnore. Η 1 : R < µ r Con n 1 = 8 e n = 8, tale meda attesa µ r rsulta uguale a µ r = + 1= 9 16 Per verfcare l'potes sulla casualtà della sequenza delle anals, occorre qund rsolvere l problema statstco d conoscere la probabltà d trovare 4 successon o un valore nferore, quando la meda attesa è 9. La tavola de valor crtc nferor per un test ad una coda, per n 1 = 8 e n = 8 alla probabltà α = 0.05 rporta la frequenza d 5, che è maggore del valore d R (4) osservato. E un valore sgnfcatvo alla probabltà α = D conseguenza, con una probabltà d errare mnore d 0.05, s rfuta l'potes nulla d una casualtà del numero d successon osservate e s accetta l'potes alternatva: lo strumento non è precso, ma rsente del valore d concentrazone dell ultmo campone. ESEMPIO. S vuole verfcare se n un gruppo d anmal l accesso al cbo avvenga n modo casuale oppure sa possble potzzare un ordne dfferente: un alternars quas regolare tra masch e femmne secondo lo stato socale delle coppe oppure a grupp dello stesso sesso. Un gruppo d 30 (N) anmal n cattvtà con un organzzazone socale a struttura gerarchca, composto da 17 (n 1 ) femmne e 13 (n ) masch adult, deve percorrere uno stretto corrdoo per accedere al cbo. L'ordne osservato d accesso al cbo, classfcato per sesso, è stato: MFFMFFFMMMFMFMFFFFFMMMFMMMFFFF L ordne può essere defnto casuale? Rsposta. Dopo aver contato l numero d successon (R) (gà defnte come l numero d smbol dentc precedut o segut da smbol dfferent o da nessun smbolo) 18

20 M FF M FFF MMM F M F M FFFFF MMM F MMM FFFF e che rsulta uguale a 14, aver defnto N (30), n 1 (17) e n (13), s deve calcolare la meda attesa, nella condzone che H 0 sa vera. Dalla formula generale n n µ r = N s stma una meda attesa 1713 µ r = + 1= 1573, 30 uguale a 15,73. L potes nulla è Η 0 : R = µ r ossa che l numero medo d successon osservate (R = 14) non s dscost n modo sgnfcatvo da quello atteso (15,73), mentre l potes alternatva blaterale è che esso dffersca n modo non casuale. Η 1 : R µ r Il numero osservato d successon (R = 14) è nferore alla meda attesa ( µ r = 15, 73). V è qund una tendenza a spostars n grupp dello stesso sesso. S tratta d valutare se tale dfferenza tra numero osservato e meda attesa sa sgnfcatva. Il test è blaterale, n quanto a pror non s ntendeva verfcare una teora precsa, ma solo evdenzare l comportamento degl ndvdu esamnat. Per grupp, d 17 e 13 dat rspettvamente, alla probabltà α = 0.05 nelle due tabelle snottche l valore crtco nferore è 10 ed l valore crtco superore è. Il numero d successon osservato (R = 14) è compreso n questo ntervallo: s accetta l'potes nulla. In rfermento al sesso, l'accesso al cbo è avvenuto n ordne casuale. Il numero d osservazon (17 e 13) è abbastanza alto e relatvamente blancato, tale da permettere l rcorso alla dstrbuzone normale, al fne d stmare una probabltà pù precsa d quella fornta dalla tabella attraverso valor crtc. 19

21 Dopo aver calcolato l numero d successon osservato (R = 14) e la meda attesa ( µ r = 15,73) nell potes che H 0 sa vera, attraverso la formula generale s stma la devazone standard che, con dat dell esempo, σ r = rsulta uguale a,64. ( ) n1 n n1 n N σ r = N ( N 1) ( ) 30 ( 30 1) Attraverso R (14), µ R (15,73) e σ R (,64) s stma l valore d Z che = R µ r Z = σ r = 6, 977 =, ,73 Z = = 0,6553,64 fornsce un valore approssmato d 0,66. Nella tavola della dstrbuzone normale standardzzata, esso è assocato a una probabltà (P) uguale a per un test blaterale. E una probabltà molto alta (50,9%), ndcatva d una elevata casualtà del numero d successon osservato nell espermento. S accetta l potes nulla: anz, con una probabltà P così alta, s può affermare che l potes nulla è dmostrata (anche se n teora l potes nulla è solo rfutata o non rfutata, ma dmostrata). ESEMPIO 3. S rtene mportante verfcare se aument e dmnuzon nel tasso medo d nqunamento gornalero avvengono casualmente (H 0 ) oppure se esstono perod d pù gorn con una sere contnua d valor con la stessa tendenza (H 1 ). Per un perodo d 50 gorn contnuatv, è stata fatta una rlevazone meda del tasso d nqunamento atmosferco. S è anche annotato costantemente se l valore era aumentato o dmnuto, rspetto al gorno precedente. S è osservato che n 34 cas era aumentato (+) ed n 16 era dmnuto (-), con la sequenza rportata nella tabella sottostante:

22 Qual ndcazon è possble dedurre? Rsposta. E' un test ad una coda: s chede d verfcare se le successon osservate (R = 16) sono n numero sgnfcatvamente mnore dell atteso, se fosse vera l potes d pura casualtà de valor d nqunamento. Il numero d osservazon è suffcentemente alto (N = 50; n 1 = 16; n = 34) da permettere l rcorso alla dstrbuzone normale standardzzata. Secondo l'potes nulla, l numero medo atteso (µ r ) è 1634 µ r = + 1=, uguale a,76 e la devazone standard (σ r ) è ( ) σ r = = 3, ( 50 1) uguale a 3,036. La probabltà d trovare per caso dfferenze ugual o superor a quella rscontrata tra numero d successon osservate (R = 16) ed attese (µ r =,76) è fornta dalla dstrbuzone normale standardzzata (Z) 16,76 Z = =,6 3,036 l cu valore è uguale a -,6. Nell area d coda unlaterale, a tale valore (arrotondato a,3) è assocata una probabltà uguale a o 1,87%. La probabltà che l numero d successon osservate sa casuale è molto pccola, nettamente nferore a 0.05 scelta abtualmente come probabltà crtca. S rfuta l'potes nulla e s accetta l'potes alternatva: gorn d aumento e d dmnuzone de valor d nqunamento atmosferco non s alternano casualmente, ma tendono a concentrars n sere temporal d pù gorn TEST DEI SEGNI PER UN CAMPIONE Il test de segn (the sgn test) per un campone è l test non parametrco pù semplce per la verfca d potes sulla tendenza centrale; è l equvalente non parametrco del test t d Student per un campone. Al posto dell potes nulla 1

23 H 0 : µ = µ 0 contro l potes alternatva blaterale H 1 : µ µ 0 l test de segn come msura d tendenza centrale utlzza la medana, sa nella metodologa, sa nell potes nulla. Qund n test blateral verfca contro l alternatva blaterale H 0 : me = me 0 H 1 : me me 0 Nel caso d test unlateral, mentre nel test t d Student s verfca H 0 : µ µ 0 contro H 1 : µ > µ 0 oppure nel test de segn s verfca H 0 : µ µ 0 contro H 1 : µ > µ 0 H 0 : me me 0 contro H 1 : me > me 0 oppure H 0 : me me 0 contro H 1 : me > me 0 (In alcun test, l potes nulla è sempre rportata come H 0 : me = me 0, anche ne test unlateral). La dfferenza fondamentale tra l test t e l test de segn consste nel fatto che l prmo utlzza la dstrbuzone t d Student mentre l secondo s avvale della dstrbuzone bnomale, bene approssmata dalla dstrbuzone normale nel caso d grand campon. Il test de segn rappresenta una delle procedure pù antche nella statstca nferenzale. E stato utlzzato gà ne prm ann del 1700 da Arbuthnot, per verfcare se a Londra l rapporto fra masch e femmne alla nascta superava l valore d 0,5. In temp pù recent, ma sempre nelle fas nzal della statstca moderna, è stato rproposto da Sr R. A. Fsher nel suo testo Statstcal methods for research workers del 195. Da qu l nome, n alcun test, d Fsher s sgn test. Nella rcerca sul campo ed n laboratoro, è frequente l caso n cu non tutt dat hanno la stessa precsone o attendbltà. Nelle msure strumental, quas sempre s valutano correttamente quanttà ntorno alla meda; ma sovente non s resce a determnare valor troppo pccol, che vengono ndcat con mnore d X, e/o valor molto grand, fuor scala ndcat con maggore d Y. La sere de dat rporta quanttà ntorno alla tendenza centrale, che possono essere ordnat ed altr agl estrem con molte sovrapposzon. Ad esempo, dsponendo d un campone d N (1) osservazon gà ordnate n modo crescente,

24 <1 < >0 può sorgere l problema d valutare se la medana (me) sa sgnfcatvamente mnore d un valore d confronto, ndcato nel caso n 15 (me 0 ). E un test unlaterale, dove l potes nulla è e l potes alternatva è H 0 : me me 0 H 1 : me < me 0 La procedura del test de segn per un campone è semplce: - s confronta ogn punteggo con l valore d paragone (15), trasformando n segn negatv puntegg nferor ed n segn postv quell maggor, ottenendo s contano segn negatv (10) ed segn postv (); la scala utlzzata dovrebbe essere contnua e qund non dovrebbero esstere valor ugual a quello d confronto, che danno una dfferenza d 0 da esso; qualora esstessero, le dfferenze ugual a 0 devono essere gnorate, con una par rduzone delle dmenson N del campone; - se fosse vera l potes nulla, segn negatv e quell postv dovrebbero essere approssmatvamente ugual, con dfferenze mputabl alla casualtà; s scegle uno de due valor, d solto quello mnore (): se è vera l potes nulla, dovrebbe non dscostars troppo da N/, corrspondente a 6 con dat dell esempo; - con la dstrbuzone bnomale, C r N p r q N r nella quale N = 1 r = p = q = 1/ s stma la probabltà d trovare la dstrbuzone osservata e quelle pù estreme nella stessa drezone (qund per r che vara da a 0); per evtare tant calcol s può rcorrere a tabelle che gà fornscono le probabltà cumulate, per p = 1/, con N e r che varano fno a 0 (rportata nella pagna successva); 3

25 PROBABILITA CUMULATE DELLA DISTRIBUZIONE BINOMIALE C r N p r q N r N = numero d osservazon r = numero mnore tra segn postv e negatv N R

26 - applcando la dstrbuzone bnomale, s somma la probabltà relatva alla dstrbuzone osservata (r = ) con quelle pù estreme nella stessa drezone; se nseme determnano un valore nferore alla probabltà α prefssata (d solto 0.05 quando s dspone d campon pccol), s può rfutare l potes nulla n un test unlaterale. Con dat dell esempo, N = 1 e r =, la tabella rporta una probabltà uguale a 0.019, corrspondente a 1,9% quando espressa n percentuale. Questo rsultato sgnfca che, se fosse vera l potes nulla, s ha una probabltà par a 1,9% d trovare per caso una rsposta uguale a quella trovata o ancor pù estrema. E una probabltà pccola, nferore a 5%; d conseguenza, s rfuta l potes nulla ed mplctamente s accetta quella alternatva, con la stessa probabltà d commettere un errore d I Tpo - Per un test blaterale, e qund con potes nulla contro l potes alternatva H 0 : me = me 0 H 1 : me me 0 poché la dstrbuzone bnomale è smmetrca quando p = 1/ come atteso nell potes nulla, s deve moltplcare la probabltà calcolata per : s rfuta l potes nulla, quando questo ultmo valore è nferore alla probabltà α prefssata. Con dat dell esempo, l potes blaterale ha una probabltà par a 3,8% (1,9 x ); d conseguenza anche n questo caso s rfuta l potes nulla, ovvamente con una probabltà d errare par a 3,8%. Per N > 1 la dstrbuzone bnomale è gà rtenuta suffcentemente grande per essere gudcata come approssmatvamente normale; altr autor, pù rgoros, spostano questo lmte a N > 0 osservazon. Per una dstrbuzone asntotcamente normale, s utlzza la dstrbuzone Z X µ Z = σ n cu - X è l numero d segn postv oppure negatv (d solto, n molt test vene consglato d sceglere l numero mnore, per motv pratc, collegat alla tabella delle probabltà), - µ è l numero atteso del segno prescelto ed è uguale a N/ (con N = numero d osservazon), σ è uguale a N p q = N = N 4 5