UNIVERSITÀ DEGLI STUDI DI PADOVA

Transcript

1 UNIVERSITÀ DEGLI STUDI DI PADOVA FACOLTÀ DI SCIENZE STATISTICHE CORSO DI LAUREA IN STATISTICA E TECNOLOGIE INFORMATICHE RELAZIONE FINALE Indic di accordo tra valutazioni: la Kappa di Cohn Rlator: Prof. Fortunato Psarin Firma Laurando: Gianluca Toffolo ANNO ACCADEMICO 008/009

2

3 INDICE INTRODUZIONE 4 CAPITOLO. ANALISI DELLE FREQUENZE 6. Confronto tra distribuzion ossrvat distribuzion atts 6. Condizioni di validità dl χ 8 CAPITOLO. TABELLE DI CONTINGENZA 9.. L tabll di contingnza x 9.. Confronti tra frqunz rlativ con la distribuzion normal.3. Confronto di una proporzion ossrvata con una attsa: il tst Z pr grandi campioni la distribuzion binomial pr piccoli campioni 4.4. Tabll di contingnza x in piccoli campioni: il mtodo satto di Fishr 5.5. L tabll xn con la formula gnral di Brandt-Sndcor. L tabll MxN 7.6. Classificazion di cofficinti d associazion o d indipndnza CAPITOLO 3. LA KAPPA DI COHEN Stima dll accordo (agrmnt) tra du valutatori con scala nominal Esmpio Esmpio 36 CONCLUSIONI 38 TAVOLA DEI FATTORIALI 39 BIBLIOGRAFIA 4 RINGRAZIAMENTI 4 3

4 INTRODUZIONE Il modo in cui vin ffttuata la misurazion qualifica nl complsso l'attività di valutazion: s si appoggia ad un apprzzamnto intuitivo dll prstazioni, vin dtta intuitiva; s invc opra pr ridurr l variabili soggttiv si può allora parlar di valutazion oggttiva. Comunqu è impossibil parlar di valutazion oggttiva in assoluto, prché l contaminazioni soggttiv sistono s non altro a livllo di dtrminazion di critri di misura. Pr misurar occorr uno strumnto adatto allo scopo quindi bisogna intndrsi sul conctto di misura. Prché una misura sia tal, bisogna ch sia il risultato dl confronto di un dato ossrvato con una posizion idntificabil su una scala; prtanto l'oprazion prliminar alla misurazion vra propria è l'splicitazion dlla scala di cui ci si srv. Il mio studio è atto all analisi di dati utilizzando un indic di accordo tra valutazioni: Kappa di Cohn, ch si applica a variabili nominali, volndo a ordinali, (qualitativa quantitativa), pr l quali prd pr intro la nozion di distanza, quindi sottopsa l distanz grandi sovrapsa qull piccol. Una misura più psa, più psa nl disagrmnt. Nl primo capitolo ho dscritto l analisi dll frqunz, spcificando il tst χ ch risulta particolarmnt util nlla fas inizial dll analisi statistica, quando si ricrcano l variabili più significativ l rlazioni di associazion tra ss la validità dl tst χ. Nl scondo capitolo l misur di associazion fondat sul valor dl χ, ricavato da una tablla di contingnza di dimnsioni minim x oppur di dimnsioni gnrich M x N, i confronto di una proporzion ossrvata con una attsa, il mtodo satto di Fishr pr piccoli campioni analisi pr grandi campioni; utili pr comprndr gli sviluppi infrnziali dl Kappa di Cohn. Nl trzo capitolo darò una dfinizion dll indic Kappa di Cohn trattando i vari contnuti ch gnrano qusto tipo di indic di accordo tra valutazioni, gnralmnt ritnuto una misura di concordanza pr dati dicotomici. Esso è stato originariamnt concpito com una misura tra ratrs accordo, pr la valutazion dll scal psicomtrich, ma srv anch pr la prsnza/assnza di dati microbiologici pr l'sam di potabilità cc. Una volta acquisiti di dati di natura campionaria può sorgr il problma 4

5 di procdr alla vrifica d ipotsi pr valutar s i du valutatori sono in accordo statisticamnt significativo o mno. Di sguito ho illustrato alcuni srcizi pr il calcolo dll indic Kappa di Cohn il significato dll concordanza casual. 5

6 . ANALISI DELLE FREQUENZE. CONFRONTO TRA DISTRIBUZIONE OSSERVATE E DISTRIBUZIONI ATTESE Nlla pratica sprimntal, è frqunt la ncssità di vrificar s sist accordo tra una distribuzion ossrvata la corrispondnt distribuzion attsa o torica. Il tst vin dfinito tst pr la bontà dll adattamnto. Sia pr dati qualitativi ch possono ssr classificati in catgori nominali, sia pr dati quantitativi distribuiti in classi di frqunza. È lo scopo pr il qual è stato proposto il tst χ (chi-quadro o chi- quadrato). È uno di mtodi non paramtrici, con i quali è possibil stabilir s una sri di dati, raccolti in natura od in laboratorio, è in accordo con una spcifica ipotsi sulla loro distribuzion o sulla loro frqunza rlativa pr classi. Il tst χ srv anch pr il confronto tra o più distribuzioni ossrvat. Il suo uso più frqunt è pr la vrifica dll associazion tra l vari modalità di du o più carattri qualitativi. Risulta particolarmnt util nlla fas inizial dll analisi statistica, quando si ricrcano l variabili più significativ l rlazioni di associazion tra ss. La prima assrzion, qulla dlla casualità dll vnto, è chiamata ipotsi nulla vin indicata con H 0. La sconda, qulla dll sistnza di una diffrnza ral anch s l caus sono ignot, è chiamata ipotsi altrnativa vin indicata con H. La sclta tra l du ipotsi avvin sulla bas dlla probabilità stimata con il tst. Essa è la probabilità di trovar pr caso la distribuzion ossrvata o una distribuzion ch si allontani ancor più da qulla attsa, nlla condizion ch l ipotsi nulla sia vra. S la probabilità calcolata è piccola, la logica dll infrnza statistica rifiuta l ipotsi nulla, accttando implicitamnt l ipotsi altrnativa. Pr affrontar qusto problma di infrnza statistica, è possibil ricorrr al tst (chi-quadrato), proposto da Parson nl χ ( g. d. l.) Con qusto tst, l ipotsi sono sulla distribuzion di tassi proporzioni, ma pr la stima dlla probabilità utilizza l frqunz assolut, scondo la formula dov: - oss f i ( g. d. l.) frqunza ossrvata i-sima; χ n i ( f oss i f f att i att i )

7 - att f i frqunza attsa i-sima; - g.d.l. numro di gruppi (n) mno uno (gdl n-); - la sommatoria Σ è stsa a tutti gli n gruppi. La distribuzion dlla dnsità di probabilità dl χ ( g. d. l. ) dipnd dai suoi gradi di librtà, abbrviati in g.d.l.. Contggiati nl calcolo dll frqunz atts, pr dfinizion i gradi di librtà sono il numro di classi ch rstano indipndnti, conoscndo il numro total di dati. Il numro di g.d.l. corrispond al numro di ossrvazioni indipndnti al numro di gruppi mno uno. Ma quando tra n variabili casuali sussistono vincoli linari, cioè rlazioni ch riducono il numro di ossrvazioni indipndnti, i gradi di librtà dl corrispondnt χ diminuiscono di un numro pari a. Scondo uno schma valido pr tutti i tst statistici, il procdimnto logico ch dv ssr sguito nll applicazion dl riassunt in 7 passaggi: χ comprnd divrs fasi, ch possono ssr - stabilir l ipotsi nulla ( H 0 ) l vntual ipotsi altrnativa ( H ); - scglir il tst più appropriato pr saggiar l ipotsi nulla H 0, scondo l finalità dlla ricrca l carattristich statistich di dati; 3 - spcificar il livllo di significatività (indicato con α), l ampizza dl campion i gradi di librtà; 4 - trovar la distribuzion di campionamnto dl tst statistico nll ipotsi nulla H 0, di norma fornita da tabll; 5 - stabilir la zona di rifiuto (ch ngli srcizi di norma sarà prfissata al 5% indicato con la simbologia α 0.05 ); 6 - calcolar il valor dl tst statistico sulla bas di dati sprimntali, stimando la probabilità P ad sso associata; 7 - sulla bas dlla probabilità, trarr l conclusioni: - s la probabilità P calcolata risulta suprior a qulla α prfissata, concludr ch non è possibil rifiutar l ipotsi nulla H 0 ; - s la probabilità P calcolata risulta infrior a qulla α prfissata, rifiutar l ipotsi nulla quindi implicitamnt accttar l ipotsi altrnativa H. 7

8 Pr la comprnsion dll infrnza statistica con il tst chi quadrato, è util ricordar ch quanto più l diffrnz tra ossrvato d attso sono grandi, tanto più il valor dl χ sarà lvato. Quindi, la probabilità ch tali diffrnz siano dovut solo al caso sarà bassa si rifiutrà l ipotsi nulla, accttando implicitamnt l ipotsi altrnativa H. Al contrario, quando l diffrnz tra ossrvato d attso sono ridott, ugualmnt basso sarà il valor dl χ ; Prtanto, sarà lvata la probabilità ch ss siano imputabili sclusivamnt al caso si accttrà l ipotsi nulla H 0... CONDIZIONI DI VALIDITA DEL χ Fissata la probabilità, il valor critico dl chi quadrato è totalmnt dtrminato dai suoi gradi di librtà quindi dal numro di gruppi. Appar logico pnsar ch il risultato sia tanto più attndibil quanto più lvato è il numro di ossrvazioni nll sprimnto. Nl tst χ il numro di ossrvazioni, sia in total ch ntro ogni class, dtrmina la condizion ssnzial di validità. Il χ è valido solamnt quando è applicato a grandi campioni. Dfinito il principio, sotto l asptto pratico sist scarsa concordanza su quando un campion possa ssr univrsalmnt ritnuto di grandi dimnsioni. Si possono formar classi di crdibilità o validità dl tst. - Il tst è valido quando il numro total di ossrvazioni è suprior a 00; - Il tst prd ogni attndibilità quando il numro di ossrvazioni è infrior a 30. Il motivo è ch, con così pochi dati, l variazioni casuali divntano così ampi da non potr mai rifiutar l ipotsi nulla con una probabilità ragionvolmnt bassa, pr quanto distanti possano ssr l frqunz ossrvat qull atts. A qusta condizion sul numro total di dati è ncssario aggiungrn una sconda: - il numro di frqunz atts ntro ogni class non dv ssr minor di 5. È quindi util ricordar ch, quando ha un numro abbastanza alto di gradi di librtà, il chi quadrato è mno snsibil agli rrori dtrminati da frqunz atts piccol. 8

9 . LE TABELLE DI CONTINGENZA.. LE TABELLE DI CONTINGENZA X Quando si confrontano l frqunz di rispost binari in du campioni indipndnti, è util costruir una tablla a doppia ntrata, chiamata tablla di contingnza. Pr ognuno di du gruppi, dv ssr riportato il contggio di rispost binari, quali il numro di succssi qullo di insuccssi oppur di qulli ch prsntano la carattristica X di qulla altrnativa Y. Il tst chi quadrato prmtt di vrificar s l proporzioni di succssi di insuccssi ni du gruppi sono indipndnti dal trattamnto al qual sono sottoposti oppur s sist associazion tra ssi. Pr smpio, si supponga di volr vrificar s vivr in una zona ad alto inquinamnto atmosfrico incid sulla frqunza di malatti polmonari. A qusto scopo, in una zona con tassi lvati d inquinamnto in una con livlli molto bassi, sono stati analizzati alcun dcin d individui rsidnti da alcuni anni, contando quanti sono coloro ch prsntano malatti polmonari. DISTRIBUZIONE OSSERVATA IN TABELLA X Con malatti Snza malatti Total Alto inquinamnto 3 a 48 b 80 n Basso inquinamnto 3 c 57 d 70 n Total 45 n3 05 n4 50 N Ni tsti di statistica, non sist uniformità su com costruir la tablla. La convnzion qui sguita è qulla proposta da H. Zisl, ch riporta - l du modalità dlla variabil casual sull righ; - l du modalità dlla variabil fftto sull colonn. Il tst chi quadrato utilizza i casi ffttivamnt contati, non l frqunz rlativ o prcntuali, anch s su di ss vngono formulat l ipotsi. Un altra convzion, in qusto caso gnralmnt sguita, suggrisc di indicar l frqunz riportat in ognuna dll 4 cll con l lttr minuscol a, b, c, d, (con la disposizion utilizzata nlla tablla prcdnt). Il total gnral di dati è indicato con la lttra maiuscola N. 9

10 Pr comprndr la procdura dl chi quadrato in tabll x, è bn sguir alcuni passaggi logici. - S foss vra l ipotsi nulla ( H 0 : vivr in una zona ad alto inquinamnto atmosfrico non cambia la frqunza di malatti polmonari, risptto ad una zona a basso inquinamnto), la frqunza rlativa di prson con malatti polmonari ni gruppi a confronto sarbb ugual; l diffrnz riscontrat sarbbro da intrprtar com variazioni casuali. - La stima miglior di qusta frqunza rlativa o incidnza prcntual, valida nlla condizion ch l ipotsi nulla sia vra, è data dalla somma dll prson con malatti polmonari ni gruppi ( a + c cioè ) rapportat al numro total di prson ossrvat: (a + c)/n cioè 45 / 50 0,3. 3- Considrando ch i du campioni a confronto hanno un numro diffrnt di ossrvazioni, smpr nl caso ch l ipotsi nulla sia vra, - nl primo campion (ch è composto da 80 individui) dovrmmo aspttarci di trovar 4 prson (0,3 x 80 4 ) con malatti polmonari - nl scondo campion (composto da 70 individui) di trovarn (0,3 x 70 ). I quattro valori attsi possono ssr prsntati in una tablla x, com i valori ossrvati. Pr la sua costruzion, è util riportar dapprima i 4 totali marginali d il total gnral. Succssivamnt, si calcola ognuno di 4 valori attsi, moltiplicando il total di riga pr il total di colonna, diviso pr il total gnral: a n x n3 / N; b n x n4 / N; c n x n3 / N d n x n4 / N DISTRIBUZIONE ATTESA IN TABELLA X Con malatti Snza malatti Total Alto inquinamnto 4 a 56 b 80 n Basso inquinamnto c 49 d 70 n Total 45 n3 05 n4 50 N 0

11 Pr stimar l attso di ogni caslla, noi abbiamo bisogno di 3 informazioni: - il total di riga, - il total di colonna, - il total gnral (N). Poiché i dati sono 4, n driva ch i gradi di librtà è uno solo (gdl 4 3 ). Colui ch propos qusto mtodo pr primo, Karl Parson, attribuì rronamnt un numro maggior di gradi di librtà. Fu R. A. Fishr ch mostrò il procdimnto satto. Stimata la distribuzion attsa nll ipotsi ch sia vra l ipotsi nulla, dall diffrnz tra ossrvato d attso si calcola il valor dl chi quadrato, mdiant la formula gnral già prsntata: dov: - - oss f i frqunza ossrvata i-sima att f i frqunza attsa i-sima χ ( g. d. l.) n i ( f oss i f f att i att i d stndndo la sommatoria (Σ) ai dati di tutt quattro l casll. Con i dati dll smpio χ () (3 4) / 4 + (48 56) / 56 + (3 ) / + (57 49) / 49,666 +,43 + 3,048 +,306 8,63 si ottin un valor dl chi quadrato, con gdl, ugual a 8,63 La tavola sinottica dl χ () riporta - il valor critico di 3,84 alla probabilità α il valor critico di 6,64 alla probabilità α 0.0. Il valor calcolato (8,63) è suprior sia a qullo dlla probabilità 0.05 ch di qulla 0.0; di consgunza, si rifiuta l ipotsi nulla d implicitamnt si acctta l ipotsi altrnativa. Qusta procdura è util pr capir il ral significato dl tst χ in tabll di contingnza x. Inoltr, il confronto tra distribuzion ossrvata distribuzion attsa mostra in quali casll si trovano l diffrnz più importanti. Nll smpio, tal confronto mostra ch l prson con malatti polmonari (riportat nlla tablla dll frqunz ossrvat) sono più frqunti nlla zona con maggior inquinamnto sono mno frqunti nlla zona snza inquinamnto atmosfrico, risptto all ipotsi nulla ch ss abbiano la stssa frqunza prcntual (riportat nlla tablla dll frqunz atts). )

12 Si può ottnr lo stsso risultato d vitar il lungo calcolo dll frqunz atts, con il ricorso alla formula pr il calcolo rapido dl chi quadrato pr l tabll di contingnza x χ () ( a d b c) N n n n n dov, con la simbologia i valori riportati nlla tablla ossrvata 3 4 Con malatti Snza malatti Total Alto inquinamnto 3 a 48 b 80 n Basso inquinamnto 3 c 57 d 70 n Total 45 n3 05 n4 50 N - a, b, c, d sono l frqunz ossrvat ni du campioni a confronto; - n, n, n 3, n4 sono i totali marginali; - N è il total gnral di ossrvazioni. Il calcolo, con i dati sprimntali dll smpio prcdntmnt utilizzato, fornisc χ [( ) 50] /( ) 8, 63 ( ) è un valor idntico a qullo calcolato in prcdnza, con la formula stsa. L quivalnza tra l du formul potrbb ssr dimostrata con una sri di passaggi matmatici; ma pr l utnt dlla statistica applicata è sufficint ricordar l du formul, da usar nll diffrnti condizioni... CONFRONTI TRA FREQUENZE RELATIVE CON LA DISTRIBUZIONE NORMALE Pr il torma dl limit cntral, in campioni abbastanza numrosi - la distribuzion dlla frqunza rlativa π di una popolazion è approssimativamnt normal; - con mdia campionaria p dviazion standard dlla popolazion σ π (dov σ p q ). L assunzion riman valida anch pr l prcntuali, ch tuttavia dvono ssr trasformat in frqunz rlativ, pr utilizzar l formul propost. Qusta approssimazion dlla distribuzion chi quadrato alla distribuzion normal non è ritnuta corrtta, quando il numro total di ossrvazioni N è piccolo. Si ha un uso corrtto dlla distribuzion normal nl confronto tra rapporti, quando N q sono ntrambi maggiori di 5. N p

13 In grandi campioni, s p p sono l proporzioni ossrvat di casi con la carattristica in sam in du campioni indipndnti, è possibil vrificar la significatività dlla loro diffrnza con un tst Z: dov - p* in cui Z p p p * ( p*) + n n è la proporzion mdia pondrata di gruppi a confronto, ottnuta con m p* n - m m sono i casi positivi ni gruppi a confronto, - composti rispttivamnt da n n casi. Si pon il problma di vrificar s l du proporzioni diffriscono di una quantità prdtrminata π. + + m n La tablla dl χ fornisc la probabilità pr un tst a du cod o bilatral. In altri trmini, è possibil formular solo una ipotsi altrnativa: l du proporzioni a confronto appartngono a popolazioni diffrnti. Con i simboli, si scriv H π : π Nl caso di tabll x, con il tst chi quadrato è solo possibil dimostrar ch l prcntuali a confronto sono diffrnti, quando si è in grado di rifiutar l ipotsi nulla. Con la distribuzion normal applicata all proporzioni o prcntuali, sono possibili du divrs impostazioni dll ipotsi altrnativa H. E possibil vrificar: - s sist una diffrnza nll frqunz rlativ tra i du gruppi, snza prdtrminar qual di du dbba ssr il maggior (o il minor): si tratta di un tst bilatral o a du cod, com già pr il tst χ : H π : π - s un gruppo ha una frqunza rlativa significativamnt maggior (oppur minor): è un tst unilatral o a una coda: si confrontano : π π 0 H : π > π H contro In ognuno di qusti ultimi casi ad una coda, vin a priori rifiutata com non accttabil od illogica la possibilità altrnativa a qulla proposta. 3

14 La distinzion tra tst a du cod tst a una coda non è solamnt una qustion di logica. Ha fftti pratici importanti: da ssa dipnd la distribuzion dll probabilità d il valor critico pr rifiutar l ipotsi nulla, com chiarisc il grafico. Scglindo la probabilità dl 5%, - in un tst a du cod, si hanno du zon di rifiuto collocat ai du strmi, ognuna con un ara di,5% - in un tst a una coda, si ha una sola zona di rifiuto, con un ara di 5 %. Esistono maggiori probabilità di rifiutar l ipotsi nulla quando si ffttua un tst ad una coda, ch quando si ffttua un tst a du cod. Anch nlla rapprsntazion grafica, risulta vidnt in modo visivo ch, alla stssa probabilità total, in un tst unilatral il valor critico è minor di qullo in un tst bilatral. Com vrrà più ampiamnt discusso nl capitolo 4, il tst unilatral è più potnt dl tst bilatral (dfinizion: la potnza di un tst è la capacità di rifiutar l ipotsi nulla quando ssa è falsa)..3. CONFRONTO DI UNA PROPORZIONE OSSERVATA CON UNA ATTESA: IL TEST Z PER GRANDI CAMPIONI E LA DISTRIBUZIONE BINOMIALE PER PICCOLI CAMPIONI La distribuzion Z prmtt il confronto tra la proporzion ossrvata in un singolo sprimnto la corrispondnt proporzion attsa o torica. La formula può ssr drivata da qulla già utilizzata pr la distribuzion di una ossrvazion campionaria x risptto alla mdia dlla popolazion µ, quando sia nota la varianza σ dlla popolazion, attravrso la rlazion Z x µ σ poiché la varianza di una proporzion è totalmnt dfinita dal suo valor mdio p dal numro total di ossrvazioni ssndo σ n p ( p). 4

15 Nl caso di una proporzion, il tst Z divnta Z x n p n p ( p) ricordando ch: - p proporzion attsa o torica; - n numro total di ossrvazioni o dati dll sprimnto; - x numro di individui ossrvati con la carattristica in sam; - n p numro attso di individui con la carattristica in sam. Nl tst Z, la distribuzion dll probabilità è simmtrica d il risultato vidnzia s la diffrnza è positiva oppur ngativa. L ipotsi altrnativa H può ssr non solo bilatral ma anch unilatral..4. TABELLE DI CONTINGENZA X IN PICCOLI CAMPIONI: IL METODO ESATTO DI FISHER Il χ è valido solo pr grandi campioni. S il numro di frqunz atts è piccolo, nl caso di tabll x si dv ricorrr al mtodo satto di Fishr, drivato dalla distribuzion iprgomtrica. E lo stsso principio pr cui, nl caso di una sola proporzion un campion piccolo, si ricorr alla distribuzion binomial. Pr passar da indicazioni di principio a raccomandazioni pratich, pr la sclta appropriata dl tst è consigliato utilizzar il mtodo satto di Fishr in sostituzion dl chi quadrato quando - il campion ha un numro total di ossrvazioni infrior a circa 30; - /o almno una frqunza attsa è infrior a 5. Sono critri idntici all raccomandazioni prcdnti, ch consigliavano di vitar l uso dl χ quando il valor di n p oppur qullo di n ( p) sono infriori a 5. Il mtodo dll probabilità satt di Fishr, è di strma utilità sotto l asptto didattico, prché spiga con chiarzza la logica dll infrnza statistica. L uso di qusto mtodo richid l impigo di fattoriali; di consgunza, è di smplic rapida applicazion solo quando il numro di ossrvazioni è molto piccolo. Il mtodo potrbb ssr applicato anch nl caso di campioni di dimnsioni mdi; ma con un numro più alto di dati, divin possibil stimar la probabilità solamnt con l uso di calcolatori. 5

16 Il mtodo prmtt di stimar la spcifica probabilità ( P i ) di ottnr una tablla x ugual a qulla ossrvata. Usando la mdsima simbologia di prcdnti paragrafi, riportata nlla tablla sgunt Risposta X Risposta x Total Campion Y a b n a + b Campion y c d n c + d Total 3 n 4 a + d N a + b + c + d n a + c con la distribuzion iprgomtrica la probabilità Pi è calcolata con la formula n! n! n3! n4! P i a! b! c! d! N! Con qusta formula abbrviata, (abbrvia i tmpi richisti dal calcolo manual) la probabilità ( P i ) di trovar qul particolar insim di dati ossrvati è dtrminata dal rapporto tra il prodotto di fattoriali di quattro totali marginali d il prodotto di fattoriali dll quattro frqunz ossrvat moltiplicato il numro total di ossrvazioni. Il mtodo di Fishr si fonda sul conctto ch, tnndo fissi i totali, i numri riportati nll 4 casll possano assumr pr caso qualsiasi valor. Sulla bas di qusto prsupposto, si può calcolar la probabilità di ottnr ognuna dll rispost possibili. Pr stabilir s sist una diffrnza significativa tra l du distribuzioni ossrvat di campioni Y y, non è sufficint calcolar la probabilità dlla distribuzion ossrvata. Com con la prcdnt distribuzion binomial, nl caso di mtodi satti si dv stimar la probabilità total di ossrvar una combinazion di dati così strma oppur più strma. A qusto fin, si riduc di il numro di ossrvazioni nlla caslla con il numro minor, modificando i valori dll altr casll pr mantnr uguali i totali marginali; succssivamnt, si calcola la probabilità di ottnr ognuna di qust rispost. E ncssario lncar tutt l possibili combinazioni dll ossrvazioni più strm quindi calcolar l probabilità satt associat ad ognuna di qust possibili combinazion di dati. Pr potr dcidr tra l du ipotsi, la probabilità ch occorr stimar è data dalla somma dlla probabilità dlla distribuzion ossrvata di qull dll rispost più strm nlla stssa dirzion. 6

17 La probabilità così stimata corrispond ad un tst ad una coda; pr un tst a du cod, si dv moltiplicar pr du qusta probabilità. In modo più dttagliato, i passaggi pr calcolar la probabilità ch prmtt di rifiutar l ipotsi nulla sono: - calcolar la probabilità associata ai dati ossrvati; - individuar la caslla con il numro minor; s è zro, è sufficint qusta probabilità, prché la risposta ossrvata è qulla più strma; 3 - s è divrso da zro, ridurr il valor di, modificando l frqunz nll altr tr casll, in modo ch i totali marginali ( quindi qullo total) rstino immutati; 4 - calcolar la probabilità associata alla nuova tablla; 5 - riptr l oprazioni 3 4, finché il valor minor divnta zro; 6 - pr un tst ad una coda, sommar tutt qust probabilità; 7 - pr un tst a du cod, moltiplicar pr il risultato dlla prcdnt oprazion 6; 8 - s la probabilità total calcolata è infrior al valor di probabilità prfissato com limit critico (di solito 0,05), si rifiuta l ipotsi nulla H0 d implicitamnt si acctta l ipotsi altrnativa H, ch può ssr sia bilatral ch unilatral..5. LE TABELLE x N CON LA FORMULA GENERALE E QUELLA DI BRANDT- SNEDECOR. LE TABELLE M x N Il mtodo dl χ pr tabll x, con grado di librtà, può ssr stso al caso gnral di tabll a du ntrat, ognuna con classificazioni multipl anziché dicotomich, con più gradi di librtà. Con l applicazion di mdsimi conctti d il ricorso a formul analogh, è possibil il confronto tra M popolazioni indipndnti, pr vrificar l ipotsi nulla ch tutt l N prcntuali o proporzioni a confronto siano uguali. Sono l tabll M x N in cui l ipotsi nulla è l ipotsi altrnativa è H 0 : π π π 3... π M H almno una dll π è divrsa dall altr. Il caso più smplic di tabll M x N è la tablla di contingnza x N, pr rispost dicotomich di N gruppi a confronto. Essa ha N gradi di librtà, drivati dalla formula gnral ( N ) ( ) 7

18 Anch in qust tabll, è bn vitar di avr casll con frqunz torich od atts infriori a 5, pr non avr una ccssiva prdita di potnza dl tst. Tuttavia, la tollranza in mrito a qust condizioni di validità divin maggior: si accttano frqunz atts di o, oppur un numro più alto di frqunz uguali a 4-5, poiché l variazioni casuali tndono a compnsarsi. Il χ con parcchi gradi di librtà è mno snsibil agli rrori dtrminati da frqunz atts piccol. Anch pr il calcolo dl χ in tabll x N sono stati proposti procdimnti abbrviati. Una formula frquntmnt proposta ni tsti di statistica applicata è qulla di Brandt Sndcor con C ugual a dov - numri di gruppi a confronto; χ C ( g. d. l.) C 00 p ( p) p n p i i i i - p i frqunza prcntual dl carattr in sam nl gruppo i; - n i frqunza assoluta dl carattr in sam nl gruppo o campion i; - N numro total di ossrvazioni; - p frqunza prcntual mdia di tutti i gruppi pr il carattr in sam. n i Nl caso più gnral di una tablla di contingnza M x N, il χ è più frquntmnt utilizzato com tst pr l indipndnza tra i carattri riportati in riga madr (di norma, i Trattamnti) qulli riportati nlla prima colonna (l Catgori). L ipotsi nulla è ch vi sia indipndnza tra tali variabili, mntr l ipotsi altrnativa bilatral è ch sista associazion. In molti tst di statistica applicata è sconsigliato avr casll con frqunz atts infriori a 5. In altri tsti, si sostin ch la maggior robustzza dl chi quadrato con più gradi di librtà prmtt risultati attndibili anch quando si dispon di frqunz minori. Tuttavia, qualora si avssro alcun frqunz molto bass, è bn riunir qusti gruppi in un numro infrior di catgori, aggrgando ovviamnt in modo logico l variabili ch sono tra loro più simili. In una tablla di contingnza M x N, i gradi di librtà sono: 8

19 ( M ) ( N ) dov M è il numro di colonn N è il numro di righ. Il valor dl chi quadrato può ssr ottnuto con la formula gnral, fondata sullo scarto tra frqunz ossrvat frqunz atts. Anch pr l tabll M x N sono stat propost formul rapid. In raltà, sono mtodi più complssi di qulli già illustrati non prsntano vantaggi apprzzabili nl tmpo richisto nll approssimazioni di calcoli, risptto alla formula gnral. Inoltr, nll intrprtazion di risultati hanno lo svantaggio di vidnziar la diffrnza complssiva, ma non ogni singola diffrnza tra la distribuzion attsa qulla ossrvata. Quando si analizzano si intrprtano i risultati in tabll M x N dopo il calcolo dl χ, s si è rifiutata l ipotsi nulla non è smplic individuar con prcision a quali casll, a quali associazioni positiv o ngativ, sia imputabil in prvalnza il risultato complssivo. A qusto scopo lnco du mtodi. Il più smplic consist nl riportar in una tablla M x N il contributo al valor dl chi quadrato fornito da ogni caslla; ma è util solo pr la dscrizion. Il scondo si fonda sulla scomposizion sull analisi di singoli gradi di librtà. Il contributo al valor total dato da ogni caslla è vidnziato riportando pr ognuna di ssa, in una tablla M x N, il valor dl rapporto f oss i, j f att i, j La scomposizion di gradi di librtà di qust tabll complss è un altro modo ch prmtt di avr informazioni più dttagliat, sugli fftti di ogni particolar gruppo di dati. La proprità additiva dl χ di rlativi gradi di librtà consnt la scomposizion di una tablla M x N in tanti tst x, ognuno con g.d.l., quanti sono i gradi di librtà totali dlla matric. Quando si è intrssati ad individuar la causa di una significativa dviazion dall ipotsi nulla, è possibil costruir i tst ch n spigano l quot maggiori. Prndndo com schma di rifrimnto una torica tablla 3 x 3 con la rlativa simbologia f att i, j. 9

20 TRATT. TRATT. TRATT. 3 Total Blocco A a a a3 n Blocco B b b b3 n Blocco C c c c3 n3 Total n4 n5 n6 N con 9 dati si ottin un χ ch ha 4 gradi di librtà. S risulta significativo, è util scomporr qusta valutazion global, pr conoscr quali confronti singoli x siano la causa di qusta diffrnza tra frqunz ossrvat frqunz atts. Con 4 gradi di librtà è possibil far solamnt 4 confronti. S impostati corrttamnt, la somma di valori di qusti 4 χ () con g.d.l. dv ssr ugual al valor complssivo dl χ (4) con 4 g.d.l. calcolato su tutti i dati. La ripartizion dv ssr sguita in modo grarchico, stabilita una prima suddivision, l ripartizioni succssiv dvono ssr attuat smpr all intrno dlla prcdnt. È il modo pr rndr i confronti ortogonali, la conclusion prcdnt non dv dar informazioni sul tst succssivo. Con la tablla 3 x 3 prsntata, una possibil partizion di 4 gradi di librtà è qulla di sguito riportata: ) ) a a b b 3) 4) a + a a3 b + b b3 a + b a + b c c a + + a + b b a 3 + b3 c + c c 3 Anch dalla smplic ossrvazion risulta vidnt ch sistono molt possibilità diffrnti di suddivision dlla mdsima tablla. La sclta dipnd dal ricrcator, ch è totalmnt libro di scglir i raggruppamnti di casll ch gli smbrano più logici d utili pr spigar la significatività ottnuta; ma tal sclta dv ssr fatta a priori non a postriori, pr non altrar la probabilità di scglir una distribuzion casualmnt significativa. Sclta a priori significa ch ssa 0

21 dv ssr fatta in modo totalmnt indipndnt dai dati rilvati; non è corrtto individuar quali gruppi hanno l frqunz maggiori quali l frqunz minori succssivamnt pianificar la suddivision, sulla bas dll diffrnz ossrvat, scglindo qull ch danno valori dl chi quadrato maggiori..6. CLASSIFICAZIONE DEI COEFFICIENTI D'ASSOCIAZIONE O D INDIPENDENZA Quando i dati sono classificati sulla bas di du variabili catgoriali o qualitativ, l frqunz sono riportat in una tablla di contingnza. Di solito si utilizzano frqunz assolut, sia pr facilitar i calcoli, sia prché l dimnsioni dl campion hanno un fftto rilvant sulla significatività dl tst quindi è convnint conoscrl sattamnt. Ma è possibil utilizzar anch l frqunz rlativ, in particolar quando si vuol facilitar il confronto tra du o più rilvazioni, ch ovviamnt solo di rado hanno campioni con lo stsso numro di ossrvazioni. L tabll hanno dimnsioni minim x ; ma possono ssr molto più ampi, indicat gnricamnt con M x N (M righ x N colonn). I valori ch quantificano l rlazioni tra l du variabili qualitativ sono chiamati cofficinti di associazion; si parla di corrlazion, quando l variabili sono quantitativ. Il tst dl χ associazion nulla), srv pr vrificar l ipotsi sulla indipndnza (corrispondnt a una - tra l modalità dlla variabil riportata nll righ; - l modalità dlla variabil riportata nll colonn. È prassi ch la dimnsion dll righ, pr analogia con l ass dll asciss nlla rgrssion, corrisponda alla variabil classificatoria ch dovrbb ssr splicativa (com la dos di un farmaco oppur la località nlla qual si è raccolto un campion di alcun spci animali o vgtali) l altra dimnsion, qulla dll colonn, sia una risposta o variabil dipndnt (com l fftto dl farmaco ch può ssr nullo, modrato o fort oppur l vari spci raccolt), analogamnt all ass dll ordinat. Pr l du variabili, i gruppi possono ssr formati sulla bas di dati misurati su scal diffrnti: - qualitativi o nominali, com l lnco dll località qullo dll spci; - ordinali o di rango, com l intnsità dlla risposta al farmaco (nulla, modrata, fort) o la classificazion dll spci in classi d tà (giovani, adulti, vcchi) o livlli di sviluppo;

22 3 - di intrvalli /o di rapporti (com l tà o l dimnsioni) raggruppati in classi, con intrvalli diffrnti oppur costanti (nll tabll di contingnza, di solito non sono fatt distinzioni tra qusti du tipi di scala, pr i quali possono ssr applicati i tst paramtrici). Da qust tr classificazioni dl tipo dll du variabili, drivano tabll a du ntrat ch utilizzano scal diffrnti, quali - nominal pr ambdu l variabili; - nominal pr una ordinal pr l altra; - ordinal pr ambdu l variabili; - nominal pr una intrvallar pr l altra; - in tutt l combinazioni di scala possibili, fino a intrvallar pr ntramb. Non sist una misura idal dll associazion o concordanza tra l du variabili, ch sia valida pr tutt l situazioni. Una classificazion util pr ordinar la prsntazion dgli indici più frquntmnt utilizzati, propon - una suddivision pr misur nominali, ordinali in classi d intrvalli; - abbinata a qull dll dimnsioni in tabll x in tabll M x N. - pr vari indici non sist una diffrnza dtrminata dall dimnsioni dlla tablla, in quanto l indic valido pr tabll M x N molto spsso è solo una gnralizzazion dll indic proposto pr la tablla x.

23 3. IL KAPPA DI COHEN: 3.. STIMA DELL ACCORDO (AGREEMENT) TRA DUE VALUTAZIONI CON SCALA NOMINALE. L misur dl grado di associazion, la cui significatività è ottnuta con il tst 3 χ, fa rifrimnto a du variabili. Ad smpio, nll tabll x col χ si è valutato il grado di associazion tra livllo di inquinamnto (alto o basso) di un ara la prsnza di prson rsidnti con malatti polmonari (si o no). In altr situazioni, si utilizza una sola variabil pr valutar il grado di accordo tra du valutatori. Ad smpio, in mdicina può ssr intrssant vrificar s du chirurghi ch dcidono sulla ncssità di oprar forniscono rispost concordanti; nlla ricrca ambintal, s du commissioni ch agiscono in modo indipndnt approvano o rspingono gli stssi progtti. Un problma idntico si pon anch pr lo stsso valutator, quando agisc in du momnti diffrnti. Ad smpio, s lo stsso chirurgo fornisc o mno la mdsima risposta sulla ncssità di un intrvnto chirurgico prima dopo avr prso vision di una nuova analisi clinica; s un ricrcator, di front agli stssi soggtti in du momnti diffrnti, fornisc la stssa classificazion. In una vision più gnral, il problma è important tutt l volt in cui si confrontano du o più distribuzioni di frqunza. L appartnnza dgli sprti a scuol con impostazioni culturali diffrnti la divrsa sprinza di ricrcatori possono dtrminar classificazioni anch notvolmnt discordanti, pr ffttuar corrttamnt tst sulla similarità dlla distribuzion. Ad smpio, con una tablla x oppur a più dimnsioni (M x N) spsso si vuol valutar s M spci hanno la stssa distribuzion nll N ar campionat. Ma tal analisi com condizion di validità richid ncssariamnt ch la classificazion dll spci abbia sguito gli stssi critri. In altri trmini, ch la classificazion sia riproducibil, ch i critri utilizzati siano affidabili. Il problma non è valutar qual dll du classificazioni sia qulla corrtta o la miglior; è una domanda alla qual è possibil rispondr con una impostazion logica con mtodi diffrnti. Il appa di Cohn è una misura dll accordo (cofficint of agrmnt) tra l rispost qualitativ o catgoriali di du prson (intr-obsrvr variation) oppur dlla mdsima prsona in momnti diffrnti (intra-obsrvr variation), valutando gli stssi oggtti.

24 La mtodologia è stata prsntata da Jacob Cohn (nl 960). Prndndo in considrazion una situazion carattristica dlla ricrca psicologica, si supponga ch du mdici abbiano analizzato sparatamnt in modo indipndnt il comportamnto dll stss 00 prson, classificandol in tr diffrnti tipologi nominali (A disordini dlla prsonalità, B nurosi, C psicosi), con i sgunti risultati: Mdico Mdico Catgori A B C Total A B C Total Si tratta di valutar s i giudizi forniti dai du sprti sono riproducibili, affidabili; in altri trmini, si chid di dtrminar il grado, la significatività la stabilità campionaria dl loro accordo. Pr il cofficint di concordanza, dvono ssr ralizzat l sgunti condizioni di validità: - l unità (in qusto caso i 00 soggtti analizzati) sono indipndnti; -l catgori dlla scala nominal sono indipndnti, mutuamnt sclusiv saustiv; 3 - i giudici oprano in modo indipndnt. Qust assunzioni n implicano altr du: 4 - i du giudici hanno lo stsso livllo di comptnza; 5 - non sistono rstrizioni nll attribuzion all catgori. Pr ntrar nlla logica dl cofficint, è important comprndr ch s la classificazion di pazinti foss ffttuata su critri indipndnti, cioè s l du sri di attribuzioni fossro ralizzat in modo puramnt casual, si avrbb ugualmnt un crto numro di giudizi coincidnti: un pazint potrbb ssr attribuito alla stssa catgoria, pr solo fftto dl caso. Pr mglio illustrar il conctto di concordanza vidnziar la logica ch porta a ricavar l indic proposto da Cohn, è vantaggioso utilizzar l proporzioni riportat nlla tablla succssiva. Ess sono smplicmnt la trasformazion in frqunz rlativ (con total ugual a,0) dll frqunz assolut prcdnti (con total ugual a 00) 4

25 Mdico Mdico Catgori A B C Total A 0,5 (0,0) 0,3 (0,5) 0, (0,5) 0,50 B 0, (0,) 0,0 (0,09) 0,6 (0,09) 0,30 C 0,03 (0,08) 0,5 (0,06) 0,0 (0,06) 0,0 Total 0,40 0,30 0,30,00 Entro ogni caslla, - in grasstto sono riportat l proporzioni ossrvat ( po da obsrvd); ad smpio, nlla caslla, si ha 0,5 50/00 (prsi dalla tablla prcdnt con l frqunz assolut); - in corsivo qull atts ( p da xpctd), nlla condizion ch l ipotsi nulla sia vra, cioè ch l attribuzion dll individuo alla catgoria sia stata casual; ad smpio smpr nlla, si ha 0,0 0,4 x 0,5 (totali marginali prsi da qusta ultima tablla di frqunz rlativ). Com nll tabll dl chi quadrato, l proporzioni atts ntro ogni caslla sono dat dai prodotti dll proporzioni marginali. Si tratta di valutar quanto diffriscono l classificazioni ffttuat dai du mdici. Prima di Jacob Cohn, ra sguita la procdura proposta nl 950 da J. P. Guilford. In sso si ricorr al χ, pr saggiar la significatività, al cofficint di contingnza C di Parson, pr ricavar una misura dll accordo ch sia più facilmnt valutabil, cioè indipndnt dall dimnsioni dl campion. Con i dati dll smpio: - pr ottnr il Si calcolava χ mdiant la formula applicata all proporzioni con 4 gdl ( po p ) χ N 64,59 p - pr C di Parson si calcolava χ 64,59 C 0, + 64, ,494 χ N Jacob Cohn contsta qusto mtodo. 5

26 Il risultato dl χ è altamnt significativo (infatti il valor critico dl χ con 4 gdl α 0.00 è 8,467), quindi si allontana dall ipotsi di distribuzion casual. In raltà, gli scriv, è smplic dimostrar ch l uso dl χ quindi dl C fondato su di sso sono logicamnt indifndibili, com misura dll accordo. Quando è applicato a una tablla di contingnza, il tst χ srv pr - vrificar l ipotsi nulla risptto all associazion, non alla concordanza (anch s la distribuzion dll ipotsi nulla è calcolata nllo stsso modo). Infatti, com nl caso dll smpio, sul valor total χ 64,59 il contributo maggior è dato dalla caslla 3, con: (4) (0,5 0,06) 0, ,00 un χ parzial ugual a 7,00. Qusto valor così alto non dipnd dall accordo tra i du mdici, ma dal fatto opposto: ssi hanno fornito una classificazion diffrnt dgli stssi pazinti (cioè la malattia B pr il mdico la malattia C pr il mdico ) in misura maggior dll attso, cioè dll frqunz fondat sull ipotsi nulla di casualità. Quindi il valor ottnuto risulta lvato, non prché i du mdici concordano, ma prché ssi non concordano. Più in gnral, il valor dl χ misura s du distribuzioni qualitativ sono associat (non importa s in modo positivo o ngativo, trattandosi di valori lvati al quadrato), ma snza fornir la dirzion dll accordo, ch è l asptto fondamntal spcifico di qusta valutazion dlla concordanza. Com conclusion di conctti prcdnti, si dduc ch una misura dll accordo tra l du distribuzioni può ssr ricavata: - dalla diffrnza tra la proporzion ossrvata di giudizi ch sono ffttivamnt coincidnti la proporzion di qulli attsi nll ipotsi di total casualità di giudizi ( H 0 vra); - rapportata a qulla dlla non associazion attsa. La formula proposta da Cohn standardizza la diffrnza tra proporzion total ossrvata proporzion total attsa, dividndola pr la massima diffrnza possibil non casual. Nll ultim du tabll di dati, l informazion util è fornita dall frqunz collocat lungo la diagonal principal (nlla tablla 3 x 3, l casll,;,; 3,3). Nl caso dll smpio, con l proporzioni la somma dlla diagonal principal 6

27 - 0,5 + 0,0 + 0,0 0,9 è la proporzion total ossrvata p o 0,9-0,0 + 0,09 + 0,06 0,35 è la proporzion total attsa p 0,35. L indic proposto da Cohn è: po p p 0,9 0,35 0,06 0,093 0,35 0,65 Con l frqunz assolut, sovnt è possibil una stima più smplic rapida. Dopo avr calcolato - l frqunz ossrvat f o (nlla prima tablla) - qull atts f (nlla tablla sottostant) Mdico Mdico Catgori A B C Total A B C 6 40 Total utilizzando appunto solo i valori collocati sulla diagonal principal, il calcolo dll indic divnta: f o f N f , Con ntramb l formul, il valor dll accordo risulta -0,09. In qusto caso, è un valor ngativo. Esso indica ch i du mdici si trovano d accordo su una proporzion di casi ch è minor di qulla ch si sarbb ottnuta con una attribuzion casual di pazinti all vari catgori. In conclusion, i du mdici forniscono valutazioni tndnzialmnt discordanti (anch s pr una piccola quantità). Il valor di toricamnt può variar tra +. In raltà l indic ha significato solo quando è positivo. Da qusta ossrvazion drivano du consgunz: - la sua significatività dv ssr vrificata mdiant il tst unilatral: - il valor massimo torico è +,0. H 0 : 0 contro H : > 0 7

28 Qusta ultima affrmazion è vra, cioè si può ottnr +, solamnt quando sono ralizzat contmporanamnt l sgunti du condizioni: - tutt l frqunz ossrvat non collocat sulla diagonal, cioè qull ch indicano il disaccordo (disagrmnt), sono 0. - i totali marginali di du valutatori (cioè i totali dll righ qulli dll colonn) sono idntici. Infatti ssi indicano ch i du valutatori hanno trovato l stss proporzioni dll catgori utilizzat. Nlla tablla con l proporzioni fino ad ora utilizzata, l frqunz marginali di du mdici sono diffrnti, sattamnt qull riportat nlla tablla sottostant (pr il mdico ss sono 0,40, 0,30, 0,30; pr il mdico sono 0,50, 0,30, 0,0) Catgori Mdico A B C 0,40 0,30 0,30 0,50 0,30 0,0 Minimi 0,40 0,30 0,0 A causa di qusta diffrnza ni totali marginali, il massimo ( M ) ottnibil con la formula prcdnt non potrà mai ssr +,00 ma un valor infrior. Tal valor massimo possibil può ssr ricavato con alcuni passaggi: ) confrontar i singoli totali marginali (prim du righ dlla tablla) pr ogni catgoria scglir il valor minor (trza riga in grasstto corsivo), ) calcolar p om, la proporzion ossrvata massima, utilizzando la somma di qust proporzioni minim: p om 0,40 + 0,30 + 0,0 0,90 3) calcolar il massimo ( M con i dati dll smpio, dov - p om 0,90 - p 0,35 ) con M pom p p 8

29 mdiant M p om p p 0,90 0,35 0,35 0,55 0,846 0,65 si ricava ch il valor massimo possibil di, é M 0,846. E una consgunza dl fatto ch i du valutatori forniscono una classificazion diffrnt dgli stssi soggtti, poiché pr l catgori in oggtto ssi vdono frqunz diffrnti nlla stssa popolazion. Da qusta prima analisi sul M Pr ottnr ricrch più attndibili, dov può drivar un primo fftto. M sia, sarbb vantaggioso fornir indicazioni più vincolanti ai du valutatori, con una prparazion prliminar più accurata prcisa tramit anch la frqunza ad appositi corsi. Dopo il corso, valutar nllo stsso modo s il M è migliorato. Una sconda consgunza potrbb ssr qulla di calcolar un valor di corrtto ( C ), attravrso la rlazion C in modo ch il valor massimo raggiungibil sia smpr quindi sia la scala di valutazion sia i confronti siano omogni. Ma Cohn sconsiglia tal trasformazion, ch nl ragionamnto prcdnt appariva logica razional, con la motivazion ch s i totali marginali sono diffrnti è prché i du valutatori hanno fornito ffttivamnt rispost diffrnti. Quindi sist un ral nonaccordo nlla valutazion, ch giustamnt è comprso nll indic calcolato snza la corrzion. M Nlla prsntazion di qusto mtodo, dopo la illustrazion a) dl significato di, b) dl calcolo dl valor c) di qullo massimo possibil ( M ), si pongono altri tr problmi: d) stimar l intrvallo di confidnza di, ) valutar la significatività statistica il significato disciplinar dl risultato, cioè dl valor di ottnuto, f) tstar la significatività dlla diffrnza tra du valori di. 9

30 Nl caso di grandi campioni (N 00), pr calcolar l intrvallo di confidnza di scondo Cohn è possibil il ricorso alla distribuzion normal standardizzata, ± Z a / dov σ è un rror standard (pur ssndo indicato com una dviazion standard) in quanto è una mdia. Il valor di σ può ssr calcolato utilizzando - sia l frqunz rlativ o proporzioni σ σ p o ( p N ( p ) o ) - sia l frqunz assolut σ f o ( N N ( N f f ) o ) f o f o N N f I limiti di confidnza di appa sono comprsi - con probabilità dl 95% tra ±, 96 σ - con probabilità dl 99% tra ±, 58 σ Utilizzando i dati dll smpio, - sia mdiant la tablla dll frqunz rlativ o proporzioni, dov p o 0,9 N 00, p 0,35 σ 0,9 ( 0,9) 00 ( 0,35) 0,059 84,5 0, sia mdiant la tablla dll frqunz assolut, dov f o 58 f 70 N 00, σ 58 (00 58) 00 (00 70) 8, ,0494 si ottin σ 0,0494. Poiché il valor sprimntal ricavato è - 0,09, alla probabilità dl 95% il valor ral di è comprso tra il valor minimo - 0,38 ( 0,09 0,048) 0,09 ±,96 0,0494 il valor massimo - 0,04 ( 0,09 + 0,0489). 30

31 Pr la significatività statistica di, toricamnt pr valutar l ipotsi nulla H 0 : 0 ch è ottnibil quando p o - con l frqunz rlativ divnta σ : p, la formula dll rror standard 0 - con l frqunz assolut divnta σ 0 p N ( p ) σ 0 f N ( f ) Con i dati dll smpio, - sia mdiant la tablla dll frqunz rlativ o proporzioni, dov p 0,35 N 00, 0,35 00 ( 0,35) 0,35 30 σ 0 0,059 - sia mdiant la tablla dll frqunz assolut, dov f 70 N 00, si ottin σ 0 0, (00 70) σ 0 0,059 Nlla significatività di un sprimntal, pr la sua rilvanza pratica ai fini dlla potnza dl tst un approccio toricamnt più corrtto, è important ricordar un conctto già vidnziato. Bnché, in un sprimnto ral, il valor di possa variar tra +, quasi smpr nlla ricrca si vuol valutar s sist un accordo significativo. Prtanto in raltà il tst è unilatral con ipotsi H 0 : 0 contro H : > 0 Smpr Cohn, pr il tst di significatività con grandi campioni (N 00) com quasi smpr avvin quando si utilizzano tabll di dimnsioni supriori a x, propon il ricorso alla distribuzion normal standardizzata Z σ Nl caso dll smpio, il valor di è risultato ngativo ( -0,09). Di consgunza, non ha snso vrificar s è maggior di zro (cioè H : > 0), cioè s sist un accordo ch sia contmporanamnt positivo significativo, tra i du mdici nlla classificazion da ssi ffttuata pr gli stssi pazinti. 0 3

32 Nll du formul dll rror standard ( σ σ 0 ), utili - il primo ( σ ) pr l intrvallo di confidnza - il scondo ( σ 0 ) pr la significatività di, si vidnzia ch il numro total di ossrvazioni (N), ha un ruolo important. N driva ch, com in quasi tutti i tst, con grandi campioni anch un valor di piccolo può risultar significativo, mntr con un campion piccolo anch un valor grand di può non ssr statisticamnt significativo. Pr ottnr una intrprtazion univoca adimnsional di com stima di Agrmnt o Rproducibility, sono stat propost grigli di valutazion. Nlla tablla succssiva, sono riportat l du più frquntmnt utilizzat. Kappa Agrmnt < 0.00 Nssun accordo Liv accordo Accordo quo Modrato accordo Sostanzial accordo Quasi prftto accordo Kappa Rproducibility > 0.75 Excllnt Good 0.00 <0.40 Marginal La prima, a sinistra più dttagliata, è stata proposta da J. Richard Landis Gary G. Koch dl 977. La sconda, riportata a dstra, è stata proposta da Josph L. Fliss nl suo tsto dl 98. 3

33 3.. ESEMPIO. Valutar il grado di accordo tra du giudici nlla sgunt tablla 3 x 3 (tra parntsi in grasstto sono vidnziat l frqunz atts qull ossrvat limitatamnt alla diagonal, in quanto sono l unich informazioni utili). Giudic A 3 Total 88 (60) Giudic B 0 40 (8) (4) 0 Total N00 Risposta. Dopo avr ricavato - l frqunz ossrvat f o l frqunz atts f è smplic ossrvar ch in qusto caso sist un accordo maggior di qullo possibil pr solo fftto dl caso. Dall frqunz si ricava il valor di f o f N f , ch risulta 0,49. Pr il calcolo dll intrvallo di confidnza si calcola σ f ( N f ) o N ( N f 40 (00 40) 00 (00 8) o ) 0,0549 l rror standard σ 0,0549. Pr il tst ch vrifica la significatività dll accordo si calcola σ f N ( N f ) 8 00 (00 8) ,0589 l rror standard σ 0,0589. Qusti stssi risultati possono ssr ottnuti con la tablla dll frqunz rlativ o proporzioni 33

34 Giudic B Giudic A 3 Total 0,44 (0,30) 0,07 0,09 0,60 0,05 0,0 (0,09) 0,05 0,30 3 0,0 0,03 0,06 (0,0) 0,0 Total 0,50 0,30 0,0,00 smpr ricordando ch N 00. Dopo avr ricavato - l frqunz rlativ ossrvat p o 0,44 + 0,0 + 0,06 0,70 - l frqunz rlativ atts p 0,30 + 0,09 + 0,0 0,4 si calcola il valor di ch risulta 0,49. po p p 0,70 0,4 0,4 0,9 0,59 0,49 Con l frqunz rlativ, può ssr util calcolar il valor M M p om p p Pr il calcolo dll intrvallo di confidnza si calcola (0,50 + 0,30 + 0,0) 0,4 0,49 0,83 0,4 0,59 σ p o ( p N ( p ) 0,70 ( 0,70) 00 ( 0,4) 0, 69,6 o ) 0,0549 l rror standard σ 0,0549. Pr il tst ch vrifica la significatività dll accordo si calcola σ l rror standard σ 0 0,0589. p 0,4 00 ( 0,4) 0,4 8 0 N ( p ) Con 0,49 σ 0,0549 si ottin l intrvallo di confidnza. Alla probabilità dl 95% sso è comprso / σ 0,49 ±,96 0,0549 ± Z a - tra il valor minimo 0,384 (0,49-0,08) - il valor massimo 0,600 (0,49 + 0,08). 0,

35 La significatività statistica dl valor 0,49 cioè la vrifica dll ipotsi con dtrmina Z 8,35 H 0 : 0 contro H : > 0 Z σ 0 0,49 0,0589 8,35 Nlla distribuzion normal unilatral, a Z 8,35 corrispond una probabilità P < L intrprtazion conclusiva è ch sist un accordo statisticamnt significativo, ma oggttivamnt non alto. Infatti ha un livllo o una intnsità - modrat scondo una classificazion, - good scondo l altra. In qust condizioni, ai fini dll intrprtazion appar più util l intrvallo di confidnza: il valor ral di appa è comprso in una scala molto ampia, ssndo incluso con probabilità dl 95% tra - un livllo fair, nl limit infrior ( 0,384) - un livllo modrat, nl limit suprior ( 0,600). Pr la significatività dlla diffrnza tra du indipndnti ( ), dov l ipotsi altrnativa ovviamnt può ssr sia unilatral sia bilatral, Cohn propon dov Z σ + σ σ p o ( p N ( p ) o ) pr ognuno di du campioni in modo indipndnt Pr il calcolo dll rror standard di, ncssario alla vrifica dll ipotsi nulla H 0 : 0, è stata proposta una nuova formula asintotica, quindi pr grandi campioni con l uso dlla distribuzion Z, indicata con s() ssa è: s( ) p + p pi+ p+ i ( pi+ + p+ i ) ( p ) N Può ssr util il confronto con qulla originaria di Cohn, dalla qual diffrisc pr il numrator, com svolto nll smpio succssivo. 35

36 3.3. ESEMPIO. Un dntista ha rgistrato sull cartll di pazinti la sua opinion, cioè la ncssità di strarr il dnt cariato, prima dopo la radiografia. Il contggio dll valutazioni ha dato i sgunti risultati Dopo Estrazion SI NO Total Prima SI NO Total N00 Fornir una misura quantitativa dlla variazion di giudizio o invrsamnt dlla riproducibilità dl giudizio ni du divrsi sami. Risposta. Bnché i calcoli possano ssr ffttuati indiffrntmnt con l frqunz assolut con qull rlativ, pr una vision più chiara di risultati è vantaggioso utilizzar qull rlativ. Dopo trasformazion, i dati divntano Dopo Estrazion SI NO Total Prima SI 0,40 (0,95) 0,05 (0,575) 0,45 NO 0,5 (0,3575) 0,30 (0,95) 0,55 Total 0,65 0,35,00 ricordando ch - in grasstto sono riportat l proporzioni ossrvat, - in corsivo tra parntsi qull atts ch - il numro total di ossrvazioni è N 00. Dopo avr ottnuto p o 0,40 + 0,30 0,70 p 0,95 + 0,95 0,485 si ricavano - il valor di 0,70 0,485 0,5 0,47 0,485 0,55 36