= Pr{Y > X}. un campione casuale semplice (c.c.s.) di dimensione n x da X e Y1, Y2

Transcript

1 STATISTICA, ao LXVI,., 2006 INTERVALLI DI CONFIDENZA NON PARAMETRICI PER L AREA SOTTESA ALLA CURVA ROC Gafraco Admar. INTRODUZIONE I ambto sataro, gl esam dagostc vegoo comuemete utlzzat co l obettvo d rcooscere, relatvamete a ua qualche patologa, soggett malat e quell sa. Nella stuazoe pù semplce, u esame dagostco forsce u rsultato che può essere espresso come postvo o egatvo, co l rsultato postvo che corrspode a valor elevat (superor ad u certo valore d sogla t fssato) o bass (feror ad u certo valore d sogla t fssato) d ua qualche varable dagostca. Naturalmete, l esame o è fallble, coscché alcu soggett malat possoo avere u esame egatvo ( fals egatv ) ed alcu soggett sa possoo avere u esame postvo ( fals postv ). U test dagostco è allora tato pù accurato quato pù è pccola la probabltà che esso produca de fals. Sao X e Y due varabl casual dpedet, co dstrbuzoe cotua, che descrvoo, rspettvamete, la rsposta d u test dagostco su u soggetto sao e su u soggetto malato; s suppoga che u rsultato postvo corrspoda a u valore elevato del test. Il grafco che rappreseta la relazoe tra meo la probabltà d otteere u falso egatvo (la sesbltà) e la probabltà d otteere u falso postvo ( meo la specfctà), per og possble valore d sogla t, è la cosddetta curva ROC (Recever Operatg Characterstc Curve) assocata al test. Essa costtusce uo strumeto mportate per valutare la capactà dscrmate del test e per mettere a cofroto test alteratv. I partcolare, l area sottesa alla curva ROC rappreseta l dce globale d accuratezza dagostca pù comuemete usato. S può mostrare (Bamber, 975) che l valore d tale area cocde co la quattà 0 = Pr{Y > X}. Sa X, X 2,, X u campoe casuale semplce (c.c.s.) d dmesoe da X e Y, Y2,, Y u c.c.s. d dmesoe da Y. S cosder l problema della costruzoe d tervall d cofdeza per 0, ambto o parametrco. Tale problema potrebbe essere rsolto, lea d prcpo, rcorredo alla tecca basata sulla fuzoe d verosmglaza emprca (s veda Owe, 200, come rfermeto geerale) che s è affermata ell ultmo deceo come valda alteratva al

2 40 G. Admar bootstrap e permette d otteere, molte stuazo, rego d cofdeza co buoe propretà teorche, suffcetemete accurate ache quado le dmeso campoare soo medo-pccole. Sa F q la geerca dstrbuzoe multomale sul campoe X,, X, che assega probabltà q h all osservazoe X h. Aalogamete, sa F q la dstrbuzoe multomale sul campoe Y,, Y, che assega probabltà q k all osservazoe Y k. Poché 0 = Pr{Y > X} = E[Pr{Y > X X}] = E[S (X)], dove S ( ) dca la fuzoe d sopravvveza d Y, la fuzoe d verosmglaza emprca per 0, calcolata el puto, è defta come L() q,..., q, q,..., q q q h, () k h k dove l massmo deve essere otteuto sotto vcol q, h h q e k k h k I( Y X ) q q k h k h =. Qu I(E) è la fuzoe dcatrce dell eveto E. La fuzoe L( ) ragguge l suo massmo assoluto corrspodeza del valore ˆ = U = I( Yk X h ), h k dove U è la be ota statstca d Ma-Whte, stmatore o parametrco per 0. Sfortuatamete, a dffereza d quato accade usualmete, o s resce, questo caso, ad otteere u espressoe esplcta per L() va moltplcator d Lagrage. Questo coveete rede, d fatto, utlzzable tale approcco, a causa dell elevata complesstà che caratterzza l calcolo della fuzoe L( ). S può però aggrare l ostacolo e costrure, maera relatvamete semplce, ua pseudoverosmglaza per 0, alteratva alla (), combado la fuzoe d verosmglaza emprca per l fuzoale meda e gl pseudo-valor jackkfe dervat dalla statstca d Ma-Whte. Tale approcco, sprato da u dea d Jg et al. (2005), è l oggetto d dscussoe d questo lavoro. Esso è descrtto el paragrafo 2, el quale s mostra, partcolare, che per la suddetta pseudo-verosmglaza, dcata co L(), vale u rsultato astotco aalogo a quello forto dal teorema d Wlks el caso parametrco. La fuzoe L() s può duque usare, allo stesso modo cu s usa la fuzoe d verosmglaza parametrca, per otteere tervall d cofdeza, co lvell d copertura astotcamete esatt, per l area sottesa alla curva ROC. Alcu rsultat d uo studo d smulazoe, effettuato per valutare l accuratezza el fto degl tervall d cofdeza prodott dal

3 Itervall d cofdeza o parametrc per l area sottesa alla curva ROC 4 metodo proposto, soo rportat el paragrafo 3. Il paragrafo 4 cotee alcue cosderazo coclusve. 2. L APPROCCIO PROPOSTO S cosdero gl pseudo-valor V = U ( )U, =, 2,...,, dove = + e U dca la statstca d Ma-Whte otteuta elmado dal campoe pooled la -esma geerca osservazoe. I partcolare, el seguto s userà, quado opportuo, ache la otazoe U per dcare la statstca d Ma-Whte k otteuta elmado la k-esma osservazoe del campoe da Y, oppure l osservazoe elmata è la h-esma del campoe da X. Posto k h, A I( Y X ) h k s ha U = A/( ) e U h se U k A I ( Y ) h k X h ( ) A I, ( Yk Xh ) k U h ( ) (2) Qud, U A/ k, k U A/ h e (/) h U U ; coscché V U U U. Rsulta, duque, che U è lo stmatore jackkfe per 0, el seso che rsulta U (/ ) V. Ioltre, le varabl V hao meda 0, coè E{V } = 0, =,...,. Ua fuzoe d pseudoverosmglaza per 0 può allora essere otteuta combado la fuzoe d verosmglaza emprca per l fuzoale meda (Owe, 988) e gl pseudo-valor jackkfe V dervat dalla statstca d Ma- Whte. S pes a V, V 2,..., V come a u c.c.s. da ua varable V co meda 0. Sa F p la dstrbuzoe multomale su V,..., V, che assega probabltà p alla osservazoe V. La fuzoe d verosmglaza emprca per la meda d V, valutata el puto, è defte come L() = p,..., p p, sotto vcol p e V p. Sao V () e V () l pù pccolo ed l pù grade tra gl pseudo-valor, rspettva-

4 42 G. Admar mete. Quado ( V(), V( ) ), rcorredo al metodo de moltplcator d Lagrage, s ottee l espressoe esplcta L() = { ( V )}, dove = () è l uca soluzoe dell equazoe V 0 ( V ). (3) Ache la fuzoe L() ragguge l suo massmo assoluto quado = U e, tale puto, vale. Percò, la fuzoe log-rapporto d verosmglaza emprca per 0 (la meda d V) è l ( ) log{ L( )} log{ ( V )}, (4) quado (V (), V () ). Se (V (), V () ), s ha L() = 0 e, equvaletemete, l() =. I realtà, le varabl V,..., V o soo é detcamete dstrbute é dpedet. Cò o d meo, u rsultato aalogo a quello usuale (relatvo alla stuazoe d c.c.s.) sulla dstrbuzoe astotca della statstca d verosmglaza emprca per la meda, può essere otteuto, el caso questoe, co argometazo ad hoc. Tale rsultato, forto dal teorema, è aalogo a quello sacto dal teorema d Wlks el caso parametrco e gustfca l uso del terme pseudoverosmglaza per la fuzoe L( ). Il teorema è preceduto dal lemma e dal lemma 2 che rportao alcu rsultat prelmar. Il lemma, partcolare, forsce l rsultato classco sulla dstrbuzoe astotca della statstca d Ma- Whte (s veda, per esempo, Serflg, 980, captolo 5). Lemma. Sao ( 0 ) = Pr{Y > X, Y 2 > X} 2 0 e ( 0 ) = Pr{Y > X, Y > X 2 } 2 0. S assuma che sa ( 0 ) > 0 o ( 0 ) > 0 e che /, co 0 < < +, quado. Allora, quado, d 0 N 0 ( U ) (0, ) co 0 = ( + ){ ( 0 ) + ( 0 )}/. Lemma 2. Sotto le codzo del lemma, quado, s ha: () =,..., V = O(); () Pr{V () < 0 } e Pr{V () > 0 }.

5 Itervall d cofdeza o parametrc per l area sottesa alla curva ROC 43 Dmostrazoe. () S può scrvere V =U + (UU ), coscché V U + U U. Ioltre, base alla (2), rsulta A A j j A j / U U U ( ) ( ), oppure A A j / j A j U U U ( ) ( ), per qualche opportuo tero j tale che 0 j o 0 j, rspettvamete, a secoda che la statstca U sa otteuta elmado u osservazoe del campoe da Y o del campoe da X. Pertato, teedo presete che 0 U (e che lo stesso vale per U ), s ha U U {/( ), /( )}, da cu segue l asserto. () Sao U m e U l pù pccolo ed l pù grade de valor U, =,...,. S ha, evdetemete, V () = U ( ) U e V () = U ( ) V () V () m U. Qud, m U = (U U = (U U ) + ( U m U ) ( U m U ) (U m U ) (U U ), m U ), valedo l sego d uguaglaza, etramb cas, esclusvamete se m U = U. I deftva, duque, rsulta essere V () < m U e V () > U U =, a me- m o che o sa V () = U = U = V () = U. È facle covcers che quest ultma crcostaza s verfca, per og fssata coppa d valor ( >, > ) per le dmeso campoare, solo se U = 0 o U =, coè solo quado due campo, da Y e da X, rsultao completamete separat el campoe pooled ordato. I tutt gl altr cas, fatt, l osservazoe campoara è tale che almeo ua determazoe della varable X è pù grade d almeo ua determazoe della varable Y e almeo ua determazoe d Y è pù grade d almeo ua determazoe d X. E quest cas umerator elle espresso per le statstche U (e ) date ella (2), o possoo rsultare tutt ugual al varare k U h dell osservazoe Y k (X h ) elmata. Sa ora 0 > 0 u valore reale fssato. S suppoga che, quado, la Pr{U m < } coverga al valore, dove è u qualche reale stretta-

6 44 G. Admar mete postvo. Allora, per og tale che 0 < 0, lm Pr{ U < 0 + } m, vsto che l eveto { U < 0 + } mplca l eveto { U m < }. Allora, s avrebbe lm Pr{U m 0 + } e, poché l eveto { U m 0 + } mplca l eveto {U 0 + }, rsulterebbe lm Pr{U 0 + } > 0. Verrebbe pertato egata la cossteza dello stmatore U. Deve duque essere ecessaramete lm Pr{ U m lm Pr{ U 0 } =. 0 } =. I maera aaloga s può mostrare che Per completare la dmostrazoe occorre mostrare che Pr{0 < U < } quado. Ma cò segue dalla cossteza della statstca U, dovedo essere, sotto le potes fatte, 0 < 0 <. m Teorema. Sotto le codzo del lemma, 2l( 0 ) d 2. Dmostrazoe. I base al rsultato () del lemma 2, s ha che Pr{V () < 0 < V () } quado. Pertato, la quattà l( 0 ) è fta co probabltà che tede a quado. Da u applcazoe del teorema d D, la fuzoe () defta dall equazoe (3) è cotua u toro d U e rsulta d( ), d U 2 dove ˆ ( V ) U è lo stmatore jackkfe per la varaza astotca d U. S tratta d stmatore cosstete, coè ˆ 0 (). Sa 0 = ( 0 ). Lo svluppo sere d Talor della fuzoe () u toro d U, arrestato al prmo orde, permette d otteere U 0 0 = ˆ /2 o p( ). (5) Percò, base a quato sacto dal lemma ed alla cossteza d ˆ, s ha 0 = /2 O p ( ) e, d cosegueza, teedo coto ache del rsultato () del lemma 2, 0 0 /2 V O ( ). Lo svluppo d McLaur p o p

7 Itervall d cofdeza o parametrc per l area sottesa alla curva ROC 45 2 z log( z ) z z, z z, 3 2 3( z ) 3 usato ella espressoe d l( 0 ), coè ella (4) calcolata = 0, porta po a p l ( ) ( V ) ( /2) ( V ) o (). Qud, teedo coto della (5) e del fatto che s ha ( V 0 ) ( V U ) ( U 0 ) ˆ 2 ( U 0 ) 2 l ( 0 ) o p(). O p( ), Il rsultato segue dalla ormaltà astotca d ( U 0 ) e dalla cossteza d ˆ. I base a quato affermato dal teorema, la pseudo-verosmglaza L() può essere utlzzata, ella maera usuale, per otteere tervall d cofdeza per (o rsolvere problem d verfca d potes su) l area 0 sottesa alla curva ROC. I partcolare, se c è tale che Pr{ 2 c } =, l seme { : 2l() c } costtusce u tervallo d cofdeza approssmato per 0, co lvello d copertura omale. La fuzoe L(), ella sua versoe ormalzzata, rappreseta ua approssmazoe della versoe ormalzzata della fuzoe d verosmglaza emprca L(), almeo prossmtà del puto d massmo U. Questo approcco rpropoe, qud, alcue propretà della tecca pura basata sulla verosmglaza emprca e preseta alcu vatagg rspetto a metod alteratv qual quello classco basato sull approssmazoe ormale per la dstrbuzoe della statstca U. I partcolare, la costruzoe d tervall d cofdeza medate L() o rchede la stma della varaza astotca d alcua statstca. Ioltre, gl tervall corrspodet hao forma determata automatcamete da dat che o è soggetta a vcol predetermat d smmetra.

8 46 G. Admar 3. ALCUNI RISULTATI DI SIMULAZIONE Per valutare l accuratezza degl tervall d cofdeza prodott dal metodo descrtto, è stato effettuato uo studo d smulazoe. Le tavole e 2 forscoo lvell d copertura emprc degl tervall d cofdeza per 0, costrut medate la fuzoe L(), otteuta a partre da + pseudo-valor dalla statstca d Ma-Whte. I lvell emprc rportat s rferscoo ad alcu valor del lvello omale e delle dmeso e de campo. A scopo comparatvo, soo fort ache lvell emprc degl tervall otteut medate l metodo classco basato sull approssmazoe ormale per la dstrbuzoe della statstca U. Og espermeto d smulazoe è basato su 5000 replcazo. Nel caso de rsultat rportat ella tavola, valor per le varabl Y e X soo stat geerat, rspettvamete, da ua N(, 4) e da ua N(0, ). Soo stat cosderat tre dvers valor d, a cu corrspodoo valor 0.55, 0.75 e 0.95 per 0. Per quato rguarda vece rsultat rportat ella tavola 2, valor per le varabl Y e X soo stat geerat da ua dstrbuzoe gamma co parametro d forma e parametro d scala 2, Ga(, 2), e da ua Ga(, ), rspettvamete. Ache questo caso, a valor scelt per corrspodoo valor 0.55, 0.75 e 0.95 per 0. Dall aals de rsultat fort dalle tavole, gl tervall d cofdeza basat sulla pseudoverosmglaza L() appaoo suffcetemete accurat ache quado le dmeso campoare soo medo-pccole e, come c s poteva aspettare, tedoo ad essere pù accurat degl tervall otteut co l metodo classco basato sull approssmazoe ormale. Naturalmete, le dmeso campoare che asscurao u lvello d accuratezza suffcetemete elevato dpedoo dal vero valore 0 e soo tato pù grad quato pù tale valore s avvca a. Rsultat d smulazoe aalogh a quell rportat (e relatve sml cocluso) s ottegoo per valor pccol d 0 (0 < 0 < /2), ache se tal valor rsultao d scarso teresse ell aals ROC. 4. NOTE CONCLUSIVE La fuzoe L(), dscussa questo lavoro, costtusce ua fuzoe d pseudo-verosmglaza per l area 0 sottesa alla curva ROC. Per essa vale u rsultato astotco aalogo a quello forto dal teorema d Wlks el caso parametrco; cò gustfca l terme pseudo-verosmglaza ad essa attrbuto e e cosete l uso, ua maera stadard, per otteere tervall d cofdeza o parametrc, co lvell d copertura astotcamete corrett.

9 Itervall d cofdeza o parametrc per l area sottesa alla curva ROC 47 TAVOLA Lvell d copertura emprc degl tervall d cofdeza per 0 otteut medate la pseudo-verosmglaza L() () e l approssmazoe ormale (). Dat geerat da dstrbuzo ormal 0 = 0.55 = 0, = 5 = 35, = 50 0 = 0.75 = 0, = 5 = 5, = 20 = 35, = 50 0 = 0.95 = 35, = 50 = 55, = 70 = 00, = TAVOLA 2 Lvell d copertura emprc degl tervall d cofdeza per 0 otteut medate la pseudo-verosmglaza L() () e l approssmazoe ormale (). Dat geerat da dstrbuzo gamma 0 = 0.55 = 0, = 5 = 35, = 50 0 = 0.75 = 0, = 5 = 5, = 20 = 35, = 50 0 = 0.95 = 35, = 50 = 55, = 70 = 00, = La versoe ormalzzata della fuzoe L() rappreseta u approssmazoe della versoe ormalzzata della fuzoe d verosmglaza emprca L() per 0, d cu rpropoe alcue propretà. Le due fuzo o soo però la stessa cosa e c s aspetta che possao essere ache molto dverse quado le dmeso campoare soo pccole, partcolare rego dstat dal puto d massmo U. Uo studo specfco delle dffereze tra L() e L() potrebbe rvelars qud molto utle, evetualmete per dvduare tecche d aggustameto che permettao d mglorare l comportameto d L() come surrogato d L(). U ultma cosderazoe rguarda ua possble estesoe dell approcco presetato. I talue stuazo, puttosto che l tera area sottesa alla curva ROC, è preferble usare, come dce d accuratezza dagostca, ua porzoe dell area

10 48 G. Admar stessa; per esempo, quella corrspodete a valor pccol, feror a ua certa sogla u, della probabltà assocata a u falso postvo (s veda Dodd e Pepe, 2003). I questo caso, per l area parzale 0, sottesa alla curva ROC ella regoe (0, u), vale la relazoe 0 = Pr{Y > X, X > t}, dove t = S ( u) e S ( ) dca la fuzoe d sopravvveza d X. I alcue crcostaze è ragoevole assumere che l quatle t sa oto. Allora, uo stmatore o parametrco per 0 è dato da ˆ I( Yk Xh, Xh t ) h k e gl pseudo-valor jackkfe dervat da tale statstca possoo essere utlzzat, come descrtto el lavoro, per otteere ua pseudo-verosmglaza per 0. Dpartmeto d Sceze Statstche Uverstà d Padova GIFRCO ADIMARI RIFERIMENTI BIBLIOGRAFICI D. BAMBER, (975), The area above the ordal domace graph ad the area below the recever operatg graph, Joural of Mathematcal Pscholog, 2, pp L.E. DODD, M.S. PEPE, (2003), Partal AUC estmato ad regresso, Bometrcs, pp B.Y. JING, J. YU, W. ZHOU (2005), Emprcal lkelhood for o-degeerate U-statstcs, Proocedgs ASMDA (Appled Stochastc Models ad Data Aalss), pp A.B. OWEN, (988), Emprcal lkelhood rato cofdece tervals for a sgle fuctoal, Bometrka, 75, pp A.B. OWEN, (200), Emprcal lkelhood, Chapma ad Hall, Lodo. R.J. SERFLING, (980), Appromato theorems of mathematcal statstcs, Wle, New York. RIASSUNTO Itervall d cofdeza o parametrc per l area sottesa alla curva ROC Seguedo u dea d Jg et al. (2005), questo lavoro s combao la fuzoe d verosmglaza emprca per l fuzoale meda e gl pseudo-valor jackkfe dervat dalla statstca d Ma-Whte per due campo. Cò permette d otteere ua fuzoe d pseudo-verosmglaza L() per l area 0 sottesa alla curva ROC. S dmostra che vale u rsultato astotco aalogo al teorema d Wlks, coscché L() può essere usata, ella maera usuale, per otteere tervall d cofdeza approssmat per 0. Vegoo oltre fort alcu rsultat d smulazoe che mostrao l utltà del metodo proposto.

11 Itervall d cofdeza o parametrc per l area sottesa alla curva ROC 49 SUMMARY Noparametrc cofdece tervals for the area uder the ROC curve Followg a dea b Jg et al. (2005), ths paper combes the emprcal lkelhood for the mea fuctoal wth jackkfe pseudo-values obtaed from the Ma-Wte twosample statstc. Ths leads to a pseudo-lkelhood L() for the area 0 uder the ROC curve. A Wlks-tpe theorem s proved, so that L() ca be used a stadard wa to obta appromate cofdece tervals for 0. Some smulato results are gve, order to show the usefuless of the proposed method.