STIMATORI DELLA MEDIA DI UNA POPOLAZIONE PER DATI MANCANTI

Transcript

1 Uverstà degl Stud d Padova Corso d laurea Statstca e Gestoe delle Imprese STIMATORI DELLA MEDIA DI UNA POPOLAZIONE PER DATI MANCANTI Relatore: Prof. Gacarlo Daa Dpartmeto d Sceze Statstche Laureado: Ncola Olver Ao Accademco 2011/2012

2

3

4

5 Idce Itroduzoe Notazo e assuzo VIII XII 1 Stmator della meda seza metod d mputazoe Itroduzoe Dat macat MCAR Stmator che utlzzao tutta, o parte, dell formazoe dspoble Campoameto a due fas Dat macat MAR Stmator doppamete robust L approcco semparametrco Metod d aggustameto per poderazoe Nota bblografca Stmator della meda utlzzado metod d mputazoe Itroduzoe Dat macat MCAR Imputazoe per meda, rapporto, dffereza e regressoe Utlzzo d mputazoe multpla el campoameto stratfcato e metod d mputazoe el campoameto per cluster Dat macat MAR

6 VI INDICE Imputazoe earest eghbor Imputazoe tramte pseudo-verosmglaza emprca Metod d mputazoe doppamete robust Imputazoe poderata Nota bblografca Bblografa 52

7 INDICE VII

8 Itroduzoe Il problema de dat macat è abbastaza comue ella rcerca emprca, specalmete elle sceze ecoomco-socal cu la sommstrazoe d questoar è ua delle tecche pù dffuse per la raccolta d dat e formazo. Uo de prm problem che u rcercatore s trova ad affrotare, fase d aals de rsultat, è quello d u dataset completo e co error. Questo accade geeralmete perché ch compla l questoaro o e terpreta correttamete la struttura, commette accdetalmete qualche errore el forre le rsposte, o vuole delberatamete rspodere ad alcue domade, oppure a causa d u errore dello strumeto d codfca, che dal supporto cartaceo deve trasferre dat su supporto formatco, o d ch vece s occupa del data etr. No esste letteratura u uca tecca o ua metodologa d approcco al problema d come teere sotto cotrollo l effetto de dat macat. Tuttava prma d parlare de metod d trattameto de dat macat, ed partcolare de metod per la geerazoe delle mputazo è opportuo soffermars sul cocetto d o rsposta. Co l terme o-rsposta (o respose) s tedoo ua molttude d stuazo cu l dato o vee osservato. I effett s parla d o rsposta og qualvolta o s resce ad otteere l dato su ua o pù varabl d teresse per ua o pù utà campoare. La o rsposta causa sa u cremeto ella varabltà degl stmator, dovuta ad ua rduzoe della base campoara d aals e/o all applcazo d metod per l trattameto della stessa, sa stmator dstort, se rspodet dfferscoo sstematcamete da o rspodet rspetto alle caratterstche d teresse. Prcpalmete s dstguoo due tp d o rsposta la o rsposta totale (Ut No-Respose) e la o rsposta parzale (Item No- Respose). No Rsposta Totale: s rfersce al tpo d o rsposta cu o s ha essua formazoe dspoble per utà campoare elgbl. Le rago possoo essere vare e dpedoo ovvamete dalle modaltà d raccolta de dat, alcue possoo

9 INTRODUZIONE IX essere: mpossbltà d cotatto, o reperbltà, abltà a rspodere, rfuto, questoaro o resttuto. No Rsposta Parzale: s rfersce al caso cu le formazo rlevate dal rspodete soo tal da essere rteute accettabl per l data base, ma alcue formazo rsultao macat. I motv possoo essere dvers: l tervstato cosdera l questo o compresble, troppo persoale oppure rfuta categorcamete quest sml. L obettvo d questo lavoro, è fare ua rassega delle tecche utlzzate per gestre modo effcace ed effcete l problema delle o rsposte. I partcolare, s è decso d esamare la letteratura relatva a metod d stma della meda d ua popolazoe del perodo , voledo dare u compedo de pù recet svlupp matera. Aalzzado gl artcol pubblcat el perodo scelto, s è otato che o esste ua smbologa uvoca e uversalmete utlzzata; s è rteuto, qud, opportuo uformare l lguaggo per tutt metod d stma descrtt, precsado l sgfcato de term usat. Il materale raccolto è stato orgazzato secodo due crter fodametal: l tpo d meccasmo geeratore de dat macat ( mssg completel at radom, o MCAR e mssg at radom, o MAR) e l metodo d mputazoe de valor macat. Nel prmo captolo, dvso per meccasmo geeratore de dat macat, presetamo cque paragraf rguardat stmator della meda : prm due paragraf potzzao l utlzzo del meccasmo MCAR, metre gl ultm tre potzzao u meccasmo MAR. Nel paragrafo 1.2.1, le metodologe d stma vegoo presetate rfermeto alla tpologa del dataset d dat macat. Nel paragrafo 1.2.2, presetamo stmator per rapporto, prodotto e regressoe el campoameto a due fas; quest vegoo aalzzat su scear dvers a secoda delle formazo dspobl. Gl stmator per rapporto e prodotto, sebbee sao meo effcet dello stmatore per regressoe, vegoo comuque cosderat per avere u quadro completo degl stmator propost letteratura. Dal paragrafo 1.3.1, cosderamo dat macat proveet da u meccasmo d tpo MAR; l prmo gruppo d stmator presetato è quello degl stmator doppamete robust. Quest mplcao la modellazoe sa della regressoe della varable d studo sulle varabl auslare che della probabltà d rsposta; soo stmator cosstet d ache quado uo de due modell o è correttamete specfcato. Nel paragrafo 1.3.2, cosderamo stmator che s basao su u approcco semparametrco; ess coclao l metodo d

10 X INTRODUZIONE regressoe o parametrca co gl approcc parametrc, codesado l formazoe coteuta elle varabl auslare attraverso ua fuzoe parametrca, così da rdurre la dmesoe per la regressoe o parametrca successva. Questo tpo d stma semparametrca vee usata soprattutto egl stud co u elevato umero d varabl auslare. Nell ultmo paragrafo del captolo uo, propoamo stmator che utlzzao metod d aggustameto per poderazoe. Ess cosstoo ell aumetare pes delle utà rspodet, modo da compesare le macate rsposte delle altre utà. Nel paragrafo vegoo cosderat tre metod: l metodo NWA dretto, la tecca o parametrca d lscameto d tpo Kerel e l metodo o parametrco d regressoe polomale locale. Nel secodo captolo, dvso ach esso per meccasmo geeratore de dat macat, presetamo se paragraf rguardat stmator d che utlzzao metod d mputazoe: prm due paragraf potzzao l utlzzo del meccasmo MCAR, metre gl ultm quattro potzzao u meccasmo MAR. Nel prmo paragrafo (2.2.1), presetamo dvers stmator che utlzzao metod d mputazoe per meda, rapporto e regressoe, cofrotadoe relatv MSE. Tal stmator vegoo deft potzzado dvers scear, relazoe alla tpologa del dataset de dat macat. Nel paragrafo 2.2.2, presetamo alcue metodologe d mputazoe el campoameto stratfcato e per cluster. Sotto campoameto stratfcato, s è vsto lo stmatore basato sull mputazoe multpla; quest ultmo cosste el creare u certo umero d valor mputat per og valore macate e el combare dvers dataset, completat separatamete, per cascuo strato. Abbamo, fe, descrtto alcu metod per trattare le o rsposte el caso d campoameto per cluster. S soo presetat modell sa per l caso cu s abba a dsposzoe la varable d studo e le formazo sull effetto de cluster, sa se s dspoe della varable auslara osservata per tutto l campoe: questo caso, s sfrutta l formazoe aggutva per stmare. Se, vece, dat macat seguoo u meccasmo d tpo MAR, soo stat presetat quattro grupp d stmator che utlzzao le seguet tecche d mputazoe: l mputazoe earest eghbor, l mputazoe tramte pseudoverosmglaza emprca, metod d mputazoe doppamete robust e l mputazoe poderata. Il paragrafo è dedcato al metodo NNI, l quale può essere pù effcete d altr metod, come l mputazoe tramte meda, quado la varable auslara forsce formazoe utle allo studo d ; oltre, o assumedo u modello d regressoe parametrca tra e x, l metodo rsulta essere

11 INTRODUZIONE XI pù robusto rspetto alle mputazo per rapporto o regressoe che sotttedoo u modello d regressoe leare. Il paragrafo è dedcato allo studo de metod d mputazoe basat sulla pseudo-verosmglaza emprca; tra quest, abbamo preso cosderazoe la tecca che utlzza la meda d pseudo-verosmglaza e la tecca che utlzza l mputazoe casuale d pseudo verosmglaza. Nel paragrafo 2.3.3, oggett d studo soo metod d mputazoe doppamete robust, tra qual rcordamo: l metodo d mputazoe multpla, che utlzza per la selezoe de dataset mputat la tecca NNI, e l metodo d regressoe o parametrco. I metod d mputazoe doppamete robust permettoo agl stmator d d essere astotcamete o dstort ed effcet quado almeo uo tra l modello d regressoe e l modello per la probabltà d rsposta è correttamete specfcato. Ife, ell ultmo paragrafo del secodo captolo (2.3.4), s esama l approcco d mputazoe poderata, basata sulle probabltà d rsposta stmate; questo caso, valor mputat dpedoo da valor d ua fuzoe Kerel.

12 Notazo e assuzo S defsca u campoe s, d dmesoe fssa dalla popolazoe fta U d N dvdu ( < N), come u sottoseme d etchette che detfcao gl elemet della popolazoe. Ua procedura d campoameto equvale a defre ua regola per selezoare elemet d U; questa regola è descrtta dal dsego campoaro co probabltà d clusoe d prmo e secodo orde par a e, rspettvamete. Quado le probabltà d clusoe d prmo orde soo tutte costat, l campoe s provee da ua campoameto casuale semplce seza retroduzoe ( glese SRSWOR, da smple radom sample wthout replacemet). La procedura d selezoe SRSWOR è d gra luga la pù mportate ella pratca, quato vee utlzzata ache process d selezoe termed d dseg pù compless (campoameto a due o pù stad). Sa, la varable oggetto d studo, d meda gota: s dspoe d u campoe d rsposte, così dcato. Per cascuo degl N dvdu della popolazoe, s può dsporre, oltre, d u'altra varable auslara correlata alla. Sao, qud, valor della varable auslara. All tero del campoe s, u sottogruppo d utà omette formazo rguardo la caratterstca d teresse, provocado ua macata rsposta parzale. Per dervare tale feomeo, s defsca ua varable dcatrce per che assume valor: 1 z 0 se è osservata se o è osservata Il campoe osservato può essere dcato co:, x, z,, x, z,...,, x, z Cò o esclude l fatto che le metodologe d stma d presetate, utlzzo pù varabl auslare correlate alla varable d studo.

13 NOTAZIONI E ASSUNZIONI XIII Nel seguto, faremo uso d due meccasm d geerazoe de dat macat: MCAR e MAR. Questa dstzoe è dovuta al fatto che la probabltà d rposta può dpedere o meo dalle varabl auslare correlate a. Assumedo che gl dcator d rsposta sao varabl casual dpedet defamo: mssg completel at radom (MCAR), l meccasmo cu la probabltà d rsposta è dpedete sa dalla varable d studo che dalla varable auslara assocata; ossa, co, per. mssg at radom (MAR), l meccasmo cu la probabltà d rsposta dpede dalla varable auslara osservata per l -esma utà, ma o dalla varable ; ossa, co, per. D seguto, presetamo alcue quattà che caratterzzao la popolazoe oggetto d studo, co lettere mauscole, e le corrspodet quattà campoare, co lettere muscole. La meda, varaza e varaza corretta d soo dcate co: Y Y S Y N N N1 N N N 2 2 La covaraza, l coeffcete d correlazoe, l coeffcete d regressoe e l rapporto tra le mede delle varabl e x della popolazoe soo dcat rspettvamete co: S Le rspettve quattà campoare soo dcate co: N 1 Sx Sx Y Yx X R 2 N SS S X x 11 x x 1 1 s Sˆ s s s ˆ ˆ Rˆ s s x x ˆ x x x x Sx 2 11 x sx

14 XIV NOTAZIONI E ASSUNZIONI

15 Captolo 1 Stmator della meda seza metod d mputazoe 1.1 Itroduzoe L obettvo d questo captolo, è presetare dverse metodologe d stma della meda d ua varable d studo preseza d dat macat. Le metodologe d stma, qu esposte, o utlzzao metod d mputazoe e questo comporta l elmazoe delle utà che o presetao rsposta da dat a dsposzoe. Gl stmator propost soo stat, oltre, suddvs a secoda del meccasmo d geerazoe de dat macat: MCAR e MAR. Il paragrafo 1.2 è dedcato al caso cu dat macat sao del tpo MCAR: s cotraddstguoo due flo prcpal d stmator, l prmo rguardate gl stmator che utlzzao tutta, o parte, dell formazoe dspoble; l secodo rguardate gl stmator che usao u campoe proveete da u dsego due fas. Nel paragrafo 1.3 soo espost tre grupp d stmator, potzzado u meccasmo d geerazoe d dat macat d tpo MAR. Il prmo gruppo comprede stmator doppamete robust; l secodo, stmator che utlzzao u approcco semparametrco e l ultmo gruppo comprede stmator basat su metod d aggustameto per poderazoe.

16 2 Stmator della meda seza metod d mputazoe Dat macat MCAR 1.2 Dat macat MCAR Se assumamo che l meccasmo d geerazoe de dat macat è d tpo MCAR, la probabltà che ua data osservazoe sa macate, o dpede é da valor della varable d studo, é da valor delle varabl auslare. I questo caso, l campoe completo, può essere cosderato u sottocampoe casuale del campoe orgaro Stmator che utlzzao tutta, o parte, dell formazoe dspoble Cosderamo ua classe geerale d stmator della meda della caratterstca d studo sulla base d u campoe s, d dmesoe, otteuto a partre da u qualsas dsego d campoameto. Suppoamo che s possao presetare dat macat sa per la varable d studo che per la varable auslara assocata; sotto queste potes, s può defre ua classe d stmator d Horvtz-Thompso che cosdera tutt dat dspobl, e come tale preferble agl stmator usual che rmuovoo le osservazo complete. S assuma d possedere u seme ( p q) d osservazo complete all tero del campoe s e d avere a dsposzoe p osservazo della caratterstca auslara x ma o le corrspodet osservazo della caratterstca d studo. Allo stesso modo, abbamo ua sere d q osservazo della caratterstca el campoe, ma valor assocat della caratterstca x soo macat. Ioltre p e q soo umer (ter) che verfcao le seguet codzo: p > 0 e q < /2,. Per comodtà, separamo le utà del campoe s tre sem dsgut: s 1 s 2 s 3 S cosder u dsego campoaro geerco d = (S d, P d ) co probabltà d clusoe del prmo orde π k e del secodo orde π kl strettamete postve e defamo seguet stmator d Horvtz-Thompso, relatv a tre sem s 1, s 2, s 3. _ (1) HT s 1 N _ (3) HT s 3 N _ (1) x HT s 1 x N _ (2) x HT s N (1.1) 2 x

17 Stmator della meda seza metod d mputazoe Dat macat MCAR 3 A questo puto è possble defre (ota ) uo stmatore alle dffereze, fuzoe degl stmator d H-T deft precedetemete, apparteete ad ua classe superore g : (1,3) (1) (2) c( XxHT ) d( XxHT ) gd HT (1.2) dove rappreseta lo stmatore d H-T calcolato sull seme s 1 s 3. I valor de parametr c e d che provvedoo a mmzzare la varaza d stma s possoo calcolare el seguete modo: e, dove _ (1) _ (1) _ (2) V( xht ) cov( xht, xht ) _ (1) _ (2) _ (2) cov( xht, xht ) V( xht ) _ (1,3) _ (1) _ (1,3) _ (2) cov( HT, xht ) cov( HT, xht ) (1.3) (1.4) I valor ottm d c e d dpedoo dalle caratterstche della popolazoe e per questo motvo lo stmatore dffereza ottmale o può essere calcolato se o utlzzado valor campoar. Sosttuedol (1.2) s ha: _ (1,3) _ (1) _ (2) * ˆ gd HT HT HT cˆ( X x ) d( X x ) (1.5) Possamo calcolare, qud, le stme delle varaze e covaraze degl stmator d Horvtz-Thompso e successvamete e. Rsulta qud:. Se l dsego d campoameto cosderato è d tpo SRSWOR, gl stmator d H- T soo rappresetat da semplc mede e lo stmatore alle dffereze dveta: _ (1,3) _ (1) _ (2) * ˆ gd cˆ( Xx ) d( X x ) (1.6) dove _ (1,3) 1 s1s 2, p _ (1) x 1 x s1 p, q _ (2) x 1 s 2 p x I questo caso, possamo esplctare l espressoe per la varaze e covaraze degl stmator esamat. Se cosderamo p e q costat le espresso soo:

18 4 Stmator della meda seza metod d mputazoe Dat macat MCAR Var Var Var x Var x (1) 2 ( ), (1,3) 2 ( ), (1) 2 ( ) x, (2) 2 ( ) x, (1) (2) (, ) Cov x x 1 1 S p q N (1,3) (1) (, ) Cov x 1 1 S p N 1 1 S p q N 1 1 S p N Sx p q N Sx p N 1 1 S q N (1,3) (2) 1 1 Cov(, x ) Sx q N x se p q p se p q p (1.7) (1.8) (1.9) (1.10) (1.11) (1.12) (1.13) Le varaze e covaraze possoo essere faclmete stmate dal campoe, così da otteere le stme della matrce e del vettore. Se cosderamo p e q varabl casual, le corrspodet espresso soo otteute sosttuedo a, loro valor attes. Aalzzado le propretà degl stmator propost è possble verfcare che, quado e l campoameto è d tpo SRSWOR, gl stmator soo, sotto codzo d regolartà, astotcamete ormal e o dstort. U partcolare stmatore all tero della classe g, equvalete al precedete quato ad effceza, è quello d tpo rapporto: r X X 1 2 (1,3) (1) (2) x x (1.14) Seguedo ua procedura equvalete a quella usata per lo stmatore alle dffereze, otteamo valor d α 1 e α 2 che mmzzao la varaza,, dove

19 Stmator della meda seza metod d mputazoe Dat macat MCAR 5 V( x ) R Cov( x, x ) R C (1) (2) 2 (2) 2 Cov( x, x ) R V( x ) R 0 (1) 2 (1) (2) 2 (1.15) (1.16) dove, questo caso, R vale. Geeralmete le espresso d quest valor ottmal, dpedoo da quattà d popolazoe, ma, applcado la stessa procedura usata per lo stmatore alle dffereze s ottee l seguete stmatore ottmale:, (1,3) (1) (1,3) (2) C Cov(, x ) R Cov(, x ) R ˆ * (1,3) X X r (1) (2) x x ˆ 1 2 (1.17) dove valor d e possoo essere otteut su base campoara. S propoe, ora, uo stmatore basato sulla pseudo verosmglaza emprca che lavora sotto le medesme potes e co la stessa struttura del campoe precedete: s 1 s 2 s 3 Izamo col defre lo stmatore basato sull tero campoe s per po rcodurc al ostro caso d studo. Lo stmatore è strutturato el seguete modo: p ˆ (1.18) PE s Per trovare s massmzza la fuzoe d pseudo log-verosmglaza emprca, vcolata dalle seguet codzo: p pu (1.19) (1.20) dove d = 1/π e u soo quattà ote, co. S possoo proporre dverse espresso per u, ma qu s cosdera la pù comue:, che può essere gustfcata cosderado ua relazoe leare tra e x. Usado moltplcator d Lagrage s può vedere che 1 (0 p 1), 0,

20 6 Stmator della meda seza metod d mputazoe Dat macat MCAR dove * d pˆ, per s, 1u, e l moltplcatore d Lagrage,, è soluzoe d (1.21) s du * 1u 0 u (1.22) Toramo ora a cosderare tre sem s 1, s 2, s 3 da cu eravamo partt. Cosderamo, qud, seguet stmator per rapporto. d ; d ; d ; 1 *1 3 *3 13 *13 w w w s s s s x d x ; x d x ; x d x ; 1 *1 2 *2 12 *12 w w w s s s s dove d d, d d, d d, d *1 *2 * d j s1 j d j s2 j d js 3 j d d,, *12 *13 d d j s1 s2 j d js1s 3 j d 1/, d 1/, d 1/, d 1/, d 1/ (1.23) (1.24) (1.25) (1.26) (1.27) Le quattà, soo rspettvamete le probabltà d clusoe d prmo orde de campo. Notamo che quado u = 0, s ha e lo stmatore d massma pseudo verosmglaza emprca è uguale allo stmatore per rapporto defto precedetemete, l quale o utlzza l formazoe della varable auslara x. Cosderamo lo stmatore d massma pseudo verosmglaza emprca d : 1 1 (1.28) PE s1 p ˆ dove massmzza. Cosderado l metodo de moltplcator d Lagrage, è dato da (1.21) e (1.22) dopo aver sosttuto d co (1.21) e (1.22). S evdeza che tutte queste uove espresso soo valde per.

21 Stmator della meda seza metod d mputazoe Dat macat MCAR 7 Lo stmatore o utlzza l formazoe forta da campo s 2 e s 3 ed è per questo motvo che è utle defre u uovo stmatore che cosder ache queste formazo. Dal fatto che, per la varable d teresse, s abbao p q valor, l uovo vettore de pes deve essere defto co dmesoe p q. Qud, l uovo stmatore è dato da pˆ PE s1 (1.29) dove soo otteut come (che ha dmesoe p q); usamo oltre l moltplcatore d Lagrage basato sul campoe s 1 e s 2 (1.21). La quattà è otteuta da (1.22) dopo aver sosttuto d co d 12 (1.22). Sfortuatamete, lo stmatore proposto o usa l formazoe per la varable d studo forta dal campoe s 3. Per rsolvere questo problema cosderamo ua classe d stmator, che usa tutta l formazoe della varable clusa s 1 e s 3. (1 ) 1 3 PE PE w (1.30) dove α è ua costate che assume valor ell tervallo (0,1). Lo stmatore è defto (1.23). Lo stmatore ottmo ella classe proposta è lo stmatore defto da (1.30) co u valore α opt che mmzza la varaza astotca, la quale può essere scrtta come 2 * 2 * * V( ) (1 ) 2 (1 ) (1.31) PE opt M opt N opt opt L dove * (1.32) M V( ) BV( x ) 2 BCov(, x ), e N V( ), * 3 w w w w w L Cov(, ) BCov( x, ). * w w w w opt * * N L * * * M N 2L (1.33) (1.34) (1.35) Ua caratterstca teressate dello stmatore basato sulla pseudo verosmglaza emprca è che pes rsultat soo sempre postv e per questo la tecca è geeralmete applcable ache alla stma d parametr dvers dalla meda d popolazoe come per esempo quatl.

22 8 Stmator della meda seza metod d mputazoe Dat macat MCAR U altra stuazoe cosderata letteratura è relatva al caso cu dat macao separatamete e o smultaeamete per tutte le caratterstche. Assumamo la preseza d due varabl quattatve auslare x e z d cu cooscamo le mede. I pratca, dat macat possoo essere preset etrambe le varabl sopractate e per questo motvo s utlzza ua struttura per dat o dspobl come la seguete: s 1 s 2 s 3 s 4 Le formazo auslare dspobl possoo essere utlzzate la costruzoe dello stmatore: ˆ X x YDAI AI B Z z (1.36) dove soo stmator d Horvtz-Thompso calcolat per le rspettve varabl e rappresetat come: AI AI x z, x, z. AI AI AI s1s 2s3 s1s 2s4 s1s 3s4 (1.37) Mmzzado la varaza dello stmatore (1.36) rspetto a B s cosegue che l valore ottmo co _ V( x ) C ov( x, z ) (, ) e Cov x. C ov( xai, zai ) V( zai ) Cov( AI, zai ) AI AI AI AI AI _ (1.38) S ot che l espressoe approssmata dello stmatore dpede da valor della varaza e covaraza tra le mede degl stmator, calcolate s 1, s 2, s 3 e s 4. Usado, qud, valor campoar d e sosttuedol (1.36) s ottee lo stmatore ottmo d : ˆ X x ˆ 1 AI DAIopt AI ˆ Y Zz AI (1.39)

23 Stmator della meda seza metod d mputazoe Dat macat MCAR 9 Nel caso cu l dsego d campoameto sa u SRSWOR, le espresso d soo le stme delle seguet varaze e covaraze: (1.40), (1.41), (1.42), (1.43). _ 2 _ 2 Sx q Sz p V( xai ) 1, V( zai ) 1, q N p N 2 ( pq) p ( pq) C ov( xai, zai ) Cov( xs, ) (, ) 1s z 4 s1s Cov x 4 s z 2 s1s4 ( q)( p) ( q)( p) _ Il metodo proposto può essere esteso faclmete al caso d pù d due varabl auslare; oltre, s dmostra che è pù effcete rspetto al tradzoale stmatore della meda. q( pq) pq Cov( xs s, zs ) Cov( xs, zs ) ( q)( p) ( q)( p) ( qk) k( qk) C ov( AI, xai ) Cov( s, ) (, ) 1s x 2 s1s Cov 2 s1s x 2 s4 ( k)( q) ( k)( q) C ov(, z AI q( qk) qk Cov( s, x ) (, ) 3 s1s Cov 2 s x 3 s4 ( k)( q) ( k)( q) _ 2 ( pk) k( pk) AI Cov s s zs s Cov s s zs ) (, ) (, ) ( k)( p) ( k)( p) p ( pk) pk Cov( s, z ) (, ) 2 s1s Cov 3 s z 2 s4 ( k)( p) ( k)( p) Campoameto a due fas Suppoamo d estrarre u campoe s coteete dat macat. I stuazo semplc, possamo vedere l campoe appea estratto come u campoe proveete da u dsego a due fas. Nella prma fase, l campoe cotee tutte le utà estratte col meccasmo casuale semplce. Verrà, qud, eseguto secoda fase u espermeto Beroullao per selezoare u sottocampoe che rappreseterà soggett rspodet. Sao, valor della varable d teresse delle utà rspodet el campoe; sa z la varable dcatrce che prede valor 1 o 0 a secoda che l utà abba rsposto o meo. Allora, la meda campoara de rspodet è data: z s r z s (1.44)

24 10 Stmator della meda seza metod d mputazoe Dat macat MCAR Assumamo che gl z sao dpedet tra loro e che l meccasmo d rsposta sa beroullao (P(z = 1) = p co 0 < p < 1). Effettuado aals astotche è possble cocludere che la quattà è astotcamete ormale co meda 0 e varaza, dove rappreseta la frazoe d campoameto. Notamo oltre che coverge probabltà a e che uo stmatore cosstete della varaza astotca è dato da, dove r è l umero d rspodet all tero del campoe e è la varaza campoara de rspodet. I molte stuazo d mportaza pratca l problema d stmare la meda d ua popolazoe assume maggore rlevaza quado la meda della popolazoe della varable auslara x è scooscuta e s è preseza d dat macat. I ua stuazoe d questo tpo, rprededo l campoe precedete s defsce l campoameto a due fas come segue: () S selezoa u campoe d grad dmeso d dmesoe usado l meccasmo SRSWOR e s osserva la varable x per queste utà; () Dalle utà selezoate prma fase ( ), s cosdera u campoe d secoda fase d dmesoe usado sempre lo stesso dsego campoaro. Le utà rspodet soo 1 e le o rspodet le rmaet 2 ( = ). () Dalle 2 utà o rspodet s selezoa u sottocampoe d dmesoe r (r = 2 / k, k > 1) usado l meccasmo SRSWOR e s osserva la varable per queste utà. Hase e Hurwtz defroo lo stmatore d come: * (1.45) ( / ) ( / ) dove soo le mede d della porzoe de rspodet del campoe e del sottocampoe. Lo stmatore è o dstorto co varaza data da * 2 2 (1.46) V( ) S S dove (1.47) 2 N 2 N2 ( Y ) W2 N2 / N, (1 f ) /, W2( k1) /, Y2, S N2 ( N2 1) Questo stmatore può essere mglorato co l utlzzo d formazo auslare sulla popolazoe. Quado s coosce e le formazo sulle varabl e x per le utà selezoate soo complete, è possble defre uo stmatore rapporto come l seguete: 2

25 Stmator della meda seza metod d mputazoe Dat macat MCAR 11 * X TR1 * (1.48) x dove, e è defto come. Uo stmatore per rapporto alteratvo, usado, avedo formazo complete per la varable auslara x ed complete sulla varable d studo, è dato da: T X x * R2 (1.49) S defscoo, ora, due stmator prodotto della meda della popolazoe preseza d o rsposte. * * x * x TP 1 e TP 2 X X (1.50) Tuttava, o è rara ua stuazoe cu o sao ote formazo sulla meda dalla varable auslara x; questo caso gl stmator presetat o possoo essere utlzzat e l parametro goto è sosttuto da u suo stmatore o dstorto costruto su u campoe prelmare d grade dmesoe. Cosderado campo deft precedetemete per l dsego a due fas s esamao le seguet quattà: osservazo d x per l campoe d prma fase, 1 osservazo d per le utà rspodet prese dal campoe d secoda fase e r osservazo d selezoate dalle 2 utà o rspodet. Sa la meda campoara della varable auslara x basata sul campoe d prma fase. Usado queste formazo, el seguto s propogoo due class d stmator della meda d popolazoe cosderado due dfferet scear. Scearo 1. La meda d popolazoe è gota e le formazo della varable d studo e della varable auslara x soo complete. I questa stuazoe, per stmare usamo ( 1 + r) utà rspodet per, x e. Co queste premesse, s può defre ua versoe geeralzzata dello stmatore per rapporto d : * (1) * ( x x) t( a) d expa * ( x x ) (1.51)

26 12 Stmator della meda seza metod d mputazoe Dat macat MCAR dove a è uo scalare opportuamete scelto. La varaza dello stmatore geeralzzato approssmata al prmo orde è data da: (1.52) Var ( t ) S ( ar S / 4)( a 4 C) S S ( ar S / 4)( a 4 C ) (1) * ( a) d x x (2) 2 2 dove (2) x(2) x2 * 2 (1 f ) /, f / N, (1/ ) (1/ ), ( S / S ) N2 N2 2 x(2) x S ( x X )( Y ) / ( N 1), S ( x X ) / ( N 1) C ( / R), C ( / R) (2) (2) (1.53) Lo stmatore rapporto proposto è pù effcete dello stmatore. Da (1.46), è possble verfcare che la dffereza è postva se: o 4C a 0 e 4C a 0 (1.54) Scearo 2. La meda d popolazoe è gota, la varable d studo preseta formazo complete a dffereza della varable auslara x. I questo caso, la versoe geeralzzata dello stmatore per rapporto è così defta: ( xx) ( ) (2) * t( b) d expb x x (1.55) dove b è uo scalare opportuamete scelto. La varaza dello stmatore approssmato al prmo orde è dato da: (2) 2 2 * 2 2 Var ( t ) S S ( br S / 4)( b 4 C) (1.56) ( b) d x 2 (2) o 0a4 C e 0a4C Ache questo caso, lo stmatore proposto è pù effcete dello stmatore usuale. Da (1.46) è possble verfcare che la dffereza è postva se: o 4C b 0 o 0b4C (1.57) Mmzzado l espressoe della varaza (1.52) rspetto al parametro a trovamo che l valore ottmo del parametro è dato da ** * (1.58) a(2 D / D ) a 0 (2) dove * * 2 2 ** * 2 2 D S S e D CS C S. x x2 x (2) x2

27 Stmator della meda seza metod d mputazoe Dat macat MCAR 13 Sosttuedo a co a 0, lo stmatore ottmo della meda d popolazoe dveta * 1 * ( x x) t (1.59) ( a0 ) d exp a0. * ( x x) Iseredo, qud, (1.58) (1.52), s ottee che la mma varaza d è **2 * m Var( t( a) d ) Var( t( a0 ) d ) S S R ( D / D ) 2. (1.60) Il valore ottmo d a 0 è però goto. Tuttava, per otteere lo stmatore sosttuamo a 0 co ua sua stma cosstete dove e. La varaza d vee mmzzata se b = - 2C. Sosttuedo questo rsultato a (1.56), s ottee che la mma varaza dello stmatore rsulta essere (1.61) Come el caso precedete, l valore d b 0 è goto ed è possble sostturlo co ua sua stma cosstete costruta su dat campoar, defedo lo stmatore dove 0 2 * m Var( t( b) d ) S (1 ) S S. 2 bˆ 2 Cˆ, C ˆ ( ˆ / Rˆ ) 2 * ˆ ( xx) t( ˆ exp b b 0 0 ) d ( xx) (1.62) Sotto lo stesso dsego d campoameto a due fas è stato proposto, letteratura, u altro tpo d stmatore d tpo rapporto e uo stmatore per regressoe: s cosdera la stuazoe cu l formazoe sulla varable auslara x è completamete dspoble per tutto l campoe d utà d secoda fase; metre macao formazo sulla varable d studo. Defamo, qud, seguet stmator d : e t ( 2) * ( 1) * 1 2 x x x x t d ( xx ) d ( xx), d * * 1 2 (1.63) (1.64) dove α e d ( = 1, 2) soo costat opportuamete scelte. La varaza esatta dello stmatore (1.64) e la varaza approssmata al prmo orde per lo stmatore (1.63), soo rspettvamete date da:

28 14 Stmator della meda seza metod d mputazoe Dat macat MCAR Var( td ) S d2sx ( d2 2 ) ( N / N)( k1) 1 1 ( 2 ), 2 2 N S ds 1 x d1 (2) S (1.65) ( 2) Var( t( 1) ) S R2Sx ( R2 2 ) ( N / N)( k1) 1 1 ( 2 ). N S RS 2 x 2 1R1 (2) S Samo grado d mmzzare la (1.65) e (1.66) rspetto a (d 1, d 2 ) e (α 1, α 2 ) co (1.66) e d d d d 1 (2) (2) / R10 2 / R20 (1.67) (1.68) Qud, sosttuedo (1.67) (1.64) e (1.68) (1.63), s possoo otteere gl : stmator ottmal delle class t ( xx ) ( xx) t ( d 20) * * ( d10) (2) x x ( 20) * ( 10) * (2) / R / R x x (1.69) (1.70) È facle verfcare che lo stmatore ottmo (1.69) è o dstorto metre lo stmatore (1.70) preseta dstorsoe; propro per questo motvo lo stmatore per regressoe è preferble agl stmator per rapporto f qu esamat. La varaza esatta d (1.69) è data da: ( d 20) Vart( d10) S S (1 ) N dove 2 ( Sx (2) / SxS ) 2 2 gruppo delle o rsposte. (1.71) ( N2 / N)( k1) 2 2 S (1 2 2 ) è l coeffcete d correlazoe tra la varable e x el

29 Stmator della meda seza metod d mputazoe Dat macat MAR 15 Usado (1.68) (1.66) s ha che la varaza d (1.70) approssmata al prmo orde è la stessa dello stmatore (1.69). S osserva da (1.69) e (1.70) che gl stmator ottmal possoo essere utlzzat solo quado valor esatt d β, β 2 e R soo ot. Tuttava, se cò o accade, è cosglable sostture tal parametr co delle stme cosstet basate su dat campoar. Sao * sx sx(2) ˆ ˆ *2 (2) 2 s s (1.72) x * ˆ R (1.73) x * stmator cosstet d β, β 2 e R; sosttuedol (1.69) e (1.70) s ottegoo due stmator cosstet e ottm d. x 2 t ˆ ( xx ) ˆ ( xx) lrd tˆ * * (2) ˆ ˆ ˆ ˆ (2) / R / R * x x e * x x (1.74) (1.75) 1.3 Dat macat MAR Se assumamo che l meccasmo d geerazoe de dat macat è d tpo MAR, la probabltà che ua data osservazoe sa macate, o dpede da valor della varable d studo, ma è dpedete da valor delle varabl auslare. Questo tpo d meccasmo covolge sa la modellazoe della regressoe d sulle varabl auslare assocate, che la modellazoe della probabltà d rsposta. Per questo motvo, possamo dre che dat macat proveet da u meccasmo MAR rspecchao molto pù la realtà rspetto a dat macat d tpo MCAR Stmator doppamete robust Allo scopo d stmare, è stata trodotta letteratura ua classe d stmator basata sull verso della probabltà che covolge sa la modellazoe della regressoe d sulle varabl auslare assocate, che la modellazoe della probabltà d rsposta.

30 16 Stmator della meda seza metod d mputazoe Dat macat MAR Gl stmator d questa classe soo doppamete robust quato soo cosstet per la vera meda d popolazoe perso se uo de due modell llustrat o è specfcato (ma o etramb). Suppoamo, ora, che Y o sa dspoble per tutt soggett; dat attual osservat soo strutturat el seguete modo: (z Y, z, X ) ( = 1,, ), dove z = 1 o 0 a secoda se Y vee osservata o meo. Ife, s assume che dat macat sao d tpo MAR quato Y e z soo dpedet tra loro. La probabltà d rsposta data da Pr(z = 1 X) vee dcata co p 0 (x ); soltamete rsulta scooscuta ed è per questo motvo che s rcorre ad u modello parametrco come rappresetato ella seguete scrttura: p(x, γ). A questo puto possamo cosderare ua classe d stmator doppamete robust d : zy z p( X, ˆ ) 1 ˆ (, ˆ DR m X ) 1 p( X, ˆ ) p( X, ˆ ) (1.76) dove stma l modello d regressoe della varable rsposta sulle varabl auslare e è lo stmatore d massma verosmglaza d γ. Suppoamo che la probabltà d rsposta sa correttamete specfcata dal modello p(x) = p 0 (X), a dffereza d m(x, β) che può o esserlo. Esamamo seguto le metodologe per stmare l parametro β per otteere uo stmatore d che sa () doppamete robusto e (), se la probabltà d rsposta è specfcata, abba la pù pccola varaza astotca tra tutt gl stmator ella forma (1.76). Cosderamo lo stmatore zy z p ( X ) (, ) 1 0 * m X 1 p0 ( X ) p0 ( X ) (1.77) dove β * è l lmte probabltà d. L obettvo detfcare l valore β *, e quello della stma corrspodete, tale per cu la varaza d (1.77) sa mmzzata. Sa, otamo che la varaza mma s ottee scegledo u valore d β * che sa soluzoe d 1 p0 ( X) * E m0 ( X) m( X, ) m ( X, ) 0 (1.78) p0 ( X) dcadolo co. Cosderamo l ordaro stmatore de mm quadrat per β,, ad esempo, rsolvedo

31 Stmator della meda seza metod d mputazoe Dat macat MAR 17 1 zy mx m X 1, (, ) 0 (1.79) Se la probabltà d rsposta è specfcata, metre l modello m(x, β) m 0 (X) per og β, allora la parte sstra dell equazoe (1.78) coverge probabltà a (1.80) E p0 ( X) m0 ( X) m( X, ) m ( X, ). Qud coverge probabltà a β 1 modo tale che (1.80) rsult par a zero; cò o esclude l fatto che cofrotado (1.80) co (1.78) rsult. Se, vece, la probabltà d rsposta o è specfcata, metre l modello d regressoe è corretto, la parte sstra dell equazoe (1.79) coverge acora probabltà a (1.80); β 1 = β 0, modo tale che coverga probabltà a β 0. Gl stmator (1.77), usado, soo doppamete robust ma o raggugoo la mma varaza quado l modello d regressoe o è specfcato completamete. Nel caso cu volessmo stmare β mmzzado la varaza emprca d (1.77), c accorgeremo che lo stmatore o sarà pù doppamete robusto. Per soddsfare () e () smultaeamete, predamo cosderazoe la soluzoe d 1 z 1 p( X ) Y (, ) (, ) 0 (1.81) m X m X p ( X ) p( X ) 1 0 chamata, che può essere vsta come stma a mm quadrat poderat co pes par a. Adottado lo stesso procedmeto vsto precedeza, s può verfcare che lo stmatore (1.77) per rsulta doppamete robusto e rspetta la propretà d mma varaza astotca perso se l modello d regressoe o è specfcato. Nella pratca, s potrebbe supporre parametrco l modello della probabltà d rsposta, p(x, γ). I questo caso possamo utlzzare rsultat precedet drettamete per trovare uo stmatore della meda d ella forma (1.76), dove è la stma d massma verosmglaza per la regressoe bara, che soddsfa le codzo () e (). I aaloga a (1.81), s propoe ua stma d β rsolvedo cogutamete l equazoe seguete (β, c): (1.82) ˆ ˆ (, ) 0 (, ) (, ) 1 (, ) 1 (, ) * z 1 (, ˆ) (, ) (, ) (, ) p X m X p X p X Y m X c 1 p X ˆ p X ˆ p X ˆ p X ˆ Co u argometo del tutto aalogo a quello rportato seguedo (1.81), quado la probabltà d rsposta è corretta, ma m(x, β) o lo è, s ota che la soluzoe d

32 18 Stmator della meda seza metod d mputazoe Dat macat MAR (1.82), coverge probabltà a. Vceversa, la quattà alla sstra d (1.82) coverge probabltà a zero quado (β, c) = (β 0, 0). Prededo (1.76), lo stmatore rspetta etrambe le propretà () e (). Idchamo altr tre stmator doppamete robust co la caratterstca d essere legat al campoe; questo sgfca che vegoo escluse le stme che stao fuor dal rage del campoe. Il prmo stmatore proposto è zy 1 LIK 1 p( X, ) (1.83) l quale, oltre a rspettare le due caratterstche sopractate, è localmete ed trsecamete effcete. Lo stmatore proposto è doppamete robusto perché E z ˆ X E mˆ ( X) p( X, ) m( ( ) ) (1.84) e qud è del tpo, ossa ella tpca forma degl stmator doppamete robust. Cosderamo, fe, come ua trasformazoe della stma d massma verosmglaza fatta sul modello leare della probabltà d rsposta. Cò o mplca l fatto che o permagao problem crca l essteza e l calcolo d. I prmo luogo, è dffcle caratterzzare codzo cu esste ua soluzoe sottoposta al vcolo p(x, γ) > 0. I secodo luogo, s può presetare l problema che o esstao soluzo o c sao soluzo multple; la dffcoltà sta el fatto d selezoare tra tutte le possbl soluzo. Il secodo stmatore proposto teta d rsolvere problem appea elecat utlzzado ua robustfcazoe della stma basata sulla verosmglaza, che cosste el calbrare coeffcet del modello leare esteso alla probabltà d rsposta. Lo stmatore rsulta coveete el calcolo ed è basato sulla massmzzazoe a due step d fuzo cocave. Ioltre, lo stmatore è localmete ed trsecamete effcete, è legato al campoe, e mglora ulterormete term d effceza el caso cu la fuzoe d regressoe è opportuamete stmata. No esstoo altr stmator doppamete robust che rspettao queste quattro propretà smultaeamete. Lo stmatore descrtto è ella forma: zy LIK 1 2 1p( X, ) step 2 LIK (1.85)

33 Stmator della meda seza metod d mputazoe Dat macat MAR 19 Dverse scelte del modello d regressoe, portao a specfche verso d : s dcao co le verso corrspodet a. Le stme per β, soo rspettvamete a mm quadrat, a mm quadrat poderat co pes e a mm quadrat poderat co pes dvers. Il terzo ed ultmo stmatore s ottee robustfcado lo stmatore proposto da Ta (2006), aggugedo l seguete terme: 1 (1.86) z / (, ˆ) 1 ˆ px mx 1 Gl stmator propost soo trsecamete effcet perché se la probabltà d rsposta è specfcata, og stmatore è astotcamete effcete ella classe degl stmator che utlzzao lo stesso modello d regressoe m(x, β). Soo, oltre, localmete effcet perché l effceza, almeo astotcamete, è uguale a quella degl stmator che usao la vera probabltà d rsposta L approcco semparametrco I letteratura, s utlzza u approcco semparametrco per stmare la meda della popolazoe quado s vuole rcoclare l approcco regressvo o parametrco co gl approcc model-based. S adotta ua regressoe o parametrca per dmure la dpedeza dal modello specfcato metre s utlzza l formazoe data a pror dal modello su E(Y X) per mglorare l effceza. Sccome la covarata cotee formazo rguardat la varable d studo, s utlzza ua fuzoe parametrca S = S(X) per rassumere tale formazoe. Idchamo co S ua fuzoe cotua da, tale che S = S(X) sa uvarata; la meda codzoata d Y dato S vee dcata co m(s) = E(Y S). Poché E(Y) = E{E(Y S)}, per ua arbtrara S, rsulta o dstorto per l parametro θ = E(Y), dove m(s) è stmata co ua regressoe o parametrca uvarata d Y verso S. Assuto cò, possamo defre lo stmatore ˆ 1 ˆ (1.87) ms ( ) 1 Rspetto all approcco basato sulla regressoe o parametrca, l utlzzo d ua fuzoe dczzata rduce la dmesoe ella regressoe da d a 1. Rspetto, vece,

34 20 Stmator della meda seza metod d mputazoe Dat macat MAR agl approcc model-based, lo stmatore semparametrco d dmesoe rdotta rsulta essere pù robusto el caso cu l modello o sa completamete specfcato. La stma o parametrca d m(s) o può essere semplcemete eseguta su dat complet, ma deve teere coto ache de dat macat geerat co u meccasmo MAR. U modo per affrotare quest ultmo problema è utlzzare ua regressoe o parametrca pesata co l verso delle probabltà d rsposta. Per og s, s sersce la meda poderata d regressoe leare cetrata s co α = (α 0, α 1 ) mmzzado z 2 Kh Sj s Yj 0 1 Sj s (1.88) j1p X j dove α = α(s) vara co s, K h (u) = h -1 K(u/h), K è la fuzoe Kerel ed è geeralmete ua fuzoe d destà smmetrca e h = h è la larghezza d bada lscata. La stma d m(s) è e per og s, α può essere stmato da (1.88) attraverso la regressoe a mm quadrat pesat. Dmostrazoe del fatto è data da: ms ˆ ( ) w / w, co w z / p( X ) K S s A A S s e j 1 j j j1 j j j j h j,2,1 j l 1 l, j1 j j h j j A z / p( X ) K S s S s per l 1, 2 Se c restrgamo alla codzoe α 1 = 0 (1.88), s ottee la stma Nadaraa- Watso basata sull verso della probabltà d m(s): z z ms ˆ ( ) K S s Y K S s. j j h j j h j j1p( Xj ) j1p( Xj ) (1.89) S può dmostrare che cooscedo la probabltà d rsposta p(x), la varaza astotca dello stmatore (1.87) è data da: 1 1 (1.90) VarY ( ) Ep( X) 1 VarY S I coclusoe possamo dre che quado s coosce o è possble specfcare correttamete la probabltà d rsposta p(x), c è poco teresse per quello che cocere la scelta d S, poché (1.88) è cosstete per qualuque S. Quado, vece, l formazoe o permette d defre correttamete p(x), la formulazoe d S o è uca: è cosstete a patto che E(Y X) = m(s).

35 Stmator della meda seza metod d mputazoe Dat macat MAR Metod d aggustameto per poderazoe Il problema de dat macat, può essere rsolto utlzzado ua metodologa d aggustameto basata sulla poderazoe delle rsposte. Quest adeguamet hao lo scopo d aumetare pes delle utà che rspodoo al sodaggo modo da compesare le utà che causao ua o rsposta. Nel seguto aalzzeremo quattro tecche d aggustameto. La prma tecca cosste el classfcare le utà rspodet e o celle d aggustameto secodo le formazo della varable auslara ote per tutte le utà del campoe. Il peso de dat macat vee calcolato proporzoalmete all verso del tasso d rsposta presete all tero della cella. Assumamo che le utà rspodet e le utà o rspodet possao essere classfcate C celle d aggustameto basate sulla covarata X. Sa l umero d dvdu campoat dove, detfca l umero d dvdu campoat preset all tero delle celle c; e dvduao l umero totale de o rspodet e de rspodet; fe rappresetao le proporzo degl elemet campoat e de rspodet ella cella c. Cosderamo, qud, come stmatore d la meda pesata: C w w c 1c c 1c 1c c1 c1 (1.91) che pesa rspodet ella cella c co l verso del tasso d rsposta. La varaza dello stmatore (1.91) verrà calcolata prededo cosderazoe l seguete modello. S suppoga, codzoatamete alla umerostà campoara, che le utà campoate abbao dstrbuzoe multomale sulla tabella d cotgeza d gradezza (C x 2) basata sulla classfcazoe d z e X, co le probabltà d cella par a dove è la probabltà margale d rsposta. La dstrbuzoe codzoata d X, dato e, è multomale co probabltà d cella par a ; metre la dstrbuzoe margale d X dato è multomale co dce e probabltà d cella par a Assumamo che la dstrbuzoe codzoata d Y dato abba meda e varaza costate. La meda d Y per rspodet e de o rspodet è rspettvamete: C

36 22 Stmator della meda seza metod d mputazoe Dat macat MAR, 1 1c 1c 0 0c 0c c1 c1 e la meda totale d Y è. C C (1.92) Co questo modello, la meda codzoata d Y e la varaza d (1.91) dato c soo rspettvamete e. Qud la dstorsoe d (1.91) è dove e soo la proporzoe d popolazoe e la meda d Y ella cella c. La varaza d (1.91), dcado co la meda corretta de rspodet, è approssmatvamete data da: 2 2 c 1 c 1 (1.93) 1 c1 Var w dove 1. Nel caso cu rsultat della varable d studo o soo correlat alle celle d aggustameto, s ha che le varabl auslare rferte alle celle peggorao la predzoe d, quato s verfca u aumeto della varaza de pes seza esserc alcua rduzoe della dstorsoe. Se, vece, la varable d aggustameto X o è correlata a dat macat, pes tedoo a o avere alcu mpatto sulla dstorsoe, ma rducoo la varaza ella msura cu X è u buo predttore de rsultat. C Ua secoda tecca rguardate l aggustameto per poderazoe cosste el moltplcare per l verso delle probabltà d rsposta pes de rspodet campoat. Sccome la vera probabltà d rsposta è soltamete scooscuta, può essere usata ua sua stma per correggere la dstorsoe de dat macat. Quado samo questa stuazoe, l metodo vee chamato NWA dretto. S dmostra che utlzzare ua stma della probabltà d rsposta rsulta essere pù effcete che mpegare la vera probabltà d rsposta quado parametr vegoo stmat co l metodo della massma verosmglaza. Sa la probabltà d rsposta per le utà campoate. Se s coosce tale probabltà, la meda della popolazoe può essere stmata seza dstorsoe el seguete modo: d 1 1 z N p s s (1.94)

37 Stmator della meda seza metod d mputazoe Dat macat MAR 23 Quado o è dspoble, s utlzza ua stma otteuta dal modello specfcato per la probabltà d rsposta. Sa (1.95) lo stmatore NWA dretto che utlzza ua stma della probabltà d rsposta e o usufrusce d varabl auslare. La probabltà d rsposta è modellata parametrcamete come, dove è ua fuzoe cotua co parametro e. Il valore vee stmato da, la quale è l uca soluzoe dell equazoe dove k è l peso delle utà campoate. Quado, la soluzoe dell equazoe è la stma d massma verosmglaza per. Assumedo che la probabltà d rsposta o dpede dalle osservazo campoate, La varaza stmata d (1.95) può essere dvsa due compoet:. La prma compoete, supposto, vee rappresetata dall espressoe (1.96) dove e. La secoda compoete è data da: e 1 1 N s s (1.97) Fora, abbamo potzzato la probabltà d rposta essere fuzoe alla varable auslara v. Suppoamo ora che, oltre a v, v è u altra varable x correlata a. Se la varable x vee osservata tutto l campoe, possamo defre uo stmatore per regressoe NWA, costruto come: z pˆ ˆ z ˆ ˆ ˆ ˆ ˆ kph kph ˆ pˆ ˆ ˆ ˆ 1 1 ˆ k (1 p ) hh ( p 1) h s s z 1 z ˆ ˆ

38 24 Stmator della meda seza metod d mputazoe Dat macat MAR dove x N x x ˆ re e e e 1 1 s (1.98) Lo stmatore proposto rsulta pù effcete dello stmatore dretto NWA se la varable d studo è approssmata da ua combazoe leare d x. La varaza stmata d (1.98) vee rappresetata come segue: 2 E j j s j, js (1.99) p N E 2 x N kph 0N s p dove e h 0 è l valore assuto da h calcolato. Lo stmatore NWA dretto è meo teressate a f pratc quato la somma de pes può essere dversa da 1. Per rsolvere tale problema, Hájek propose uo stmatore alteratvo a (1.95) defto come: (1.100) La varaza astotca d (1.100) può essere dervata co la metodologa usata per lo stmatore per regressoe NWA. 1 ˆ pˆ zxx pˆ zx x N pˆ zx e s s e x s N N N kp (1 p ) h 0h 0 (1 p ) h 0( x N ) N xx 1 N 1 1 N x 1 pˆ z 1 1 s e2 1 1 ˆ p z s

39 Stmator della meda seza metod d mputazoe Dat macat MAR 25 La terza tecca da o aalzzata cosste ello stmare la probabltà d rsposta co metod o parametrc. Quest metod rchedoo che le probabltà d rsposta sao collegate alle varabl auslare da ua fuzoe regolare, ma o specfcata. Nel seguto prederemo cosderazoe la tecca d lscameto basata su fuzo kerel. Cosderamo, qud, due tp d stmator della meda el caso cu o s cooscao le vere probabltà d rsposta: (1.101) ˆp e ua versoe aggustata per rapporto dove e. 1 wpˆ N s r 1 wpˆ 1 sr rat, pˆ 1 wpˆ s (1.102) Prederemo, ora, cosderazoe la stma d p utlzzado la regressoe kerel. Questo metodo preseta l vataggo d dfferezare le probabltà d rsposta per tutte le osservazo, e o rchede la specfcazoe della fuzoe p(). Per l processo d stma, c soo dverse scelte della fuzoe kerel; partcolare studamo la fuzoe defta come segue: pˆ js js w K x x z j h j w K x x j h j (1.103) dove, co K fuzoe Kerel cotua e postva e h parametro d lscameto. È possble otteere ua stma della varaza dello stmatore (1.101) solamete se s utlzzao le seguet potes. Partamo dal presupposto che la popolazoe U possa essere corporata ua successoe crescete d popolazo fte dove la v-esma popolazoe ha dmesoe N v. Defamo, vettore d osservazo della caratterstca d teresse e, l corrspodete vettore per la varable auslara. Per og v, vee selezoato u campoe s v d umerostà v. S cosder, qud, ua procedura d replcazoe che produca L v replche, per og elemeto della successoe d popolazo, delle seguete quattà: r j

40 26 Stmator della meda seza metod d mputazoe Dat macat MAR (1.104) dove e è ua costate fssata. La varaza stmata d replcazoe è defta come: dove ( l ) ( l ) ( l ) 1 ( l ) xj x mˆ ˆ ˆ v m1 v, m2v' wj K zj,1 ' Nvhv js h v v mˆ mˆ, mˆ ' *( l ) *( l ) ( l ) v 1v 2v (1.105) e soo deft (1.104). Utlzzado le potes precedetemete fatte sulla popolazoe U, possamo defre u ultmo metodo d aggustameto per stmare la probabltà d rsposta p(x ) basato sulla regressoe polomale locale; questo metodo, comparato al lscameto della fuzoe kerel, mglora l approssmazoe locale. Sa ua fuzoe kerel cotua e postva e h v l suo parametro d lscameto. Defamo la matrce basata sul campoe d dmeso la matrce d dmeso e l vettore d varabl dcatrc d rsposta. A questo puto, u possble stmatore basato sulla regressoe polomale locale d grado k d è dato da (1.106) dove deota la j-esma coloa della matrce dettà d orde k+1 e assumedo che sa vertble. I partcolare, quado è sgolare, s può defre ua procedura per asscurare che sa be defto, garatedo che la scelta della larghezza d bada sa suffcete a coteere almeo k+1 valor d z j ell tervallo, per og. Se questa festra o cotee

41 Stmator della meda seza metod d mputazoe Nota bblografca 27 abbastaza dcator rsposta, s adotta u approcco che defsce lo stmatore per regressoe polomale locale, basato sul campoe, d grado k d px k e Tˆ dag tˆ s 1 ˆ,, h v 1 s s, v N v (1.107) dove è ua pccola costate postva. I term d orde aggut alla dagoale prcpale d soo suffcet a redere la matrce rsultate vertble per og h v. Tuttava, ache utlzzado (1.107), o s esclude la possbltà che lo stmatore assuma valor vc a zero; per ovvare a questo problema cosderamo lo stmatore 1 (1.108) co costate maggore d zero. Il calcolo della stma della varaza per gl stmator (1.101) e (1.102) vee eseguto co metod aalogh a quell utlzzat ella tecca d lscameto basata su fuzoe kerel. 1 pˆ max pˆ x, k, h, Nh v 2 v v 1.4 Nota bblografca I questo captolo, s soo aalzzat var metod per stmare la meda d ua varable preseza d dat macat o utlzzado metod d mputazoe. Per quato rguarda dat macat d tpo MCAR, letteratura s può fare rfermeto ad u gruppo d artcol che trattao stmator che utlzzao tutta, o parte dell formazoe dspoble: l artcolo d Rueda, Gozàlez e Arcos (2006); l artcolo d Rueda, Muñoz, Berger, Arcos e Martíez (2007) se lo stmatore è basato sulla pseudoverosmglaza emprca; la pubblcazoe d Gozàlez, Rueda e Arcos (2008) quado s hao a dsposzoe due varabl quattatve auslare. Sempre el cotesto d dat macat MCAR, s soo presetat stmator costrut a partre da u campoameto a due fas, trattat elle pubblcazo: Che e Rao (2007); Sgh e Kumar (2008); Sgh, Kumar e Kozak (2010).

42 28 Stmator della meda seza metod d mputazoe Nota bblografca Per quato rguarda dat d tpo MAR, letteratura s possoo cosultare due artcol che fao rfermeto agl stmator doppamete robust: Cao, Tsats e Davda (2009) e Ta (2010). Se s segue, vece, u approcco semparametrco alla stma, s può cosderare l artcolo d Hu, Follma e Q (2010). Sempre el cotesto d dat macat d tpo MAR, s soo presetat stmator che utlzzao metod d aggustameto per poderazoe: se la probabltà d rsposta vee stmata modo parametrco s cosder l artcolo d Km e Km (2007), se s utlzza u metodo d stma della probabltà d rsposta o parametrco, u utle approfodmeto è reperble elle pubblcazo d Slva e Opsomer (2006) e (2009). Ife, l metodo d aggustameto per poderazoe che utlzza celle d aggustameto è reperble ell artcolo d Lttle e Vartvara (2006).

43 Captolo 2 Stmator della meda utlzzado metod d mputazoe 2.1 Itroduzoe Nel seguete captolo, s presetao alcue metodologe d stma della meda d ua varable d studo utlzzado tecche d mputazoe. Per quato rguarda le macate rsposte parzal la procedura d compesazoe comuemete usata è l mputazoe, che cosste ell assegazoe d u valore sosttutvo del dato macate, al fe d rprstare la completezza de dat. Alcu metod per l trattameto de dat macat soo molto semplc e, possoo essere utlzzat se la proporzoe de dat macat è molto rdotta, altr metod soo puttosto compless e rchedoo competeze specfche sul problema. Numeros soo metod d mputazoe propost letteratura per predre valor sosttutv per le macate rsposte parzal. I questo captolo metod soo stat suddvs a secoda che l meccasmo d geerazoe de dat macat sa d tpo MCAR o MAR. Il paragrafo 2.2 è dedcato al caso cu dat macat sao del tpo MCAR: s cotraddstguoo due flo prcpal d procedure d mputazoe, l prmo rguardate l mputazoe per meda, rapporto, dffereza e regressoe; l secodo rguardate l mputazoe el campoameto stratfcato e per cluster. Nel paragrafo 2.3 soo esposte, vece, quattro class d metod d mputazoe, potzzado u meccasmo MAR. La prma classe relatva all mputazoe earest eghbor ; la secoda, relatva all mputazoe tramte pseudo-verosmglaza emprca; la terza,