Corso di Teoria dei Campioni Facoltà di Economia Corso di Laurea SIGI

Transcript

1 Corso d Teora de Campon Facoltà d Economa Corso d Laurea SIGI M. Govanna Ranall emal: govanna@stat.unpg.t sto web: govanna ddattca 1/39?

2 Il programma del corso opolazon fnte; concett base della teora de campon; Stmatore fondamentale d Horvtz-Thompson. an d camponamento probablstc: casuale semplce, sstematco, con probabltà varabl, stratfcato, a pù stad. an d camponamento non probablstc Stma per ntervallo, Dmensonamento del campone. Ottca post-camponara: domn d studo, stma per quozente e per regressone, post - stratfcazone e calbrazone Font d errore non camponaro. Indagn rpetute nel tempo. 2/39?

3 Organzzazone del corso lezon frontal eserctazon n laboratoro (5) bonus consegna eserctazon dspensa e altro materale onlne esame orale 3/39?

4 Introduzone alle opolazon Fnte La Teora de Campon è quella parte delle Scenze Statstche che s occupa de crter scentfc a cu atteners nella estrazone d un campone da una popolazone fnta o nfnta, allo scopo d fare nferenza su d essa con un costo mnore possble. S defnsce popolazone fnta ogn nseme d untà d uno stesso tpo e d numerostà lmtata d cu nteressa studare una o pù caratterstche comun. Una popolazone fnta è dentfcable, coè etchettable: Lsta delle untà: U = 1, 2,..., N Carattere statstco: y Dstrbuzone semplce n forma untara o dsaggregata: Untà N Intenstà Y 1 Y 2 Y 3... Y... Y N 4/39?

5 Caratter qualtatv e dstrbuzon multvarate Varable dcotomca Y = { 1 se l attrbuto è presente 0 altrment Dat y e x caratter statstc, la dstrbuzone doppa (congunta) untara o dsaggregata è data da Untà N Intenstà y Y 1 Y 2 Y 3... Y... Y N Intenstà x X 1 X 2 X 3... X... X N e d conseguenza per estensone le dstrbuzon trple, quadruple, e multvarate n genere. Una popolazone s dce nteramente nota rspetto ad uno o pù caratter statstc quando s conosce la dstrbuzon congunta de caratter consderat. 5/39?

6 arametr descrttv della popolazone S chamano parametr descrttv quelle costant che descrvono uno o pù aspett della dstrbuzone d uno o pù caratter statstc. La meda: Ȳ = 1 N N =1 Y (se y è bnara frequenza relatva attrbuto) Il totale: Y = N =1 Y (se y è bnara frequenza assoluta attrbuto) La varanza: Sy 2 = 1 N N 1 =1 (Y Ȳ )2 La covaranza: S yx = 1 N 1 N =1 (Y Ȳ )(X X) Il coeffcente d varazone C y = 100 S y Ȳ Il rapporto tra total o mede R = Y X = Ȳ X Il coeffcente d correlazone lneare: r yx = S yx S y S x Il coeffcente d regressone: b y/x = S yx S 2 x Inferenza descrttva e nferenza analtca 6/39?

7 Censmento e camponamento censmento Vantagg del censmento 1. Consente d conoscere nteramente una popolazone rspetto ad un nseme d caratter e d rcavare l valore esatto (?) de parametr descrttv d nteresse. 2. Consente lanals della dstrbuzone d uno o pù caratter n una qualsas sottopopolazone possa nteressare, pccola quanto s vuole. Svantagg del censmento 1. Temp d svolgmento molto lungh e cost estremamente elevat. 2. Bassa qualtà de dat (ntendendo con questo termne la corrspondenza tra dat raccolt e la realtà effettva) 7/39?

8 Censmento e camponamento camponamento Vantagg del camponamento 1. Temp rdott d esecuzone e cost contenut. 2. ossble elevata qualtà de dat Svantagg del camponamento 1. Non s possono rcavare rsultat attendbl per sottopopolazon pù pccole d quelle consderate nello stablre la dmensone del campone. 2. resenza dell errore d camponamento. 8/39?

9 Font d errore nelle rlevazon statstche Font d errore non camponaro rogettazone lacunosa dell ndagne pertnenza de caratter da rlevare rspetto al problema da studare, corretta ndvduazone della popolazone, mancanza d controllo d fattor subspermental, etc. Dfettostà delle lste da cu vene estratto l campone nomnatv mancant, nomnatv rpetut, nesstent o ncomplet, etc. Error d msurazone generat dal rspondente, dallntervstatore, dal questonaro, da mancata osservazone, da error d trattamento de dat. L errore totale.e. lo scostamento tra valor calcolat de parametr d nteresse ed l valore effettvo nella popolazone consderata è somma delle dverse font d errore non camponaro e dell errore camponaro. 9/39?

10 Le rlevazon statstche Con l termne rlevazone de dat s ntende qu l nseme delle operazon con cu s pervene alla conoscenza delle modaltà de caratter da osservare nelle dverse untà d un collettvo. Stud osservazonal Indagn statstche ano della rlevazone Stud spermental Spermentazone ano della spermentazone 10/39?

11 Fas d una rlevazone de dat 1 A) Scopo e fnaltà dello studo. Studo esploratvo o qualtatvo, Studo descrttvo, Studo esplcatvo, Studo trasversale, Studo longtudnale. B) Dettaglo de caratter e scale d msura. Modaltà automatche, Classfcazon uffcal attvtà economche, produzon, professon, cause d morte, ecc. Modaltà defnte dal rcercatore, Caratter quanttatv lvello d precsone, class. C) Untà statstca, popolazone, untà d rlevazone. D) erodo d rfermento e svolgmento. Fenomen d stato, Fenomen d movmento E) Tpo d rlevazone. Rlevazone totale, Rlevazone camponara dmensone e modaltà d estrazone del campone Rlevazone unca, saltuara, perodca. 11/39?

12 Fas d una rlevazone de dat 2 F) Strument d msura, questonaro e modaltà d sommnstrazone. Il questonaro deve contenere domande: pertnent e n numero mnore possble, unvocamente nterpretabl, che rchedono sforz lmtat d memora, che non creano mbarazzo o tensone pscologca. Modaltà d sommnstrazone: ntervste drette o facca a facca, ntervste telefonche, autocomplazone del questonaro, metod nformatzzat. Indagne plota. G) Lavoro sul campo. H) Codfca, regstrazone su supporto magnetco, revsone. Revsone e controllo de dat, mputazone de dat mancant, Matrce de dat o de mcrodat. I) Elaborazone de dat, rsultat e rapporto d rcerca. Spoglo de dat o tabulazone de dat, dstrbuzon e macrodat, Rapporto d rcerca. 12/39?

13 Le statstche uffcal e le font de dat L ISTAT e l SISTAN (legge d rforma del 1989) L EUROSTAT Isttut demoscopc e d rcerche d mercato (Doxa, Crm, Nelsen, ecc. ) 13/39?

14 Defnzone d campone e spazo camponaro S consder una popolazone fnta U = {1, 2,..., N}. Defnamo campone un qualsas sottonseme d n untà d U. s = { 1, 2,..., n }, dove j è l etchetta della j-esma untà camponara, con j = 1, 2,..., n. Indcheremo con S l unverso de campon dmensone del campone n qualsas cardnaltà d S ( ) N N! = n n!(n n)! N! n!(n n)! = 2N 1 n=1 Tasso d sondaggo f = n/n 14/39?

15 Schema d selezone e pano d camponamento S chama schema d selezone del campone qualsas meccansmo o procedmento che porta alla selezone d un campone S chama pano d camponamento ogn funzone p(s) defnta su S (coè sullo spazo camponaro) tale che: 1. p(s) 0, s S; 2. s S p(s) = 1. Schema d selezone ano d camponamento 15/39?

16 Esempo d schema d selezone Sa U = {1, 2,...,,..., N} 1. S estragga una etchetta a caso con probabltà ugual per ottenere la prma untà camponara. 2. S estragga una seconda etchetta a caso con probabltà ugual dalle rmanent. 3. S rpeta l passo 2 altre n 2 volte, dove n < N. ano d camponamento: p(s) = 1 ) = ( N n n!(n n)! N! 0 altrment se s ha dmensone n. Camponamento casuale semplce senza rpetzone. 16/39?

17 robabltà d nclusone del prmo ordne S chama probabltà d nclusone del prmo ordne dell untà d U la quanttà π = s p(s), dove la sommatora è estesa a tutt campon che contengono l untà. Se defnamo la varable ndcatrce δ come δ = { 1 se l untà appartene al campone 0 altrment, allora π = s S p(s)δ = E(δ ). 17/39?

18 Esempo d calcolo delle probabltà d nclusone del prmo ordne Sa U = {1, 2, 3, 4, 5} Campone p(s) δ 1 s 1 = {1, 2, 3, 4} s 2 = {1, 2, 3, 5} s 3 = {1, 2, 4, 5} s 4 = {1, 3, 4, 5} s 5 = {2, 3, 4, 5} ,0 allora π 1 = 0.8, s verfch che π 2 = 0.7, π 3 = 0.8, π 4 = 0.8, π 5 = /39?

19 robabltà d nclusone del secondo ordne S chama probabltà d nclusone del secondo ordne della coppa d untà, j d U la quanttà π j = s,j p(s), dove la sommatora è estesa a tutt campon che contengono la coppa d untà e j. S ha anche che π j = s S p(s)δ δ j = E(δ δ j ). 19/39?

20 Esempo d calcolo delle probabltà d nclusone del secondo ordne Sa U = {1, 2, 3, 4, 5} Campone p(s) δ 1 δ 2 δ 1 δ 2 s 1 = {1, 2, 3, 4} 0, s 2 = {1, 2, 3, 5} 0, s 3 = {1, 2, 4, 5} 0, s 4 = {1, 3, 4, 5} 0, s 5 = {2, 3, 4, 5} 0, ,0 allora π 12 = 0, 5; s trovno per eserczo le altre. 20/39?

21 Calcolo delle probabltà d nclusone per l CCS rmo ordne π = s p(s) = (N 1)! n!(n n)! (n 1)!(N n)! N! = n N Secondo ordne π j = s j p(s) = (N 2)! n!(n n)! (n 2)!(N n)! N! = n N n 1 N 1 21/39?

22 Important defnzon per pan d camponamento relatve alle probabltà d nclusone Un pano d camponamento s dce probablstco se ogn untà della popolazone ha una probabltà del prmo ordne postva (π > 0, U) e calcolable. Un pano d camponamento s dce autoponderante se le probabltà d nclusone delle untà della popolazone sono tutte ugual (π costante). Un pano d camponamento s dce msurable se le probabltà d nclusone del secondo ordne sono tutte postve (π j > 0,, j U) e calcolabl. Il CCS è... 22/39?

23 Moment delle varabl ndcatrc δ δ per = 1, 2,..., N sono varabl casual bernoullane non ndpendent e tal che: E(δ ) = π, V (δ ) = π (1 π ), C(δ, δ j ) = E(δ δ j ) E(δ )E(δ j ) = π j π π j. Inoltre, n(s) = δ E[n(s)] = =1 se n(s) = n, allora π = n. =1 =1 π 23/39?

24 La matrce de dat untà camponara etchetta varable y varable x... varable z 1 j 1 Y 1 X 1... Z 1 2 j 2 Y 2 X 2... Z 1 3 j 3 Y 3 X 3... Z j Y X... Z n j n Y n X n... Z n 24/39?

25 Le statstche camponare La meda camponara: ȳ = 1 n n =1 Y Il totale camponaro: t y = n =1 Y La varanza camponara: s 2 y = 1 n 1 n =1 (Y ȳ) 2 La covaranza camponara: s yx = 1 n 1 n =1 (Y ȳ)(x x) Il coeffcente d varazone c y = 100 s y ȳ Il rapporto tra total o mede Rc = t y t x = ȳ x Il coeffcente d correlazone lneare: rc yx = s yx s y s x Il coeffcente d regressone: bc y/x = s yx s 2 x Ad ogn parametro descrttvo della popolazone corrsponde una statstca camponara calcolata con la medesma formula (consderando l campone come una popolazone). S ottene uno stmatore naturale, ma... 25/39?

26 Stmator S chama stmatore θ d un parametro θ della popolazone ogn statstca camponara prescelta per assegnare un valore al parametro consderato. S chama stma l valore numerco dello stmatore nel campone estratto. S chama errore d stma la dfferenza tra la stma e l valore del parametro. Dstrbuzone camponara dello stmatore θ campone probabltà stma errore d stma s 1 p(s 1 ) θ1 θ1 θ s 2 p(s 2 ) θ2 θ2 θ s 3 p(s 3 ) θ3 θ3 θ.. s M p(s M ) θm θm θ. 26/39?.

27 Crter d selezone dello stmatore 1 Correttezza. Sa E( θ) = s S θ s p(s). Uno stmatore del parametro θ s dce corretto, o non dstorto, se l suo valore atteso concde con θ: E( θ) = θ. S chama dstorsone d uno stmatore la quanttà B( θ) = E( θ) θ. 27/39?

28 Crter d selezone dello stmatore 2 Effcenza. Errore quadratco medo dello stmatore: MSE( θ) = s S ( θ s θ) 2 p(s). Vale che MSE( θ) = V ( θ) + B( θ) 2 ( ), dove V ( θ) = s S [ θ s E( θ)] 2 p(s), è la varanza dello stmatore. Uno stmatore θ 1 s dce pù effcente d un altro stmatore θ 2 se s verfca che MSE( θ 1 ) MSE( θ 2 ) per ogn valore d θ. 28/39?

29 Le stratege camponare S chama stratega camponara ogn coppa costtuta da un pano d camponamento e da uno stmatore, ovvero [p(s), θ]. Correttezza. Una stratega camponara s dce corretta se lo stmatore è corretto rspetto al pano d camponamento prescelto. Effcenza. Una stratega camponara [p 1 (s), θ 1 ] s dce pù effcente d un altra stratega [p 2 (s), θ 2 ] se s verfca che MSE 1 ( θ 1 ) MSE 2 ( θ 2 ) per ogn valore d θ. L obettvo della teora de campon è quello d ndvduare la stratega pù effcente a partà d costo complessvo della rlevazone. 29/39?

30 Lo stmatore corretto fondamentale Stma corretta del totale - stmatore d Horvtz-Thompson. Varanza dello stmatore d HT. Stma della varanza dello stmatore d HT: stma d HT; stma d Yates-Grundy. Stma corretta della meda Stma d altr parametr funzon lnear d total d popolazone; funzon NON lnear d total d popolazone metodo della lnearzzazone. 30/39?

31 Stma corretta del totale arametro da stmare: Y = N =1 Y. Stmatore lneare: Ŷ = n =1 w Y. S vuole che E(Ŷ ) = Y. Qual pes w garantscono uno stmatore corretto? Rscrvamo allora Ŷ = n w Y = =1 w Y δ, =1 N E(Ŷ ) = w Y E(δ ) = =1 e qund la condzone d correttezza mpone che w Y π =1 w = 1 π 31/39?

32 Stmatore d Horvtz-Thompson Ŷ = campone probablstco garantsce l calcolo d uno stmatore corretto n campone autoponderante Ŷ = Y π = t y π Stma della meda Ȳ = Ŷ N ESEMIO: camponamento casuale semplce: π = π = n N Thompson per questo pano d camponamento sarà TOTALE Ŷ = MEDIA Ȳ = ȳ n =1 =1 Y N n = N n t y = Nȳ n =1 Y π 32/39?, allora lo stmatore d Horvtz-

33 Esempo d calcolo S defnsca la popolazone U = {1, 2, 3, 4} d dmensone N = 4. Lo spazo camponaro nel caso d campon d dmensone n = 3 estratt senza rpetzone è dato da S = { (1,2,3), (1,2,4), (1,3,4), (2,3,4) }. S supponga che le probabltà d estrazone d cascun campone sano le seguent: s p(s) (1,2,3) 0.15 (1,2,4) 0.35 (1,3,4) 0.30 (2,3,4) 0.20 Le probabltà d nclusone del I ordne per cascuna untà sono: π Le probabltà d nclusone del II ordne per cascuna coppa d untà sono: (, j) (1,2) (1,3) (1,4) (2,3) (2,4) (3,4) π j /39?

34 Esempo d calcolo (contnua) S supponga che la varable d nteresse assuma seguent valor: Y π w da cu s rcava Ȳ = ( )/4 = er l prmo campone, s = {1, 2, 3}, le osservazon sono (50, 32, 48) e qund Ȳ = 1 ( ) = 45.51, 0.65 mentre la meda camponara ȳ = n =1 Y /n è par a ȳ = ( )/3 = er 4 possbl campon, la dstrbuzone degl stmator Ȳ e ȳ è la seguente: 34/39?

35 Esempo d calcolo (fne) s Y Ȳ ȳ p(s) (1,2,3) (50,32,48) (1,2,4) (50,32,65) (2,3,4) (32,48,65) (1,3,4) (50,48,65) E( Ȳ ) = = V ( Ȳ ) = MSE( Ȳ ) = ( ) ( ) = 9.85 E(ȳ) = = MSE(ȳ) = ( ) ( ) = /39?

36 Varanza dello stmatore corretto V (Ŷ ) = V ( N = = =1 =1 =1 Y 2 π 2 Se n(s) = n, s può dmostrare che Y π δ ) V (δ ) + =1 Y 2 π (1 π ) + j =1 Y π Y j π j C(δ, δ j ) j Y π Y j π j (π j π π j ) V (Ŷ ) = 1 2 =1 (π π j π j ) j ( Y Y ) 2 j π π j 36/39?

37 Stma della varanza dello stmatore d HT Rsultato prelmnare utle. Sa B = Infatt E( B) = =1 j =1 b j, allora B = j n =1 n j b j π j è corretto per B. b j π j E(δ δ j ) = B. La varanza dello stmatore d HT può essere vsta come la somma d due total V (Ŷ ) = A + B, dove A = a = =1 =1 Y 2 π (1 π ), B = =1 j Y π Y j π j (π j π π j ) = =1 b j. j Qund uno stmatore corretto d Horvtz-Thompson d V (Ŷ ) è dato da v(ŷ ) = n =1 Y 2 π 2 (1 π ) + n =1 n j Y π Y j π j π j π π j π j 37/39?

38 Stmatore della varanza d Yates-Grundy Uno stmatore alternatvo s può ottenere nel caso n cu n(s) = n msurabltà v(ŷ ) = 1 2 n =1 n j π π j π j π j varanza dello stmatore della meda: V ( Ȳ ) = V ( Y Y ) 2 j π π j ( ) Ŷ N = V (Ŷ ) N 2 stmatore della varanza dello stmatore della meda: v( Ȳ ) = v(ŷ ) N 2 38/39?

39 Stma d altr parametr della popolazone combnazon lnear d total d popolazone. Es. D = Y X D = Ŷ X è corretto per D altre funzon d total: R = Y X R = Ŷ X non è corretto per R metodo della lnearzzazone. 39/39?