Concetti di teoria dei campioni ad uso degli studenti di Statistica Economica e Finanziaria, A.A. 2016/2017. Giovanni Lafratta

Transcript

1 Concetti di teoria dei campioni ad uso degli studenti di Statistica Economica e Finanziaria, A.A. 2016/2017 Giovanni Lafratta

2 ii

3 Indice 1 Spazi, Disegni e Strategie Campionarie 1 2 Campionamento casuale semplice Conteggio di sottoinsiemi di una popolazione finita Disegno casuale semplice di ampiezza data Probabilità di inclusione Statistiche di Horvitz-Thompson Stimatore del totale di una popolazione Stimatore della media di una popolazione Materiali per l esame Esercitazioni iii

4 iv INDICE

5 Capitolo 1 Spazi, Disegni e Strategie Campionarie Si introduce il concetto di popolazione finita. Definizione 1 (Popolazione finita P M ) 1. P 1 = {1} è una popolazione finita; 2. per ogni M N\ {0} se P M è una popolazione finita, allora P M+1 = P M {M + 1} è una popolazione finita; 3. le uniche popolazioni finite sono quelle formate sulla base delle clausole 1 e 2. Esempio 1 Per M = 4, si ha P 4 = {1, 2, 3, 4}. Spazi e disegni di campionamento costituiscono strumenti utili nello studio della variabilità statisticamente derivante dal non aver osservato in modo esaustivo un dato fenomeno su una popolazione P M : Definizione 2 (Spazio campionario S PM ) Sia P M una popolazione finita, e, per ogni n P M, sia S n la classe dei sottoinsiemi di P M aventi cardinalità pari a n. Per spazio campionario su P M si intenderà la classe S PM = n P M S n. Per campione s in P M si intenderà ogni elemento s S PM. 1

6 2 CAPITOLO 1. SPAZI, DISEGNI E STRATEGIE CAMPIONARIE Esempio 2 Per M = 3, si ha S PM = {{1}, {2}, {3}, {1, 2}, {1, 3}, {2, 3}, P 3 }. Definizione 3 (Disegno campionario p) Sia S PM uno spazio di campionamento. Una funzione p : S PM [0, + [ è un disegno campionario su S PM se e solo se risulta p(s) = 1. s S PM Un disegno p si dirà intenzionale se e solo se s S PM : p(s) = 1. Un disegno p può quindi essere interpretato come la funzione di probabilità di una variabile casuale S a valori in S PM. Esempio 3 Si consideri la seguente funzione p : S P3 [0, + [: s S P3 {1} {2} {3} {1, 2} {1, 3} {2, 3} P 3 p (s) 0 0 1/4 1/3 5/ Essa è un disegno, perché 1/4 + 1/3 + 5/12 = 1. Definizione 4 (Probabilità d inclusione I) Per i P M, si definiscano gli insiemi A i = {s S PM : i s}. La probabilità di inclusione del primo ordine dell unità i esima è definita come segue: = s A i p (s). Esempio 4 (Continua l esempio 3) L unità 2 è inclusa nei seguenti elementi (campioni) dello spazio campionario S P3 : A 2 = {{2}, {1, 2}, {2, 3}, P 3 } La probabilità d inclusione di ordine 1 per l unità 2 è quindi π 2 = p ({2}) + p ({1, 2}) + p ({2, 3}) + p (P 3 ) = = 1 3. L unità 1 è inclusa nei seguenti elementi (campioni) dello spazio campionario S P3 : A 1 = {{1}, {1, 2}, {1, 3}, P 3 }.

7 3 La probabilità d inclusione di ordine 1 per l unità 1 è quindi π 1 = p ({1}) + p ({1, 2}) + p ({1, 3}) + p (P 3 ) = = Per ogni i P M, si definisca ora la funzione δ i : S PM {0, 1} come segue: δ i (s) = { 1 se i s, 0 altrimenti. La funzione δ i prende il nome di funzione indicatrice dell unità i-esima, grazie alla quale si può definire la variabile casuale e si ha i = δ i (S) = s S PM δ i (s) p (s) = E p [ i ]. Definizione 5 (Cardinalità campionaria) Dato il campione casuale S, si definisce come cardinalità campionaria la variabile La cardinalità attesa è S = δ i (S). E p [ S ] = δ i (s) p (s) s S PM = p (s) s A i =. Inoltre, se il disegno campionario p ammette l estrazione solo di campioni aventi una data cardinalità n P M, ovvero se s S PM : s n p (s) = 0,

8 4 CAPITOLO 1. SPAZI, DISEGNI E STRATEGIE CAMPIONARIE allora E p [ S ] = s S n s p (s) = n, perché s S n p (s) = 1 e s = n quando s S n. Definizione 6 (Probabilità d inclusione II) Per i, j P M, si definiscano gli insiemi A i,j = {s S PM : {i, j} s}. La probabilità,j di inclusione del secondo ordine delle unità {i, j} è definita come segue:,j = s A i,j p (s). Esempio 5 (Continua l esempio 3) Le unità 1, 3 sono incluse nei seguenti elementi (campioni) dello spazio campionario S PM : A 1,3 = {{1, 3}, P 3 } La loro probabilità d inclusione di ordine 2 è quindi π 1,3 = p ({1, 3}) + p (P 3 ) = = Per ogni i, j P M, si definisca ora la funzione δ i,j : S PM {0, 1} come segue: δ i,j (s) = { 1 se {i, j} s, 0 altrimenti. La funzione δ i,j è detta funzione indicatrice della coppia di unità i e j e si ha Definita la variabile risulta inoltre δ i,j (s) = δ i (s) δ j (s). i,j = δ i,j (S),j = s S PM δ i,j (s) p (s) = E p [ i,j ].

9 5 Associando ad ogni elemento di P M un numero reale Y i, i = 1,..., N, si ottiene la funzione Y come segue: i P M Y (i) = Y i, alla quale si fa riferimento parlando di fenomeno su P M. Dato il campione s, sia D s la funzione definita su s e a valori in R tale che i s D s (i) = Y i. Per definizione, D s è quindi l insieme delle coppie (i, Y i ) per i s: D s = {(i, Y i ) : i s}. Ci si riferisce a D s come all insieme dei dati statistici relativi al campione s. Esempio 6 (Continua l esempio 3) Posto i Y i risultano, ad esempio, e D {1} = {(1, 5)}, D {1,3} = {(1, 5), (3, 5)} D {1,2,3} = {(1, 5), (2, 7), (3, 5)}. Definizione 7 (Statistica campionaria) Sia Y un fenomeno su P M e sia D l insieme dei possibili dati statistici disponibili: Data una funzione reale t definita su D: D = {D s : s S PM }. D s D t (D s ) R, si definisce statistica campionaria la variabile casuale T = t (D S ). Si noti che i valori assunti da una statistica T dipendono dal campione osservato. Di conseguenza, t (D S ) dipende dalla funzione di probabilità p, il disegno campionario applicato. Esempio 7 La variabile T = t(d S ) = i S Y i è una statistica.

10 6 CAPITOLO 1. SPAZI, DISEGNI E STRATEGIE CAMPIONARIE Una statistica rispondente alla definizione 7 è destinata a fungere da stimatore di quantità deterministiche dipendenti da Y, note come parametri della popolazione, delle quali sono esempi la variabile media della popolazione Y = M 1 Y i, o la variabile max(y ) = sup i PM Y i. Definizione 8 (Distribuzione di una statistica campionaria) Per un fissato piano di campionamento p (s), la distribuzione campionaria dello stimatore T = t (D S ) è definita dalla seguente funzione di probabilità p T. Sia C T l insieme di tutti i possibili valori che T può assumere presso i vari campioni. Per x C T, si definisca l insieme Allora A x = {s S PM : t (D s ) = x}. p T (x) Pr {T = x} = s A x p (s). Esempio 8 (Continua l esempio 3) Si vuole la distribuzione campionaria di T = t(d S ) i S Y i. I valori che T può assumere presso i relativi campioni sono dati come segue: s D s t (D s ) {1} {(1, 5)} 5 {2} {(2, 7)} 7 {3} {(3, 5)} 5 {1, 2} {(1, 5), (2, 7)} 12 {1, 3} {(1, 5), (3, 5)} 10 {2, 3} {(2, 7), (3, 5)} 12 P 3 {(1, 5), (2, 7), (3, 5)} 17 Al singolo valore di T (si ha C T = {5, 7, 10, 12, 17}) va associata una probabilità pari alla somma delle probabilità dei campioni in corrispondenza dei quali tale valore viene generato: x A x Pr {T = x} 5 {{1}, {3}} 0 + 1/4 7 {{2}} 0 10 {{1, 3}} 5/12 12 {{1, 2}, {2, 3}} 1/ {{1, 2, 3}} 0 In conclusione, gli strumenti con cui raccogliere informazioni su un fenomeno Y presso una popolazione P M sono sostanzialmente due: un disegno di campionamento e una statistica. Ciò giustifica la seguente: Definizione 9 (Strategia campionaria per Y su P M ) Sia Y un fenomeno su P M. Una strategia per Y su P M è una qualunque coppia (p, T ), con p disegno campionario su S PM e T statistica per Y. La realizzazione di una indagine richiede, quindi, la scelta di una strategia.

11 Capitolo 2 Campionamento casuale semplice 2.1 Conteggio di sottoinsiemi di una popolazione finita Si cosideri S n = {s S PM : s = n}. Si vuole calcolare S n : quanti sono i sottoinsiemi di cardinalità n di un insieme di cardinalità M? Cardinalità di un prodotto cartesiano Siano A 1,..., A k insiemi di cardinalità finita A i. Il loro prodotto cartesiano è definito come segue: A i = {(a 1,..., a k ) : i {1,..., k} : a i A i }. i {1,...,k} La sua cardinalità è: A i = i {1,...,k} i {1,...,k} A i. Ennuple ordinate di elementi distinti di una popolazione finita Il prodotto cartesiano della popolazione P M moltiplicata per se stessa n volte ha dunque cardinalità pari a M n. Il prodotto ha per elementi tutte le ennuple ordinate (vettori) (a 1,..., a n ) che si possono formare scegliendo per a i una qualunque unità nella popolazione P M. Questo significa che, all interno di una ennupla, la stessa unità può ripetersi ed essere quindi presente in più di una delle n posizioni disponibili. Quale sarebbe il numero delle ennuple se si imponesse che ogni unità non può occupare più di una posizione in una data ennupla? Anche l insieme delle ennuple ordinate di elementi distinti può essere interpretato come un prodotto cartesiano tra n insiemi: l i-esimo insieme, sia A i, sarà la collezione delle possibili scelte da P M per l i-esima componente della ennupla, avendo cura che le unità selezionate siano distinte tra loro. La prima volta (i = 1) posso scegliere su tutto P M : A 1 = P M avente cardinalità M. La seconda volta (i = 2) da P M \ {a 1 }, con cardinalità 7

12 8 CAPITOLO 2. CAMPIONAMENTO CASUALE SEMPLICE M 1. La terza volta (i = 3) da P M \ {a 1, a 2 }, con cardinalità M 2. L n-esima volta da P M \ {a 1,..., a n 1 }, un insieme avente cardinalità M (n 1). In generale si hanno M (M 1) (M 2) (M (n 2)) (M (n 1)) n ple ordinate di elementi distinti da P M. Tale numero si può esprimere come dove n! = n (n 1) (2) (1). Infatti M! (M n)! M! (M n)! M (M 1) (M (n 1)) (M n) (1) = (M n) (1) = M (M 1) (M (n 1)). Sottoinsiemi di ampiezza n Un sottoinsieme di ampiezza n dalla popolazione P M è un campione di n unità disposte senza alcun ordine particolare. Sia ora s S n. Quante n ple ordinate posso ottenere da s? Esattamente n! (n n)! = n!. La collezione di tutte le n ple di elementi distinti da P M sono invece M! (M n)!. Quindi, se S n è il numero di sottoinsiemi di ampiezza n, deve risultare da cui S n n! = M! (M n)! S n = = M! n! (M n)! ( ) M, n numero di combinazioni di M elementi presi a n a n.

13 2.2. DISEGNO CASUALE SEMPLICE DI AMPIEZZA DATA Disegno casuale semplice di ampiezza data Data una popolazione P M, esistono M disegni casuali semplici senza ripetizione, uno per ogni n P M, ciascuno di essi rende equiprobabili i campioni di ampiezza n ed assegna ai rimanenti probabilità zero: p C,M,n (s) = { 1 se s S ( M n n) 0 se s / S n Esempio 9 Per P 4 = {1, 2, 3, 4}, si consideri p C,4,3. I campioni di ampiezza 3 da P 4 sono ( ) 4 3 = 4! = 4 : (4 3)!3! {1, 2, 3}, {1, 2, 4}, {2, 3, 4}, {1, 3, 4}. Si ha p C,4,3 ({1, 2, 3}) = p C,4,3 ({1, 2, 4}) = p C,4,3 ({2, 3, 4}) = p C,4,3 ({1, 3, 4}) = 1 4 Per tutti gli altri elementi s di S P4, ad esempio per {1, 3}, {1}, {3, 4}, si ha p C,4,3 (s) = Probabilità di inclusione Primo ordine - generica unità i P M : = s {s S PM :i s} p C,M,n (s) Ma, se s / S n, p C,M,n (s) = 0, così possiamo limitare la somma agli s in S n : = s {s S n:i s} p C,M,n (s) Inoltre, se s S n, p C,M,n (s) = ( ) M 1, n quindi ( ) 1 M = n s {s S n:i s} 1 Bisogna quindi contare i campioni di ampiezza n che includono i: Si costruiscano tutti i campioni di n 1 unità da P M che non contengono i : essi sono in numero di ( ) M 1 n 1

14 10 CAPITOLO 2. CAMPIONAMENTO CASUALE SEMPLICE Se ad ognuno di tali campioni aggiungiamo l unità i esima, otteniamo tutti i campioni di ampiezza n che contengono i. QUINDI: = = = ( ) 1 M n 1 s {s S n:i s} ( ) 1 M {s S n : i s} n ( M 1 n 1 ( M n ) ) ovvero = (M 1)! n! (M n)! (M n)! (n 1)! M! = n M Secondo ordine - generica coppia (i, j) P M P M, con i j. Si ha,j = s {s S PM :i s,j s} p C,M,n (s) Ma, se s / S n, p C,M,n (s) = 0, così possiamo limitare la somma agli s in S n : = s {s S n:i s,j s} p C,M,n (s) Inoltre, se s S n, p C,M,n (s) = ( M n ) 1, quindi = ( ) 1 M n 1 s {s S n:i s,j s} Bisogna quindi contare i campioni di ampiezza n che includono sia i sia j: Si costruiscano tutti i campioni di n 2 unità da P M che non contengono né i né j: essi sono in numero di ( ) M 2 n 2 Se ad ognuno di tali campioni aggiungiamo le unità i e j, otteniamo tutti i campioni di ampiezza n che contengono i e j.

15 2.2. DISEGNO CASUALE SEMPLICE DI AMPIEZZA DATA 11 QUINDI:,j = = = ( ) 1 M n 1 s {s S n:i s,j s} ( ) 1 M {s S n : i s, j s} n ( M 2 n 2 ( M n ) ) ovvero,j = = (M 2)! (M n)! (n 2)! n (n 1) M (M 1). n! (M n)! M!

16 12 CAPITOLO 2. CAMPIONAMENTO CASUALE SEMPLICE

17 Capitolo 3 Statistiche di Horvitz-Thompson 3.1 Stimatore del totale di una popolazione Definizione 10 Sia P M una popolazione finita sulla quale è rilevabile un fenomeno Y e p un disegno di campionamento su P M. Per i P M sia la probabilità di inclusione dell unità i-esima secondo il piano p. Si definisce stimatore di Horvitz-Thompson per il totale di Y la seguente statistica Ŷ T otal,ht (S) = i S Esempio 10 Per s = {2, 1} da P 3 nell esempio 6, si ha D (s) = {(2, 5), (1, 7)}, da cui Y i. Ŷ T otal,ht ({2, 1}) = i {2,1} Y i = Y 2 π 2 + Y 1 π 1 = 7 π π 1 Se si applica un piano casuale semplice (di ampiezza 2) risulta, per ogni i, così = n M = 2 3 Ŷ T otal,ht ({2, 1}) = 3 (7 + 5) 2 = 18. Teorema 1 Sia P M una popolazione finita sulla quale è rilevabile un fenomeno Y e p un disegno di campionamento su P M. Per i, j P M siano la probabilità di inclusione del 13

18 14 CAPITOLO 3. STATISTICHE DI HORVITZ-THOMPSON primo ordine dell unità i-esima e,j quella di secondo ordine per la coppia (i, j) secondo il piano p. Vale allora la seguente proprietà di correttezza: ] E p [ŶT otal,ht = Y i Inoltre, ] V ar p [ŶT otal,ht = 1 Yi 2 + j P M \{i} ( ) πi,j 1 Y i Y j. π j Dimostrazione. Dimostriamo la correttezza. Possiamo esprimere ŶT otal,ht come segue: Ŷ T otal,ht (S) = δ i (S), Y i Ŷ T otal,ht è quindi una combinazione lineare delle variabili casuali 1,..., M i cui coefficienti sono dati da Y 1 π 1,..., Y M πm. Il suo valore atteso rispetto a p è quindi pari alla combinazione lineare dei valori attesi delle δ i : [ ] ] E p [ŶT otal,ht = E p i Y i da cui, ricordando che si ha = δ i (s) p (s) E p [ i ], s S PM ] E p [ŶT otal,ht = Y i = Y i. Calcoliamo la varianza di ŶT otal,ht. A tal fine utilizziamo ancora l espressione precedente per lo stimatore Ŷ T otal,ht (S) = δ i (S). Y i La varianza di una combinazione lineare Z di X 1,..., X M variabili casuali aventi coefficienti c 1,..., c M, M Z = c i X i, i=1

19 3.1. STIMATORE DEL TOTALE DI UNA POPOLAZIONE 15 si ottiene come segue: V ar [Z] = M c 2 i V ar [X i ] + i=1 M i=1 M c i c j Cov [X i, X j ]. j=1 j i Nel nostro caso: c i = Y i, X i = i, Z = ŶT otal,ht. Rimangono quindi da calcolare varianze e covarianze delle variabili 1,..., M. La variabile i segue una distribuzione di Bernoulli B (p) di parametro p =, la cui varianza è V ar [ i ] = (1 ). Qual é la covarianza tra i e j? Ricordiamo che Cov [X, Z] = E [XZ] E [X] E [Z]. Nel nostro caso, X = i e Z = j. Sappiamo inoltre che risultano le identità E p [ i j ] =,j e E p [ i ] =. Così, Cov p [ i, j ] = E p [ i j ] E p [ i ] E p [ j ] =,j π j.

20 16 CAPITOLO 3. STATISTICHE DI HORVITZ-THOMPSON Quindi, in conclusione, V ar p [ŶT otal,ht ] = V ar p [ 2 Yi π i P i 2 M = 2 Yi π i P i 2 M = Y i i ] V ar p [ i ] + (1 ) + = 1 Yi 2 + j P M j i j P M j i j P M j i Y i Y j π j Cov p [ i, j ] Y i Y j π j (,j π j ) ( πi,j π j 1 ) Y i Y j 3.2 Stimatore della media di una popolazione La media del fenomeno Y nella popolazione P M può essere stimata a partire dallo stimatore Horvitz-Thompson del totale, essendo i due parametri legati dalla relazione Y T otal = M (Y Mean ), Y T otal = Y i. Basta definire il seguente stimatore per il parametro media: Ŷ Mean,HT (S) = 1 M ŶT otal,ht (S). Essendo ŶT otal,ht corretto per il totale, ŶMean,HT risulterà corretto per la corrispondente media. Per la varianza, invece, vale la relazione: V ar p [ŶMean,HT ] = 1 ] M V ar 2 p [ŶT otal,ht.

21 Capitolo 4 Materiali per l esame 4.1 Esercitazioni Esercizio È data la popolazione finita P 3. Sul corrispondente spazio campionario è definito il seguente piano di campionamento: 1 se s = {1, 2} 6 1 se s = {1, 3} p (s) = 3 1 se s = {2, 3} 2 0 altrimenti Determinare quanto segue. 1. Le probabilità d inclusione del primo ordine. 2. La varianza della variable Le probabilità d inclusione del secondo ordine. 4. La covarianza tra le variabili 1 e È stato estratto il campione s = {2, 3} e si è rilevato D s = {(2, 17), (3, 8)}. Stimare con la statistica di Horvitz-Thompson il totale di Y su P È stato estratto il campione s = {1, 3} e si è rilevato D s = {(1, 6), (3, 12)}. Sapendo che il valore atteso della statistica di Horvitz-Thompson per il totale di Y è pari a 50, determinare Y 2. Esercizio E data la popolazione finita P 8. Sul corrispondente spazio campionario è definito un piano di campionamento casuale semplice di ampiezza 3. Determinare quanto segue. 1. Le probabilità π 1,4 e π 7,7. 17

22 18 CAPITOLO 4. MATERIALI PER L ESAME 2. Il valore atteso della variabile 2,8 ; 3. La varianza della variabile La correlazione tra le variabili 1 e È stato estratto il campione s = {4, 6, 8} e si è rilevato D s = {(4, 10), (6, 20), (8, 15)}. Stimare con la statistica di Horvitz-Thompson il totale di Y su P 8.

23 4.1. ESERCITAZIONI 19 Esercizio E data la popolazione finita P 8. Sul corrispondente spazio campionario è definito un piano di campionamento p, rispetto al quale risultano noti i seguenti momenti: Determinare quanto segue. 1. La probabilità π 5. Cov[ 3, 5 ] = 1/16, V ar[ 3 ] = 3/16, E[ 5 ] = 1/4. 2. La probabilità π 3 sapendo che π 3 > 1/2. 3. Il valore atteso della variabile 3,5. Esercizio E data la popolazione finita P 20. Sul corrispondente spazio campionario è definito un piano di campionamento p. Rispetto a p, delle variabili X = e Y = sono noti i seguenti momenti: Determinare quanto segue. 1. Le probabilità π 7, π 11 e π 7,11. Cov[X, Y ] = 2/9, E[X] = 2, E[Y ] = 6. Esercizio E data la popolazione finita P 9. Sul corrispondente spazio campionario è definito un piano di campionamento p, rispetto al quale sono noti i seguenti momenti: Determinare quanto segue. Corr[ 1, 3 ] = 1/6, E[ 1 ] = 4/25, E[ 3 ] = 1/5. 1. Il valore atteso della variabile 1,3. Esercizio E data la popolazione finita P M, con M > 1. Sul corrispondente spazio campionario è definito un piano di campionamento casuale semplice p C,M,n, con n < M, rispetto al quale sono note le seguenti probabilità di inclusione: i, j P M :,j = 2/9, se i j. Determinare quanto segue. i P M : = 1/2. 1. I valori di M e di n.

24 20 CAPITOLO 4. MATERIALI PER L ESAME