1.5 - Variabilità, concentrazione e asimmetria

Transcript

1 .5 - Variabilità, cocetrazioe e asimmetria G. Alleva - Statistica - Parte.5 Obiettivo: Misura della variabilità di ua distribuzioe statistica Mutabilità, Dispersioe, Variabilità, Eterogeeità E l attitudie di u feomeo a presetarsi co maifestazioi diverse Carattere qualitativo misurabile su scala omiale scoessa Idici di Eterogeeità Carattere quatitativo ordiabile Differeza iterquartile Scostameto semplice medio dalla mediaa Campo di variazioe Carattere quatitativo proporzioale Scostameti medi dalla media * scostameto semplice medio * scostameto quadratico medio * variaza * deviaza * coefficiete di variazioe Differeze medie * Differeza semplice media * Differeza quadratica media G. Alleva - Statistica - Parte.5

2 Carattere mutabile: Eterogeeità Sitesi della eterogeeità: idice S di Gii e l idice H (etropia) Le situazioi estremali: Miima eterogeeità (max omogeeità): le frequeze soo cocetrate su u uica modalità Massima eterogeeità (miima omogeeità): tutte le modalità hao lo stesso di frequeze (frequeze equiripartite); se il umero di modalità è, ciascua modalità preseta / frequeze Miima eterogeeità Massima eterogeeità X u u u X - / - / X u / - / X - / Totale G. Alleva - Statistica - Parte.5 3 La somma dei quadrati delle frequeze relative Σ( u /) = Σf u = i caso di miima eterogeeità e / i caso di massima eterogeeità. Ifatti: Miima eterogeeità Massima eterogeeità X u u f u f u u f u f u X / / / / / / X u / / / / / / X / / / Tot / Idice di eterogeeità assoluto: S=- Σf u co 0 S (-)/ Idice di eterogeeità relativo: S(rel) = (- Σf - i ) co 0 S(rel) G. Alleva - Statistica - Parte.5 4

3 U altro idice: l etropia H: H = - Σf u log f u 0 H log H(rel) = H/log G. Alleva - Statistica - Parte.5 5 Esempio: Eterogeeità del Seato della Repubblica (979) Xi u fu fu^ log fu fu log fu DC 38 0,4380 0,993-0, ,5703 PCI 09 0, ,974-0, ,5948 PSI 3 0,059 0,003-0,9936-0,0089 MSI 3 0,047 0,0070 -, ,0573 PSDI 9 0,0857 0,0008 -, ,044 PRI 6 0,0905 0, ,706-0,0376 PPST 3 0,0095 0, ,09-0,095 PLI 0, , ,978-0,0395 PR 0, , ,978-0,0395 Altri 0,0037 0,0000 -,4983-0,00793 Totale 35 0,3505-0,60650 S = - 0,3505 =0,67495 S max = 9/0 = 0,9 S rel = 0,67495/0,9 = 0, H = 0,60650 H max = log 0 = H rel = 0,60650/ = 0,60650 G. Alleva - Statistica - Parte.5 6 3

4 Variabilità (caratteri quatitativi) X M(X)= Y M(Y)= X e Y presetao la stessa media ma: per la variabile X: x i M(X) = 0 i e ache x i x j = 0 i,j e duque X è ua variabile priva di variabilità (carattere statistico degeere); per la variabile Y: y i M(Y) 0 i e ache y i y j 0 i, j Si oti che: se o c è variabilità deve essere ulla ciascua differeza le differeze dalle medie soo, quelle tra coppie di osservazioi soo oppure (-) se o cosidero le differeze baali; occorre fare ua sitesi di tali differeze, ad esempio attraverso ua media. Due famiglie di idici: gli scostameti medi e le differeze medie G. Alleva - Statistica - Parte.5 7 Requisiti degli idici di variabilità (I) Fodametali I. I = 0, se e solo se o c è ua variabilità; II. I > 0 al crescere della variabilità, III. I o deve variare se le frequeze soo moltiplicate per ua costate; Opzioali IV. I o deve variare se aggiugo ua costate a tutte le osservazioi I(X) = I(X+b); V. I deve essere espresso ella stessa uità di misura di X. G. Alleva - Statistica - Parte.5 8 4

5 Differeza iterquartile X 0,75 X 0,5 (oppure Q 3 -Q ) è l itervallo che comprede il 50% dei dati cetrali può o rispettare primo requisito è robusto rispetto a dati aomali Differeza iterdecile X 0,9 X 0, comprede l 80% dei dati cetrali Campo di variazioe (rage) x max - x mi comprede tutti i dati risete di dati aomali (può essere utilizzato proprio per questo motivo) G. Alleva - Statistica - Parte.5 9 Gli scostameti medi s S(X) M - che tipo di scostameto (assoluto, quadratico, altro); - da quale media; Scostameto semplice medio dalla mediaa i= S(X) Me = X X i 0,5 X u X u= = 0,5 u è l errore che si commette i media sostituedo ai dati la mediaa Scostameto semplice medio dalla media aritmetica X i M ( X ) X u M ( X ) u i= u= S(X) = = G. Alleva - Statistica - Parte.5 0 5

6 Scostameto quadratico medio (stadard deviatio) S(X) = σ X = [ X M ( X )] i [ X M ( X )] u i= = u= è l errore che si commette i media sostituedo ai dati la media aritmetica è espresso ell uità di misura di X Variaza (variace) Var(X) = σ [ X M ( X )] i i= X = = = M[X-M(X)] [ X M ( X )] u u u= = è il quadrato dello scarto quadratico medio; o è espressa ella stessa uità di misura di X; è la media dei quadrati meo il quadrato della media: Var(X) = M(X ) [M(X)] Deviaza (variatio) Dev(X) = Σ[x i M(X)] = Σ[x u M(X)] u G. Alleva - Statistica - Parte.5 u Esempio di calcolo i ua serie i X i X i -M X i -M (X i -M ) 83,43-5,34 5,34 8,5 75,97 87,0 87,0 7603,96 3 0,94 3,7 3,7 034, ,77 5,77 680, ,9 -,48,48 3, ,94-0,83 0,83 0, ,38-8,39 8,39 338,7 8 56,0-3,76 3,76 073,7 9 70,49-8,8 8,8 334,3 0 80,84-7,93 7,93 6,87 5,0 36,5 36,5 34, 75,5-3,6 3,6 85, ,7 9,40 9,40 376,39 4 8,43-6,34 6,34 40,9 5 80,48-8,9 8,9 68,7 Somma 33,54 0,00 350,05 573,8 Media 88,77 0,00 3,34 08, M 88,77 Scostameto semplice medio 3,34 Deviaza 573 Variaza 08, Scostameto quadratico medio 3,9 c.v. 0,36 G. Alleva - Statistica - Parte.5 6

7 Dimostrazioe che Var(X) = M (X ) [M (X)] Idicado M (X) = M x Var(X) = M(X- M x ) = M(X + M x - X M x ) =M x +(M x ) -(M x ) = =M x -(M x ) che è ache M -M G. Alleva - Statistica - Parte.5 3 Variabilità di ua trasformazioe lieare Metre M(Y)=M(aX+b) = am(x)+b Var(Y)=Var(aX+b) = a Var(X) σ Y = σ ax+b = a σ X Duque σ e σ risetoo solo del cambiameto di uità di misura (la variaza e risete al quadrato) Dimostrazioe Var(Y)=Var(aX+b) = M[aX+b - am(x)-b] = = M[aX - am(x)] = = M[a(X - M(X))] = = a M[X - M(X)] = = a Var(X) G. Alleva - Statistica - Parte.5 4 7

8 Esempio Var(X+00) = Var(X) Var(X/.000) = Var(X)/ Var(3/X + ) = 9/4 Var(X) Variabile stadardizzata Y = X M X σ X M Y = 0 σ Y = G. Alleva - Statistica - Parte.5 5 Cofroto i termii di variabilità tra più caratteri Posso dire che se σ X > σ Y che X è u carattere co maggiore variabilità di Y? O, la valutazioe è ifatti distorta per: diversa uità di misura di X e Y; diverso ordie di gradezza di X ey Ua soluzioe: il coefficiete di variazioe CV CV(X) = σ X / M X G. Alleva - Statistica - Parte.5 6 8

9 Esempio:Vedite di quattro prodotti mese Prod. A Prod. B Prod. C Prod. D Ge 96 Feb 96 Mar 96 Apr 96 Mag 96 Giu 96 Lug 96 Ago 96 Set 96 Ott 96 ov 96 Dic 96 Ge 97 Feb 97 Mar 97 Apr 97 Mag 97 Giu 97 Lug 97 Ago 97 Set 97 Ott 97 ov 97 Dic Media 78,00 78,00 78,00 3,50 Scost.Q. Medio 44,86 4,7 55,75 55,75 C.V. 0,50 0,7006 0,33 0,494 G. Alleva - Statistica - Parte.5 7 Possiamo dire sulla base di CV(X) se il carattere preseta molta o poca variabilità? O: CV(X) o varia i u itervallo prestabilito di valori Ua soluzioe è rappresetata dagli idici relativi di variabilità. Questi derivao dalla ormalizzazioe degli idici assoluti di variabilità I rel = (I I mi ) / (I max I mi ) = I /I max Ifatti I mi = 0. Il problema è duque quello di determiare il massimo degli idici assoluti di variabilità G. Alleva - Statistica - Parte.5 8 9

10 Idici relativi di variabilità σ X /max σ X oppure Var(X)/max Var(X) La distribuzioe che massimizza la variabilità preseta le osservazioi cocetrate sulle due modalità estremali, che possiamo idicare co l e L: Distribuzioe che massimizza la variabilità x i i x i i l h hl L -h (-h)l Tot M Pertato poiché hl + (-h)l = M, cooscedo l, L, e M posso determiare le frequeze h e - h: e quidi hl + L hl = M h(l-l) = (M-L) h = (M-L) = (L-M) l - L L l -h = (L-M) L - l G. Alleva - Statistica - Parte.5 9 Carattere trasferibile o o trasferibile? Se il carattere X è trasferibile l=0 e L=M e le frequeze soo pari a h=- e -h =. La distribuzioe che massimizza la variabilità è: x i i x i i 0-0 M M Tot M Caso di carattere trasferibile La variaza massima è quella che corrispode alla distribuzioe massimate la variabilità Variaza massima (0-M) (-) + (M-M) = = M (-) + [M(-)] = = M (-) + M (-) = = M (-) (+-) = = M (-) σ X max è duque M(-) 0,5 G. Alleva - Statistica - Parte.5 0 0

11 Cocetrazioe E u aspetto particolare della variabilità, co efasi sull ordiameto dei dati. Si misura co riferimeto a caratteri trasferibili, tipicamete alla distribuzioe del reddito e di altri feomei ecoomici. Dati idividui e u ammotare complessivo A di u carattere X, la distribuzioe del carattere tra gli idividui può variare, co riferimeto alla cocetrazioe tra le due segueti situazioi estremali: - massima cocetrazioe: l itero ammotare del carattere è deteuto da u uico idividuo (e i restati - e soo totalmete sprovvisti); - equidistribuzioe (asseza di cocetrazioe): tutti gli idividui possiedoo la medesima quatità A/ = M (X) del carattere. Distribuzioe di X Equidistribuzioe Rago Caso geerico X() A/ = M 0 X() A/ = M 0 i X(i) A/ = M 0 - X(-) A/ = M 0 X() A/ = M A Massima cocetrazioe G. Alleva - Statistica - Parte.5 Idicado co: P i le frequeze relative cumulate; Q i gli ammotari relativi cumulati, si avrà: Distribuzioe di Qi Rago Pi (i ogi caso) Caso geerico Equidistribuzioe Massima cocetrazioe / X() / A M / M = / 0 / (X()+X()) / A M / M = / 0 i i/ (X()+X()+ +X(i)) / A i/ 0 - (-) / (X()+ +X(-))/A (-) / 0 / = A/A= A/A = A/A = Si può osservare che: Q i è sempre miore, a P i (uguale solo el caso di equidistribuzioe): Q i P i per ogi i Pertato per misurare la cocetrazioe si può cosiderare la somma delle differeze: Σ(P i Q i ) e l idice R = Σ(P i Q i ) per i:,, - ΣP i - R= 0 i caso di equidistribuzioe (P i = Q i ) - R= i caso di massima cocetrazioe Σ(P i Q i ) = ΣP i per i:,, - G. Alleva - Statistica - Parte.5

12 Curva di cocetrazioe i Xi Pi Xi cum Qi 0, 0, , 4 0, ,3 8 0, ,4 5 0, ,5 33 0, ,6 55 0, ,7 05 0, ,8 05 0, , , , Curva di cocetrazioe Qi 0,9 0,8 0,7 0,6 0,5 0,4 0,3 0, 0, 0 segmeto di equidistribuzioe Curva di cocetrazioe 0 0, 0, 0,3 0,4 0,5 0,6 0,7 0,8 0,9 Pi G. Alleva - Statistica - Parte.5 3 Misura della cocetrazioe: il rapporto di cocetrazioe R Caso di serie R = Σ(P i Q i ) per i:,, - 0 R ΣP i Caso di seriazioe R = Area di cocetrazioe / Area di max cocetrazioe C.d. formula dei trapezi Area max cocetrazioe = ½ Area di cocetrazioe = ½ - Σ(P i+ P i ) (Q i++ Q i ) / R = - Σ(P i+ P i ) (Q i++ Q i ) per i:,, - 0 R G. Alleva - Statistica - Parte.5 4

13 Esempio Reddito Famiglie Xi Ai i cum Ai cum Pi Qi Pi+ - Pi Qi+ +Qi -,5,5,5,5 0, ,0070 0, ,0070 0,0004,5 -,5 0 0,5 0,0339 0, ,6949 0, ,009, ,5 06,5 37 8,75 0,67 0,3655 0,4373 0,4938 0, ,75 0,955 0,7560 0,884,70 0, ,5 87, ,5,00000, ,08475,7560 0, ,5 0,66459 R= - 0,66459 = 0,3355 G. Alleva - Statistica - Parte.5 5 U altra misura della cocetrazioe: l idice di cocetrazioe δ p di Gii Si cosideri la seguete partizioe della distribuzioe del reddito di idividui. rago reddito i X(i) X() X() p redditieri più poveri p che detegoo complessivamete u reddito pari a Σ X(i) i= p X(p) p+ X(p+) -p redditieri più ricchi che detegoo complessivamete u reddito pari a Σ X(i) X() i=p+ G. Alleva - Statistica - Parte.5 6 3

14 Si oti che la media del reddito deteuto dai p idividui più ricchi è i geerale maggiore della media geerale del reddito: Σ X (i) Σ X (i) i=p+ i= -p (uguale solo se x i = M per ogi i) e duque Σ X (i) i=p+ -p Σ X (i) i= esisterà u δ p tale che Σ X (i) i=p+ Σ X (i) i= δ p = -p (δ p essedo le due frazioi proprie) δ p cresce al crescere della cocetrazioe G. Alleva - Statistica - Parte.5 7 Σ X (i) δ p log i=p+ = log -p Σ X (i) i= δ p = log -p / log Σ i=p+ Σ i= X (i) X (i) G. Alleva - Statistica - Parte.5 8 4

15 Calcolo del delta di Gii Caso di serie: δ 5 ) ordio i dat ) se p=5, - p = - 5 = 7 Xi rago X(i) 3 0 ammotare totale: 89,5,5,5 somma ultimi 7 redditi: δ 5 = LOG(7 / ) -0,3 = 4, LOG(79 / 89,5) -0, Tot 90 Caso di seriazioe: δ 0 p = 0; - p = 50 X x A δ 0 = log(50 / 70) = -0,46 =, log(( ) / 350) -0, G. Alleva - Statistica - Parte.5 9 Altro esempio Se il 0% degli idividui più ricchi deteeva al tempo 0 il 40% del reddito e al tempo il 50% come è variata la cocetrazioe? 0δ = log0,/log0,4=,76 δ = log0,/log0,5 =,3 G. Alleva - Statistica - Parte

16 La forma della distribuzioe: la misura dell asimmetria Esiste u cetro di simmetria ella distribuzioe di ua variabile X? Ovvero u valore tale che x (i) - = x (-i+) -, per ogi i? G. Alleva - Statistica - Parte.5 3 U primo idice Poiché se esiste simmetria la media è uguale alla mediaa si può usare l idice M (x) X 0.5 allora M (x) X 0.5 = 0 se vi è simmetria è codizioe ecessaria ma o sufficiete, ovvero M (x) X 0.5 = 0 costituisce solo u idizio di simmetria M (x) X dà certezza di asimmetria il sego della differeza segala asimmetria positiva o egativa G. Alleva - Statistica - Parte.5 3 6

17 U secodo idice Poiché se esiste simmetria (X 0,75 X 0,5 ) (X 0,5 X 0,5 ) = 0 allora si può cosiderare l idice assoluto (X 0,75 X 0,5 ) (X 0,5 X 0,5 ) = X 0,5 + X 0,75 X 0,5 o quello relativo (X 0,75 X 0,5 ) (X 0,5 X 0,5 ) (X 0,75 X 0,5 ) + (X 0,5 X 0,5 ) Ache per tale idice: l uguagliaza a 0 è codizioe ecessaria ma o sufficiete di simmetria il sego della differeza segala asimmetria positiva o egativa U terzo idice Poiché se esiste simmetria il cetro K = M(X), allora µ 3 = Σ(x i -M) 3 / = 0. Idice di asimmetria di Fisher γ = µ 3 / σ 3 X Stesse osservazioi, ma affidabilità del sego. G. Alleva - Statistica - Parte