STATISTICA parte I, B

Transcript

1 Unverstà d Frenze Corso d laurea n Statstca A.A. 00/0 STATISTICA parte I, B Indc d poszone Ccchtell Cap. 5 Carla Rampchn rampchn@ds.unf.t Leonardo Grll grll@ds.unf.t Statstca 00/0 Descrvere le dstrbuzon Aspett caratterzzant le dstrbuzon ota: queste funzon sono la versone contnua dell stogramma (ottenbl con software d anals statstca s veda stma della denstà o densty estmaton ) Pù a snstra Pù a destra Poszone centro Varabltà Meno varable Coda snstra Coda destra pù varable Statstca 00/0 3 Statstca 00/0 4

2 Aspett caratterzzant le dstrbuzon Indc d poszone (o d tendenza centrale) Forma poszone varabltà forma Asmmetrca smmetrca Indc d poszone Statstca 00/0 5 Statstca 00/0 6 Gl ndc d poszone: mede Un ndce d poszone è solo una sntes Sntes della dstrbuzone attraverso un valore rappresentatvo. Qual mede sono calcolabl dpende dal tpo d varable: centro centro Tpo d varable Moda Medana Meda artmetca Qualtatva nomnale Qualtatva ordnale Quanttatva dspersone Se la dstrbuzone è bmodale l centro non è una buona sntes della dstrbuzone! stesso centro, dspersone dversa dspersone Statstca 00/ Statstca 00/0 8

3 Meda artmetca Propretà della meda artmetca X v.s. quanttatva {x,x,,x } successone μ = M esempo X: 3 4 M = (+3++4)/4 =.75 = MEDIA: CETRO DELL ISIEME DEGLI PUTI = x Se l carattere è dscreto la meda potrebbe non appartenere all nseme delle modaltà Internaltà (propr. d Cauchy) Barcentro = ( x M ) = 0 x M x mn Lasca nvarato l ammontare complessvo: M = Invaranza per trasformazon lnear Y = a + bx M ( Y ) = a + bm ( X ) max = x x x M X - X Statstca 00/0 9 Centro d ordne (mnm quadrat) D( k) = x k D( k) è mnmo quando k = M = ( ) Statstca 00/0 0 Meda come centro Meda artmetca (dstrbuzone d frequenze) Dstanza d ordne r tra l nseme d punt {x,x,,x } e l punto k = x k Il centro d ordne r dell nseme d punt {x,x,,x } è l valore che rende mnma la dstanza d ordne r r Tabella d frequenza Mod.tà Freq. Fr.rel. x n f x n f k k j j j j j = j = M = xn = x f C :argmn x C r r Cr = Per r = C =M meda artmetca Per r = C =M e medana r x j n j f j x k n k f k Totale Dstrbuzone d freq: {(x j, n j )} j=,,,k Statstca 00/0 Statstca 00/0

4 Due mod d calcolare la meda Meda artmetca (dat n class) Dstrbuzone dsaggregata (successone d valor) K X = = Dstrbuzone d frequenze (sere) K X = = X = K = Ipotes stogramma: equdstrbuzone frequenze all nterno delle class Tabella d frequenza Valore centrale d classe: Mod.tà Freq. Fr.rel. x 0 -x n f x -x n f x j- -x j n j f j x k- -x k n k f k c j = (x j x j- )/ k k j j j j j = j = M = cn = c f Statstca 00/0 3 Totale Serazone: {(x j- ; x j ), n j )} j=,,,k Statstca 00/0 4 Meda ponderata La moda Come possamo calcolare la meda degl esam sostenut, tenendo conto del fatto che gl nsegnament hanno un numero d credt dverso? Possamo attrbure ad ogn voto x un peso w par al numero d credt dell nsegnamento corrspondente M w = wx w = = Statstca 00/0 5 Moda: modaltà cu corrsponde la frequenza pù alta Albergh d Asss per categora freq stella stelle 3 stelle 4 stelle categora moda Freq. modale Attenzone: ne dat raggruppat n class la moda è la classe cu corrsponde la denstà pù alta (può essere dversa dalla classe con la frequenza pù alta nel caso d class con ampezza varable) Statstca 00/0 6

5 Moda e massm local La medana La moda può essere fuorvante se la dstrbuzone ha massm local Modaltà centrale: 50% delle osservazon stanno sotto e 50% sopra 5 Dstrbuzone per ttolo d studo Analfab et Alfabet Element ar Meda Dploma Laurea Statstca 00/0 7 frequenza medana Statstca 00/0 8 La medana (d una successone) Propretà della medana La medana M e d n numer ordnat n senso non decrescente {y,,y } è: per dspar M e =y (+)/ per par M e [y / ;y (/)+ ] se X è quanttatva, M e =[y / +y (/)+ ]/ Modaltà centrale: 50% delle osservazon stanno sotto e 50% sopra Internaltà Centro d ordne x M x mn e e = Applcable anche a v.s. ordnal M : x M = mn M e non rsente d valor anomal: resta nvarata se s sosttuscono termn x< M e o x> M e e max Statstca 00/0 9 Statstca 00/0 0

6 Calcolo della medana tramte la funzone d rpartzone Calcolo della medana per dat n class (potes dell stogramma) X: numero att aggressv n un ora d goco 38 bambn d /3 ann x j tot n j j F(x j ) Medana: prmo valore d x j per cu vale F(x j ) > 0.5 Attenzone: se esste x j per cu vale F(x j ) = 0.5, allora la medana è tra x j e x j+ Per defnzone: ( ) FM ( ) = Fx ( ) + M x d = 0.5 e m e m m Qund: () Trovare la classe medana () Calcolare M e come segue M e Estremo nferore della classe medana 0.5 F( xm ) = xm + d Denstà della classe medana m Statstca 00/0 Statstca 00/0 Meda vs medana Meda vs medana Sono entramb ndc d poszone ndcano l centro della dstrbuzone La medana dvde la dstrbuzone n due part ugual La meda è l punto d equlbro dell stogramma, come una blanca, s ottene sommando valor e dvdendo per l numero d valor Per trovare la meda osservando un stogramma, trovate l punto n cu dovreste mettere un dto sotto l asse orzzontale per tenere n equlbro la dstrbuzone mmagnando che rettangol abbano un peso proporzonale alla loro area. La medana dvde l area dell stogramma n due part ugual (n termn d area) Statstca 00/0 3 Statstca 00/0 4

7 Meda e medana: speranza d vta de mammfer Meda vs medana Il valore n cu l stogramma sta n equlbro (meda=3,) è pù grande del valore che dvde l area n due part ugual (la medana=) (per l calcolo s veda l foglo excel) la dstrbuzone non è smmetrca Smmetra Me=M Se la dstrbuzone fosse smmetrca meda e medana sarebbero ugual I valor anomal a destra tendono a far crescere l valore medo ma non hanno effetto sulla medana Per esempo, se valor della classe [35, 40) fossero spostat nella classe [45, 50) la medana resterebbe uguale mentre la meda sarebbe pù grande! Asmmetra postva Me <M Asmmetra negatva Me > M Statstca 00/0 5 Statstca 00/0 6 Pro e contro della medana Usa solo n parte l nformazone contenuta ne dat (l ordne ma non valor) dat dvers possono avere la stessa medana è un ndce robusto, coè non è nfluenzato da valor estrem (outlers) Me = 39.5 M= Me = 39.5 M= 43.6 S fa rfermento alla favola Jack ed l fagolo magco d Rchard Walker Statstca 00/0 7 Statstca 00/0 8

8 Quantl Trovare quartl (dstrbuzone dsaggregata) p=0.0,0.0,,0.98,0.99 Percentl p =0.,0.,,0.8,0.9 Decl p =0.5,0.50,0.75 Quartl p =0.5 Medana Ordnate valor dal pù pccolo al pù grande Dvdete valor n due part ugual Qund dvdete cascuna metà ancora n due part ugual (se dspar medana nclusa n entrambe le part) Esempo: n. d flm vst n un anno da 8 student Funzone d denstà Pr(X<=x p ) p x p -p ,9 0,8 0,7 0,6 0,5 0,4 0,3 0, 0, 0 p Funzone d rpartzone F(x) x p 0 Statstca 00/ Q=4.5 Me=7.5 Q3=9.5 Esempo: n. d flm vst n un anno da 9 student Q=5 Me=8 Q3=9 Statstca 00/0 30 Defnzone d quartle Calcolo de quantl x, x, K, x dstrbuzone dsaggregata y, y, K, y dstrbuzone ordnata ( y y K y),, K, frequenze relatve cumulate y e y termn a cu corrspondono e tal che l ( l =,,3) 4 S chama l-mo ( l =,,3) quartle la quanttà y + y l se = Ccchtell Def. 5.7 ql = 4 y altrment Possamo dvdere la dstrbuzone n 0 part ugual consderando decl, n 00 part ugual consderando centl, ecc. In generale, consderamo la frazone p (0,). y e y termn a cu corrspondono e tal che p p (0,) S chama quantle d ordne p la quanttà y y + se = p qp = y altrment (per l calcolo s veda l foglo excel) Statstca 00/0 3 Statstca 00/0 3

9 Calcolo de quartl tramte la funzone d rpartzone Calcolo de quantl per dat raggruppat n class (potes dell stogramma) X: numero att aggressv n un ora d goco 38 bambn d /3 ann x j tot n j j F(x j ) Prmo valore d x j per cu vale F(x j ) > p, per p=0.5, 0.5, 0.75 Attenzone: se esste x j per cu vale F(x j ) = p, allora l corrspondente quartle è tra x j e x j+ p (0,) { } x : pr X x = F( x ) = p [ p] [ p] [ p] ) Trovare la classe (x j-, x j ) n cu F supera p ) Calcolare x = x + [ p] j p F( x ) d j j Statstca 00/0 33 Statstca 00/0 34 Mede d potenze (moment) Meda quadratca M s s = x = s= M =M meda artmetca s= M =M q meda quadratca s= M - =M a meda armonca s 0 M 0 =M g meda geometrca X M s (X) f / s Y M(Y) Meda artmetca f Statstca 00/0 35 f(x)=x M x x = = = = M : valore che sosttuto agl termn della successone ne lasca nvarata la somma de quadrat / Statstca 00/0 36

10 Meda geometrca Meda geometrca: esempo f(x)= log x (logartmo naturale) M exp log x exp log x exp(log x ) g = = = = = = Mg = x = M g valore che sosttuto agl termn della successone ne lasca nvarato l prodotto M g applcata ad una progressone geometrca (con dspar) fornsce l termne centrale della progressone Statstca 00/0 37 La meda geometrca consente d calcolare l tasso medo d crescta Esempo: un captale nvestto per tre ann ha fatto regstrare seguent rendment: %, 8%, 0%. Qual è l tasso d rendmento medo? C = C fnale nzale ( )( )( ) ( r) 3 = Cnzale + Obettvo: trovare r tale che 3 ( + r) = (.0)(.8)(.0) ( )( )( ) + r = = r = (ovvero 9.8%) 3 Statstca 00/0 38 Meda armonca Meda armonca: esempo f(x)=/x M a = x = S usa quando l recproco d x ha un sgnfcato e l obettvo è lascare nvarata la somma de recproc Statstca 00/0 39 Tempo mpegato da tre falegnam per realzzare una seda: h h h x (ore per una seda) /x (sede n un ora) / / In un ora 3 falegnam realzzano sede medamente ognuno realzza /3 d seda n un ora, ovvero per una seda mpega 3/ d ora (coè un ora e mezzo) M a 3 3 = = = = x = Statstca 00/0 40

11 Quale meda?. Le mede calcolabl dpendono dal tpo d varable: se nomnale s può calcolare solo la moda, se quanttatva s possono calcolare moda, medana e mede analtche. La scelta medana vs mede analtche dpende dalla asmmetra della dstrbuzone e dalla presenza d outlers 3. La meda analtca standard è la meda artmetca Tuttava n alcun cas la natura del fenomeno suggersce l uso d una meda dversa da quella artmetca: es. la meda armonca de temp lasca nvarata la produttvtà totale, oppure la meda geometrca lasca nvarato l montante fnale d un nvestmento a nteresse composto Statstca 00/0 4 Statstca 00/0 4 Varabltà (o dspersone) Indc d varabltà meda dversa, stessa varabltà Ccchtell Cap. 6 stessa meda, varabltà dversa Statstca 00/0 43 Statstca 00/0 44

12 Indcator elementar d varabltà Varanza e devazone standard Campo d varazone (range): R= x max -x mn Dfferenza nterquartle: DI=Q 3 -Q x mn 50% Q Q 3 Dfferenza nterquartle Campo d varazone x max Statstca 00/0 45 Scostamento dalla meda Devanza Varanza x M = ( x μ ) = ( x μ ) ( x μ ) Statstca 00/0 46 = Devazone standard = = x -M x μ D= Calcolo della varanza (dstrbuzone dsaggregata) Calcolo della varanza (dstrbuzone d frequenze) almento energa kcal x-m (x-m)^ pane grssn crackers fette bscott pasta rso pzza Totale = ( ) = = x μ = μ = Statstca 00/0 47 xj nj fj xj*fj xj-m (xj-m)^ fj(xj-m)^ totale M ds μ μ J J = ( xj ) nj = ( xj ) f j j= j= Statstca 00/0 48

13 Meda e varanza con dat raggruppat Calcolo della varanza: formula alternatva Ipotes stogramma: equdstrbuzone frequenze all nterno delle class Tabella d frequenza Valore centrale d classe: c j = (x j x j- )/ Mod.tà Freq. Fr.rel. x 0 -x n f = M M = M( X ) [ M( X)] Varanza = (meda quadratca al quadrato) (meda artmetca al quadrato) x -x n f x j- -x j n j f j x k- -x k n k f k Totale k μ = cj f j= J = ( c j μ) j= j f j Approssma la vera meda, a volte per dfetto, a volte per eccesso Approssma la vera varanza, quas sempre per dfetto ell esempo delle kcal degl alment M = M = = (366.5) = Statstca 00/0 49 Statstca 00/0 50 Vedremo pù avant che nell ambto dell nferenza statstca l dvsore della varanza non è ma - dvsore varanza della popolazone dvsore - varanza camponara Interpretare la devazone standard Devazone standard: meda quadratca degl scostament dalla meda Dat A μ = 5.5 = Attenzone: n molt software la varanza d default è quella camponara Es. n Excel VAR() dvsore - VAR.POP() dvsore Dat B Dat C μ = 5.5 = 0.96 μ = 5.5 = Statstca 00/0 5 Statstca 00/0 5

14 Propretà della devazone standard Propretà della devazone standard. Stessa untà d msura d X. on negatvtà ( X) 0, con ( X) = 0 X degenere Invaranza rspetto a traslazon ( a+ X) = ( X) 3. Invaranza rspetto a traslazon ( a+ X) = ( X) Omogenetà M(x) M(x+a) a bx 4. Omogenetà ( bx ) = b ( X ) ( bx ) = b ( X ) X Statstca 00/0 53 Statstca 00/0 n questo esempo 0<b< 54 Propretà della devazone standard Replogo: effetto d una traslazone La devazone standard è molto sensble a valor anomal Alternatva robusta: lo scarto nterquartle In termn d robustezza la devazone standard sta allo scarto nterquartle come la meda artmetca sta alla medana ( K ) x, x,, xn μ ( x x K x ) + a, + a,, n + a + a μ Es. Reddto n euro, meda 950 e Dev.Std. 70 Prelevo 30 euro ognuno (a= 30) meda 90 e Dev.Std. 70 Statstca 00/0 55 Statstca 00/0 56

15 Replogo: effetto d un cambamento d scala Quale coppa d ndc? ( K ) x, x,, xn μ ( x x K x ) b, b,, b n bμ b b Es. Altezze n cm, meda 7 e Dev.Std. 8 Trasformazone n metr (b=/00) meda.7 e Dev.Std Quale ndce d poszone e dspersone utlzzare dpende anche dall obettvo con cu s calcolano quest ndc. Se l obettvo è meramente descrttvo, e la varable è quanttatva, gl ndc pù nformatv sono: la meda artmetca e la devazone standard se la dstrbuzone è smmetrca unmodale la medana e lo scarto nterquartle se la dstrbuzone è asmmetrca o presenta valor anomal Statstca 00/0 57 Statstca 00/0 58 Indc d varabltà relatv Coeffcente d varazone Utl per confrontare la varabltà d due dstrbuzon quando: Untà d msura dverse senza alcuna relazone Stessa untà d msura, ma ntenstà meda dversa Possbl soluzon relatvzzare rspetto a una meda (es. l CV) relatvzzare rspetto a un valore massmo Sono numer pur, coè senza untà d msura Statstca 00/0 59 CV = 00 μ ( x 0, μ 0) È un numero puro (espresso n % ma non ha massmo) È defnto solo per varabl con meda dversa da 0, ed è utle per varabl che assumono valor solo postv Consente l confronto tra la varabltà d fenomen: n untà d msura non omogenee (es. n una popolazone d bambn c è pù varabltà nel peso o nell altezza?) con dverso ordne d grandezza (es. rguardo al peso, c è pù varabltà tra neonat o tra le madr?) Statstca 00/0 60

16 Utlzzo del CV Indc d eterogenetà Per μ 0 l CV : non usare quando la meda è pccola! Il CV dovrebbe essere calcolato solo per varabl msurate su scala d rapport Scala d ntervall: esempo temperatura meda ds cv C ,50,50 0,3 K 93, 9, 94, 96, 88, 93, 9,65,50 0,0 F 68 64,4 69,8 73, ,0 4,50 0,07 Carattere d qualunque natura: s usano solo le frequenze Mnma eterogenetà (= massma omogenetà) Modaltà x x x x k Totale Frequenza K= C 73.5 F= C Scala d rapport: esempo massa peso meda ds cv gramm ,33 4,03 0,08 lbbre 0, 0,06 0,5 0,08 0,099 0,8 0, 0,0 0,08 kg 0,5 0,48 0,5 0,49 0,45 0,58 0,50 0,04 0,08 Massma eterogenetà Modaltà x x x x k Totale Frequenza /k /k /k /k lb 453,6 gr gr 0,0005 Statstca 00/0 6 Statstca 00/0 6 Indc d eterogenetà Calcolo ndc d eterogenetà Indce d Gn k G = = Indce d entropa k = f H = f log f k G 0, k H [ 0, log k] Dvdendo per l massmo s ottengono le verson normalzzate Statstca 00/0 63 Indc d eterogenetà per la valutazone d tre cors d Ingegnera a.a. 999/000 II sem Dstrbuzone d frequenza relatva per corso IDICE DI GII: fj^ xj A B C A B C dec no no/sì sì/no dec sì TOT G G' IDICE DI ETROPIA: fj*logfj (log base e) IDICE DISPERSIOE DI LETI : Fj*(-Fj A B C A B C H D H' d Statstca 00/0 64

17 Indc d forma Ccchtell Cap. 7 Statstca 00/0 65 Statstca 00/0 66 La forma della dstrbuzone Dstrbuzon smmetrche Forme tpche: rettangolare o unforme smmetrca a campana la pù nota curva a campana smmetrca è la ormale Una dstrbuzone è smmetrca quando le modaltà a snstra e a destra della medana sono equdstant dalla medana e ogn coppa d modaltà equdstant ha la stessa frequenza asmmetrca (a destra o a snstra) bmodale Modaltà Totale Frequenza Statstca 00/0 67 Statstca 00/0 68

18 Dstrbuzon smmetrche Un ndce d asmmetra (skewness) Propretà M = M e ( = Moda, se unmodale) = ( x M) = 0 Q M e = Q 3 M e r per ogn r dspar k ( x ) 3 M n α = 3 = α > 0 asmmetra postva α < 0 asmmetra negatva Dstrbuzone smmetrca α = 0 Statstca 00/0 69 Statstca 00/0 70 Un ndce d asmmetra: esempo α =0 non mplca smmetra n. comp. famgle xj*nj (xj-m)^*nj (xj-m)^3*nj totale Indce d asmmetra α = Famgle talane (mglaa) per numero d component 998 (Fonte: ISTAT) Asmmetra postva x (x μ) Somma = 0.00 μ = 0.00 = Statstca 00/0 7 Statstca 00/0 7

19 Dstrbuzone ormale o d Gauss Parametr: Funzone d denstà: μ 0 0 f(x) x (0,) (,) (0,4) E E μ, μ R, R+ f( x) = e π (0,) (,) (0,4) x μ Statstca 00/0 73 x R Forma della dstrbuzone ormale f(x) Cambando μ la dstrbuzone s sposta verso snstra o destra μ Cambando aumenta o dmnusce la dspersone. Date la meda μ e la varanza dentfchamo la dstrbuzone normale con la notazone X ~ (μ, ) x Curtos [dal gr. kyrtós curvo, arcuato ] Indce d curtos (kurtoss) Per dstrbuzon smmetrche la curtos valuta la frequenza nelle code, e l corrspondente appuntmento al centro, rspetto alla dstrbuzone normale con medesma meda e devazone std k ( ) 4 γ = x 3 4 M n = γ > 0 pernormale (code pesant) γ < 0 ponormale (code leggere) Dstrbuzone normale γ = 0 Statstca 00/0 75 Statstca 00/0 76

20 Sntetzzare la dstrbuzone con 5 numer Boxplot Dsuguaglanza d Chebychev e regola emprca mnmo: l pù pccolo valore osservato Q: la medana della prma metà de valor Medana: l valore che dvde dat n due part Q3: la medana della metà superore de valor massmo: l valore pù grande osservato Ccchtell Cap. 8 Statstca 00/0 77 Boxplot (dagramma a scatola) Statstca 00/0 78 Boxplot (versone A) Boxplot (versone A) Boxplots of protene by gruppo Consderare quartl, mnmo e massmo contenuto proteco 0 alment per gruppo protene gruppo x mn Q M e Q 3 scatola baffo superore x max Statstca 00/0 79 Statstca 00/0 80

21 Boxplot (versone B) Boxplot (versone B) mnmo: Quartle nferore (Q): 8 poszone 38*(/4)=9.5 0 medana: poszone 38*(/)=9 9 e 0 elefante ppopotamo Quartle superore (Q3): 5 poszone 38*(3/4)=8.5 9 Massmo: 4 mn Q Me Q3 Q3+.5 SI outlers Esempo: Speranza d vta d =38 mammfer Statstca 00/0 8 Lunghezza del baffo:.5*si (Scarto Interquartle, ovvero Q3-Q) ota: l baffo vene troncato se supera l mn o l max Le osservazon al d fuor de baff sono ndcate con un smbolo Statstca 00/0 8 Boxplot senza baff! Dsuguaglanza d Chebyshev Sì. Possono esserc boxplot senza baff! Per esempo, n questo nseme d dat {,,,,, 3, 5, 6, 7,, 4, 6} Per una dstrbuzone qualunque con meda μ devazone standard s scelga arbtraramente un valore δ >0 Allora, posto Freq{I} = frequenza relatva complessva de termn che s trovano nell ntervallo I, s ha l mnmo e l prmo quartle sono ugual Statstca 00/0 83 Freq < < + δ { μ δ x μ δ} Statstca 00/0 84

22 Dsuguaglanza d Chebyshev Versone alternatva con δ = k Per una dstrbuzone qualunque con meda μ devazone standard s scelga arbtraramente un valore k Allora, posto Freq{I} = frequenza relatva complessva de termn che s trovano nell ntervallo I, s ha Freq k { μ k < x < μ+ k} Dsuguaglanza d Chebyshev: esemp Indpendentemente da come dat sono dstrbut, almeno ( - /k ) de valor cadranno entro k devazon standard dalla meda (per k ) Esemp: k= ( - / ) = 0%... (μ ±) k= ( - / ) = 75%... (μ ±) k=3 ( - /3 ) = 89%. (μ ±3) Statstca 00/0 85 Statstca 00/0 86 Dstrbuzone ormale Regola emprca Se dat seguono una dstrbuzone con meda μ e devazone standard, vale Freq Freq Freq { μ < x < μ+ } = { μ x μ } { μ x μ } < < + = < < + 3 = μ ± μ ± La dstrbuzone normale è un modello teorco: dat sono dscret! Tuttava, se l stogramma ha una forma campanulare dat hanno una dstrbuzone approssmatvamente normale In tal caso, le frequenze 68%, 95% e 99.7% della normale valgono approssmatvamente per dat regola emprca se dat hanno una dstrbuzone d forma campanulare, crca l 68% de valor s trova nell ntervallo μ ±, crca l 95% nell ntervallo μ ± e crca l 99.7% nell ntervallo μ ± 3 μ ± 3 Statstca 00/0 88

23 Dsuguagl. d Chebyshev vs regola emprca k ntervallo Dsuguagl. Chebyshev Regola emprca μ± 0% 68% μ± 75% 95% 3 μ±3 89% 99.7% La regola emprca è pù nformatva (è n termn d nvece che ) però s applca solo alle dstrbuzon campanular Statstca 00/0 89