Elementi di statistica descrittiva Andrea Sambusetti URL:

Transcript

1 APPENDICE A Elemeti di statistica descrittiva Adrea Sambusetti sambuset@mat.uiroma1.it URL: La statistica descrittiva ha lo scopo di aalizzare e iterpretare delle serie di dati, allo scopo di suggerire tedeze e strategie, forire test di verosimigliaza e creare modelli probabilistici che aiutio a prevedere (compito che è più specificatamete l oggetto della statistica ifereziale e del calcolo delle probabilità). 1. Distribuzioi di dati, rappresetazioe, frequeze Ua distribuzioe di dati è descritta, i geerale, da ua fuzioe X : Ω V, dove Ω è l isieme delle prove, o osservazioi, o popolazioe, e V è l isieme dei valori che ua certa osservazioe può dare. Ecco alcui esempi di distribuzioi: il valore di u carattere i ua certa popolazioe, come per es. le età degli studeti di ua classe: qui Ω è l isieme degli studeti, V l isieme delle età; il risultato di u umero ripetuto di misurazioi, come per es. la temperatura rilevata i u certo sito al variare del tempo: qui Ω è l isieme dei tempi ai quali si effettua la misurazioe, e V è l isieme delle temperature rilevate. Spesso, quado si tratta di prove o misure ripetute, Ω può essere preso uguale all isieme {1,..., } (dove è il umero delle prove); i tal caso, cooscere ua distribuzioe X vuol dire cooscere gli valori X(i) = x i, duque X può essere assimilata ad ua sequeza ordiata di valori (x 1,..., x ) (comuemete abbreviata co (x i ) ). Notiamo che l isieme dei valori V di ua distribuzioe può essere umerico o o. Per esempio: la distribuzioe che idica il gioro della settimaa di massima afflueza i ciascu ufficio postale di ua città (i cui l isieme dei valori V è l isieme dei giori della settimaa); oppure, la stessa distribuzioe delle età i ua popolazioe, se raccolte per itervalli (i cui l isieme V è u isieme di itervalli, per es. tra 0 e 10 ai, tra 11 e 20 ecc.), Tra i vari metodi utilizzati per riassumere e visualizzare le distribuzioi ci soo: diagrammi cartesiai per puti, spezzate o grafici. Di seguito, ecco u esempio per oguo di essi: 1

2 2 Appedice : elemeti di statistica descrittiva Esercizio A.1.1. Per ciascua delle distribuzioi alle figure , specificare l isieme Ω delle prove e l isieme V dei valori: Figura 1. Distribuzioe dell età i ua classe Figura 2. Distribuzioe degli itervalli di reddito medio per regioe Figura 3. Distribuzioe dell aomalia termometrica media terrestre i C U metodo sitetico alterativo per dare ua distribuzioe cosiste ello specificare, per ciascu valore x V possibile, la sua frequeza: cioè il umero f(x) = #X 1 (x) dei casi per i quali si ottiee il valore x. I questo modo la distribuzioe può essere riassuta da ua tabella riportate per ogi x la relativa frequeza f(x). Per esempio, la tabella associata alla distribuzioe delle età ell esercizio A.1.1, Figura 1, è: x = età f(x)

3 A. Sambusetti 3 Si oti che tale tabella o cotiee precisamete la stessa quatità di iformazioe della distribuzioe iiziale (si può dedurre da essa quali soo gli studeti che hao 20 ai?) ma, per molti fii statistici, essa rimpiazza adeguatamete la coosceza precisa della distribuzioe. Si oti ioltre che la somma di tutte le frequeze è sempre uguale al umero di prove (perché?); i umeri ˆf(x)/ soo detti frequeze relative, e dao quidi sempre somma 1. Esercizio A.1.2. Scrivere le tabelle associate a tutte le distribuzioi dell esercizio A.1.1. Ifie, è bee cooscere u ulteriore metodo di rappresetazioe della tabella di ua distribuzioe: gli istogrammi di frequeze e gli aerogrammi (o diagrammi a torta). Se X = (x i ) è ua distribuzioe di dati, l istogramma delle frequeze di X è semplicemete il grafico della fuzioe-frequeze f(x) i fuzioe dei valori possibili x, i quali vegoo rappresetati su u asse come itervallii. Si oti che le frequeze soo valori umerici pertato è sempre possibile cofrotarli umericamete (al cotrario dei valori x della distribuzioe X, che possoo o essere umerici): l istogramma permette precisamete u cofroto visivo immediato dei valori assuti co maggiore frequeza. Per redere geometricamete più ituitivo tale cofroto, i valori possibili x vegoo rappresetati co itervallii di uguale ampiezza, i modo che l area dei rettagolii risultati sia esattamete proporzioale alle frequeze 1. U diagramma a torta per X cosiste ivece i u cerchio, suddiviso i tati spicchi di area (o arco sotteso) proporzioale alla frequeze f(x); lo spicchio relativo ad u valore x corrispode duque ad u agolo al cetro α(x) dato dalla proporzioe f(x) : = α(x) : 2π cioè α(x) = ( 2π )f(x). L area degli spicchi dà quidi u idea immediata della proporzioe delle frequeze relative ˆf(x), cioè il rapporto tra le varie frequeze ed il umero totale delle osservazioi. Esempio A.1.3. L istogramma delle frequeze e l aerogramma della distribuzioe delle età ell Esercizio A.1.1, Figura 1, soo: Esercizio A.1.4. Costruire gli areogrammi delle altre distribuzioi dell esercizio A.1.1, Figure 2 e 3. 1 Qualora i valori x siao itervalli, è buoa orma rappresetarli sull asse co ampiezza proporzioale alla loro misura, i modo che le aree dei vari rettagolii dell istogramma risulti proporzioale ache a tali ampiezze.

4 4 Appedice : elemeti di statistica descrittiva Ifie, già dalla Figura 3 dell esempio A.1.1, osserviamo che può essere utile predere per isiemi Ω e V degli isiemi cotiui; quado, per esempio, l isieme delle osservazioi teda ad ifittirsi i u itervallo reale, o quado la relazioe tra osservazioi e valori sia meglio descritta da ua legge empirica espressa da ua fuzioe di variabile reale. Qui di seguito (Figura 4) portiamo u esempio i cui la distribuzioe esprime la crescita di ua coltura di batteri i fuzioe del tempo, e chiaramete il valore quatità di batteri è misurato più efficacemete come u volume (ua quatità cotiua), piuttosto che dal loro umero (ua quatità discreta), ed il tempo è pesato come cotiuo. Figura 4. Distribuzioe della crescita di ua coltura batterica: X(t) = v 02 t (cm 3 di volume i fuzioe del tempo, espresso i giori t 0) Può essere utile sapere cosa soo le frequeze el caso di ua distribuzioe cotiua come i Figura 4. Difatti, se Ω è u isieme ifiito, come u itervallo, i umeri f(x) = #X 1 (x) perdoo di seso (u valore può essere assuto da u ifiità di osservazioi!). Ricordiamo che la proprietà fodametale delle frequeze è di dare ua misura di quate volte u certo valore è assuto rispetto al umero di osservazioi totali; ovvero, il umero di osservazioi che dao u risultato compreso tra x 1 e x 2 si calcola tramite le frequeze come: (1.1) #X 1 (x 1, x 2) = #{i Ω X(i) (x 1, x 2)} = X f(x) x (x 1,x 2 ) Se desideriamo ua ozioe di frequeza co ua proprietà aaloga, el caso di ua distribuzioe data da ua fuzioe cotiua di variabile reale X : Ω = [a, b] V R, si può procedere el seguete modo: dobbiamo cosiderare ua misura per sottoisiemi A R (e o più il semplice umero di puti ), Z che si defiisce come l[a] = χ A(t)dt R dove χ A è la fuzioe caratteristica dell isieme A: tale misura è, per u uioe di itervalli, precisamete la somma delle loro ampiezze; quidi itroduciamo la fuzioe ripartizioe F : R R di X come F (x) = l[x 1 (, x)] la fuzioe, cioè, che dà la misura del sottoisieme di Ω su cui X vale meo di x; ifie defiiamo la frequeza del valore x della distribuzioe come f(x) = F (x); solamete, el cotesto cotiuo, tale fuzioe frequeza si chiama desità (della distribuzioe X, i x). Esempio A.1.5. Nel caso della distribuzioe X(t) = v 0e 2t i Figura 5, si ottiee: ( ( log F (x) = 2 (x/v 0), se x v 0 log, f(x) = 2 (e/x) se x v 0. 0 se x < v 0 0 se x < v 0

5 A. Sambusetti 5 Qualora questo processo risulti possibile (il che dipede dalla botà della distribuzioe iiziale X), la fuzioe desità f(x) sostituisce egregiamete l idea di frequeza del valore x el caso cotiuo; ifatti si ha, per il teorema fodametale del calcolo itegrale: (1.2) l[x 1 (x 1, x 2)] = l[x 1 (, x 2)] l[x 1 (, x 1)] = F (x 2) F (x 1) = Z x2 x 1 f(x)dx cioè la misura del sottoisieme di Ω su cui X assume valori compresi tra x 1 e x 2 è precisamete dato dall itegrale (o più ua somma) della fuzioe f sull itervallo (x 1, x 2). La formula (1.2) è allora proprio l aalogo della (1.1) el caso cotiuo. I queste ote, comuque, ci limiteremo comuque quasi esclusivamete allo studio di distribuzioi discrete, cioè per le quali l isieme delle osservazioi Ω sia fiito Idici di posizioe Data ua distribuzioe di dati, è spesso utile riassumere il suo adameto co dei umeri, o idicatori. Gli idicatori che adremo a defiire soo di due tipi: idici di posizioe (media, mediaa, mode) e idici di dispersioe (scarto assoluto e scarto quadratico medio). I primi idicao dei valori tipici (i u seso da precisare) della distribuzioe, i secodi misurao quato i valori della distribuzioe si discostao da tali valori tipici. Defiizioe A.2.1. Sia X = (x 1,..., x ) ua distribuzioe dati. Si defiisce: media (aritmetica) della distribuzioe X il umero M(X) = 1 x i ; mediaa di X è il umero otteuto riumerado gli (x i ) i ordie crescete, e quidi prededo il valore di mezzo : { x +1 se è dispari Me(X) = (x + x ) se è pari moda di X il valore Mo(X) = {x i f X (x i ) è massimo} che ha frequeza massima. Si oti subito che: i) la media si può calcolare ache come: M(X) = 1 x i x j f X (x i )x i. ii) la mediaa prova a rispodere al problema di trovare u valore y che divide la popolazioe i due classi di ugual umerosità, ua composta dalla parte della popolazioe su cui la distribuzioe vale meo di y, l altra su cui vale più di y. Me(X) risolve il problema el caso pari se i valori cetrali x, x soo differeti, o el caso dispari se il valore cetrale x +1 2 è assuto ua sola volta; altrimeti, può comuque esserci uo squilibrio umerico 3 tra il sottoisieme della popolazioe co valori iferiori a Me(X) e quello co valori superiori a M e(x) (come mostra il prossimo Esempio A.2.2). iii) la moda o è ecessariamete uica: se vi è più di u valore di frequeza massima, si soo vari massimi relativi, si parla di mode di X, e di distribuzioe plurimodale 4. 2 Il termie discreto assume i matematica, per variabili aleatorie e per spazi astratti, u sigificato più geerale di quello utilizzato qui. 3 Me(X) miimizza comuque la differeza di umerosità tra due classi della popolazioe co la proprietà di avere valori rispettivamete iferiore e superiore a u umero y fissato, cf. Teorema A.3.6(ii). 4 Quidi, ua distribuzioe co due valori di frequeza massima si dirà bimodale; ma si dirà bimodale ache ua distribuzioe il cui grafico delle frequeze abbia due massimi relativi, o ecessariamete uguali. I ogi caso, i valori corrispodeti si chiamerao prima, secoda moda, ecc. cf. Exempio A.3.4.

6 6 Appedice : elemeti di statistica descrittiva Notiamo ioltre che metre media e mediaa hao seso solo per distribuzioi di dati umerici, la moda può esser presa i cosiderazioe per qualsiasi tipo di dati (p.es., se i valori soo giori della settimaa). Esempio A.2.2. Per la distribuzioe dell esercizio A.1.1, Figura 1, si ha: M(X) = 19.82, Me(X) = 20 e Mo(X) = 19. Notare che il umero di studeti di età iferiore a Me(X) è 24 ed il umero di studeti co età superiore è 25! Di seguito vediamo alcui esempi che ci illustrao il tipico utilizzo di questi idici. Esercizio A.2.3 ( ). Il reddito mesile i ua regioe d Italia è distribuito per fasce (i percetuale ad ua popolazioe di N famiglie) secodo la seguete tabella: Keuro <.5.5/1 1/ /2 2/ /3 3/ /4 4/ /5 % Pop Sapedo che ogi famiglia spede circa il 10% del suo reddito i bei voluttuari ed il 5% i eergia, rispodere ai segueti problemi: (i) la Electroics Spa vuole produrre dei lettori mp3 da vedere ella regioe cosiderata. Qual è il massimo prezzo di vedita che la Electroics può fissare se desidera che il suo prodotto sia accessibile alla maggioraza delle famiglie? (ii) la Eergy Spa ha il moopolio della produzioe di eergia ella regioe. Quati milioi di euro di eergia al massimo la Eergy ha iteresse a produrre? Soluzioe. I questo esempio, i valori soo itervalli [x i, y i) (cioè abbiamo coppie di valori) metre la secoda riga dà le frequeze f i, espresse i percetuale (duque a somma = 100). Nel caso (i), la Electroics è iteressata alle frequeze della distribuzioe, e precisamete al valore x al di sotto del quale si trova il (10% del) reddito della maggioraza delle famiglie; pertato si calcolerà la mediaa dei redditi, o più precisamete u itervallo mediao, che ha estremi Me((x i) ) = 1.5 e Me((y i) ) = 2. La Electroics ha duque iteresse a produrre lettori di prezzo iferiore a 10% 1.5kAC = 150 euro. Nel caso (ii), la Eergy è iteressata più al al totale dei redditi che alla distribuzioe delle frequeze: essa deve provvedere al fabbisogo miimo di eergia, e o superare il massimo vedibile; quidi deve produrre almeo il 5%x i di euro di eergia per ogi i-ma fascia di reddito e o più del 5%y i. Sapedo che N è il umero totale di famiglie, segue che la Eergy dovrà produrre eergia, i euro, compresa tra i valori x = X N X N 5%x i f i = 5%N M((xi)) ed y = 5%y i f i = 5%N M((yi)) x i x j y i y j Come si vede, la risposta richiede duque il calcolo delle medie M((x i) ) = 16 e M((y i) ) = 20.85, e forisce x = 4 5 N e y = N. Esercizio A.2.4 ( ). I clieti di ua baca si distribuiscoo agli sportelli secodo la seguete statistica settimaale Gioro lu mar mer gio ve % Clieti (i) Secodo quale idicatore statistico u cliete (itelligete) sceglie il gioro i cui recarsi i baca? (ii) Secodo quale idicatore statistico il direttore misura l efficieza della propria filiale, e cosa vorrebbe miimizzare? Soluzioe. I questo caso, la distribuzioe ha come valori i giori della settimaa, ed è u esempio di utilità della moda. Si tratta chiaramete di ua distribuzioe bimodale, co due valori (il luedì e il mercoledì) che hao frequeza massima: u cliete accorto tede ad evitare tali giori i giori, corrispodeti alle due mode pari al 30%. D altrode, u direttore respodabile tederà a ifluezare il pubblico i modo che le frequeze f i dei vari giori della settimaa siao circa tutte uguali; poiché il totale delle frequeze (espresse i percetuale) è 100, ed i giori lavorativi soo 5, il direttore vorrebbe otteere delle frequeze f i il più possibile vicie a 20, la media delle frequeze (attezioe: o la media dei valori, che o soo umerici!). Uo stima di quato la filiale sia efficiete è duque dato dal umero P i fi 20 : più tale umero è vicio a zero, più si è vicii alla situazioe ideale.

7 A. Sambusetti 7 Esercizio A.2.5. I membri di u ammiistrazioe locale ha a disposizioe i segueti dati sulla atalità ella propria regioe: N. figli % Famiglie (i) Dire quale idice statistico studierao per sapere se la popolazioe locale è i aumeto o i decremeto, e per decidere ua coseguete politica demografica; (ii) se voglioo scegliere u cotributo miimo da erogare sulla base del umero di figli, assicuradosi la maggior parte dei cosesi, quale idicatore sceglierao e come lo userao? Esercizio A.2.6. La seguete rappreseta la tabella del tasso di mortalità (percetuale dei decessi per fascia di età, sul totale della popolazioe) di ua regioe italiaa el età mortalità 0.7% 0.05% 0.1% 0.2% 1% 2% 4% 1% 0.5% 0.2% (i) I ua coservatoria dell aagrafe si voglioo distribuire le pratiche i due staze di dimesioi più o meo uguali. Quale criterio statistico si seguirà per effettuare la divisioe delle pratiche? (ii) L INPS vuole avere ua stima grezza del umero totale di ai di pesioe che dovrà pagare alla popolazioe attuale della regioe, immagiado che tutti vadao i pesioe a 70 ai. Quale idicatore statistico studierà e perché? Quati soo gli ai attesi? Per ua persoa di età x, il umero M(X) x è detto aspettativa di vita della persoa. Ua compagia assicurativa, per le polizze-vita, chiede u premio che è strettamete correlato (egativamete) all aspettativa di vita della persoa che lo richiede. Vediamo qui u primo esempio i cui le distribuzioi statistiche soo utlizzate per la creazioe di modelli probabilistici, il cui studio ci porterebbe molto lotao. L itroduzioe e la giustificazioe di tali modelli a partire dai dati statistici è oggetto del calcolo delle probabilità. Esistoo aaloghi idicatori per distribuzioi cotiue. Se X : [a, b] V = [m, M] ha fuzioe desità f : [m, M] R si defiiscoo, i completa aalogia co il caso discreto: R media della distribuzioe X, il umero M(X) = 1 b X(t)dt = R 1 M xf(x)dx b a a b a m (questa ultima formula sarebbe da dimostrare!); mediaa di X, il valore Me(X) = x 0 tale che l[x 1 (, x 0)] = l[x 1 (x 0, + )], cioè che separa [a, b] i due sottoisiemi, che dao valori rispettivamete iferiori e superiori a x 0, di ugual misura (se si coosce la fuzioe di ripartizioe F (x), è l uico valore x 0 tale che F (x 0) = 1 (b a)); 2 mode Mo i(x), cioè i massimi relativi della fuzioe desità f(x) (ordiati i ordie decrescete). 3. Idici di dispersioe Per stimare, come ell Esercizio (ii), quato i valori di ua distribuzioe siao distati dal valore medio, si itroducoo gli idici di dispersioe: Defiizioe A.3.1. Sia X = (x 1,..., x ) ua distribuzioe di dati. Si defiisce: scarto di u valore x dalla media, il umero x M(X); aalogamete si parlerà di scarto assoluto e scarto quadratico per i umeri x M(X) e (x M(X)) 2 ; scarto assoluto medio della distribuzioe X, il umero MAD(X) = 1 x i M(X) (MAD sta per mea absolute deviatio ) ; scarto quadratico medio 5 o variaza di X, il umero V AR(X) = 1 (x i M(X)) 2 ; deviazioe stadard di X, il umero σ(x) = V AR(X) = 1 (x i M(X)) 2. 5 I alcui testi, co abuso di liguaggio, lo scarto quadratico medio è defiito differetemete da qui come la radice della media degli scarti quadratici.

8 8 Appedice : elemeti di statistica descrittiva Si oti che: i) per ua misura della botà delle distribuzioe di X attoro al valore medio M(X), si prede la media degli scarti assoluti o quadratici, e o semplicemete la media degli scarti; ciò i quato la media degli scarti dà sempre: M( (x i M(X)) ) = 1 quidi o è sigificativa! i (x i M(X)) = ( 1 i x i) M(X) = 0 ii) la deviazioe stadard è u idicatore preferibile rispetto alla variaza i quato ha la piacevole proprietà di essere dimesioalmete omogeeo co i dati (cioè: se i dati soo i metri, ache la deviazioe stadard è i metri, metre la variaza è i m 2 ). iii) MAD(X) e σ(x) soo ulli se e solo tutti i valori x i soo uguali al valore medio, e crescoo mao mao che ci soo più valori distati dal valore medio: i questo seso, soo degli stimatori di quato la distribuzioe è prossima o lotaa dalla media. Osservazioe A.3.2. È importate otare che tutti gli idici siora itrodotti possoo essere calcolati a partire dalla tabella della distribuzioe, i quato otteuti cooscedo i valori x i e le rispettive frequeze f i, tramite le formule equivaleti: MAD(X) = 1 f i x i M(X) x i x j V AR(X) = 1 f i (x i M(X)) 2 x i x j Queste formule soo otteute semplicemete raggruppado, ella defiizioe di M AD e V AR, gli f i addedi di ugual valore x i M(X), (x i M(X)) 2. La coosceza precisa della fuzioe distribuzioe (cioè X : Ω V) o è richiesta; azi, ai fii di ua descrizioe statistica, la tabella (cioè l istogramma delle frequeze) risulta sempre più chiara e leggibile, come lo dimostra u tetativo di lettura della Figura 1 rispetto alla Figura 4. Esempio A.3.3. Calcoliamo gli idici di dispersioe per la distribuzioe dell esercizio A.1.1, Figura 1. Per o fare errori, è cosigliato di sistemare i dati parziali (somma delle frequeze, scarti assoluti, scarti quadratici ecc) i ua tabella, quidi fare le somme: Si tratta evidetemete di ua distribuzioe uimodale co dati distribuiti molto vicio al valore medio: σ(x) è ifatti piccola rispetto ai valori delle età. Per distribuzioi co u gra umero di valori e frequeze, come il prossimo esempio, è vivamete cosigliato l uso di u foglio di calcolo...

9 A. Sambusetti 9 Esempio A.3.4. Calcoliamo idici di posizioe e idici di dispersioe per la distribuzioe dell età dei professori ordiari i Italia: Come si vede dall istogramma delle frequeze, si tratta di ua distribuzioe bimodale, e o sembra troppo cetrata attoro al valore medio. Eseguiamo i calcoli ecessari alla verifica i ua tabella:

10 10 Appedice : elemeti di statistica descrittiva Il calcolo degli idici di posizioe e di dispersioe ci dà due risultati iteressati: la media, i questo caso, è poco rappresetativa; difatti o è vero che la maggior parte dei doceti abbia età attoro ai 52 ai! Questa è ua caratteristica comue delle distribuzioi bimodali, le cui due mode siao relative a valori distati; i tal caso la media dei due valori più rappresetativi relativi alle due mode (i questo caso: 42 e 62) dà u valore otteuto co frequeza decisamete piú bassa. gli idici di dispersioe soo piuttosto alti (sempre rispetto ai valori della distribuzioe), e questo giustifica umericamete l impressioe di dispersioe della distribuzioe dal valore medio. Esercizio A.3.5. Calcolare media, mediaa, mode, scarto assoluto medio, scarto quadratico medio e deviazioe stadard, e dire i ciascu caso cosa suggeriscoo gli idicatori statistici, per: (i) le distribuzioi ell Esercizio A.1.1 (Figure 2 e 3); (ii) la distribuzioe ell Esempio A.2.3; (iii) la distribuzioe delle frequeze ell Esempio 3; (iv) la distribuzioe ell Esercizio A.2.5; (v) la distribuzioe ell Esercizio A.2.6. Perché media e mediaa si cosiderao valori caratteristici per ua distribuzioe di dati? Ua ragioe, oltre alle varie esposte precedetemete, è la seguete proprietà di questi due idici : Teorema A.3.6. Sia X = (x 1,..., x ) ua distribuzioe discreta di dati, e sia y u umero fissato. Cosideriamo le quatità MAD(X, y) = x i y, detta scarto assoluto medio di X da y Allora: V AR(X, y) = (x i y) 2, detta scarto quadratico medio di X da y (i) Me(X) è il valore di y per il quale MAD(X, y) è miimo ; (ii) M(X) è il valore di y per il quale V AR(X, y) è miimo. Cioè, se si vuole cosiderare ua ozioe di dispersioe, o distaza, di ua serie di dati da u valore fissato y (rispetto a misure aturali della dispersioe come: somma degli scarti assoluti o quadratici da y), i valori più adeguati per y soo proprio la media e mediaa, i quato miimizzao tale dispersioe. Dimostrazioe. (i) Sia y 0 = Me(X). Per defiizioe, vi soo tati valori x i miori (visualmete, alla siistra ) di y 0 di quati ve e soo alla destra di y 0. Suppoiamo ora che y = y 0 +, co > 0: allora, per tutti i valori x i a siistra di y 0, si ha che x i y è uguale a x i y 0 aumetato di, metre per tutti i valori x i alla destra di y 0, si ha x i y = (x i y 0 ) x i y 0 (disuguagliaza stretta se tra y 0 e y cade qualche x i ); pertato la somma di tutti i termii x i y risulta superiore o uguale alla somma di tutti i termii x i y 0. Ciò mostra che la fuzioe MAD(X, y) ha u miimo i y = y 0. (ii) Si ha (svolgedo i calcoli) ( ) 2 V AR(X, y) = x 2 i 2y x i + y 2 = y 1 x i + (1 1 ) x 2 i e questa fuzioe di y è miima quado il termie (y 1 i x i) 2 è miimo; ciò accade quado fa zero, cioè proprio per y = M(X).

11 A. Sambusetti 11 Riassumiamo quato imparato i questo capitolo dalla teoria e dagli esercizi i uo specchietto riepilogativo: idicatori di posizioe vataggi svataggi M(X) iteressa il totale dei valori poco rappresetativa se X è bimodale o fa (i geere) parte dei valori di X sesibile ad errori ei dati miimizza lo scarto quadratico medio X cetrata vicio a M(X) sse σ(x) è piccolo Me(X) descrive la maggioraza dei valori fa (i geere) parte dei valori di X poco sesibile ad errori ei dati scarsa rappresetazioe del totale dei valori miimizza lo scarto assoluto medio X cetrata vicio a Me(X) sse MAD(X) è piccolo Mo(X) utile per distribuzioi o umeriche poco iteressate se X o ha picchi Gli idici di dispersioe di ua distribuzioe cotiua X : [a, b] V = [m, M] si defiiscoo i maiera aturale, e si esprimoo tramite la fuzioe desità f : V R come V AR(X) = 1 b a MAD(X) = 1 b a Z b a Z b a X(t) M(X) dt = 1 b a (X(t) M(X)) 2 dt = 1 b a Z M m Z M m x M(X) f(x)dx [x M(X)] 2 f(x)dx σ(x) = p V AR(X). 4. Cambi di scala. Ua delle operazioi più frequeti i statistica è il cambio di scala. Ciò sigifica, data ua distribuzioe X = (x i ), applicare ua trasformazioe y = F (x) (biuivoca, mootoa) a tutti gli x i, otteedo ua uova distribuzioe Y = (y i ). I cambiameti di scala più comui soo i cambi di scala lieari e logaritmici, corrispodeti cioè a trasformazioi del tipo (4.1) y i = mx i + q (m 0) cambio di scala lieare 6 (4.2) y i = Log(px i ) (px i > 0) cambio di scala logaritmico I riscalameti lieari soo utilizzati per trasformare dei dati (x i ) i dati (y i ) i modo che y i y 1 x i x 1 = m cioè tali rapporti siao idipedeti da i. I valori vegoo quidi riscalati secodo u criterio di giustizia : a differeze uguali tra i valori x i corrispodoo differeze uguali tra i dati riscalati y i. Per esempio : Esercizio A.4.1. Sia X = (2, 4, 5, 6, 10, 14, 18, 20) la distribuzioe dei puti riportati da otto studeti al primo esoero, su u totale di 20 possibili per il totale degli esercizi. Riscalare liearmete i voti affiché 8 corrispoda al voto di 18 tretesimi e 20 corrispoda a 30 tretesimi. Soluzioe. Questo esercizio è importate per capire come procedere co i riscalameti lieari. Siao x i i voti origiali e y i i voti riscalati, da determiare. La formula di riscalameto lieare 4.1 rappreseta l equazioe di ua retta el piao oxy; i tale piao, u puto P rappreseta ua coppia (x, y) la cui ascissa è il valore x da riscalare, e la cui ordiata è il valore riscalato y. Per trovare la formula di riscalameto co le proprietà desiderate è allora sufficiete scrivere l equazioe della retta r che passa per i due puti y 18 P 1 = (x 1, y 1) = (6, 18) e P 2 = (x 2, y 2) = (20, 30) data da r : = x 6, cioè y = 6 (x + 15) U riscalameto lieare (4.1) si dirà cocorde se m > 0 (i tal caso, l ordie dei dati è coservato).

12 12 Appedice : elemeti di statistica descrittiva Le scale logaritmiche soo utilizzate ivece per serie di dati di gradezza molto variabile; è immediato verificare che se gli (y i ) soo otteuti per riscalameto logaritmico dagli (x i ) secodo la formula (4.2), si ha y i y 1 = Log( x i x 1 ) cioè i rapporti uguali tra gli x i corrispodoo differeze uguali tra i dati riscalati y i. Per esempio, per i terremoti, i cui l ampiezza delle ode e dell eergia rilasciata può avere variazioi molto gradi, si usa ua scala logaritmica (la scala Richter): ad u oscillazioe x del sismografo a 100km dall epicetro, si associa il valore y = Log(p x) ella uova scala (per ua certa costate di calibrazioe p): Esercizio A.4.2. La tabella mostra la scala Richter degli eveti a lato idicati: Cooscedo la legge di riscalameto logaritmico della scala Richter sopra descritta y = Log(p x): (i) calcolare la differeza di ampiezza delle ode sismiche tra quelle registrate per Cherobyl e quelle registrate per Haiti; (ii) trovare il valore delle ampiezze delle ode registrate, a partire dai dati sulla scala Richter (ammettiamo p = 1, per semplicità) e provare a fare u istogramma delle ampiezze. Soluzioe. Per etrambi i puti, per recuperare i valori delle ampiezze x a partire dai valori y ella scala Richter, si deve ivertire la formula y = Log(px). Per (i), sappiamo che y 5 y 3 = = 2.13 = Log(px 5) Log(px 3) = Log( x 5 x 3 ) da cui x 5 = x 3. Cioè le ode, el caso di Haiti, soo state circa 100 volte più ampie di quelle registrate a Cherobyl. 7 Quato a (ii), la formula iversa è x = p 1 10 y quidi otteiamo (per p = 1) la tabella: scala Richter ampiezza E E E Notate che o c è stato bisogo di utilizzare il valore della costate di calibrazioe p.

13 A. Sambusetti 13 dove gli ultimi dati soo scritti i otazioe scietifica per il gra umero di cifre. U tetativo di istogramma delle ampiezze darebbe: Questo esempio dovrebbe covicervi del perché si usi ua scala logaritmica: altrimeti l istogramma risulta illeggibile! La seguete proposizioe mostra come cambiao gli idici di posizioe e di dispersioe quado si esegue u cambiameto di scala lieare: Proposizioe A.4.3. Sia Y = (y i ) la distribuzioe otteuta riscalado liarmete la distribuzioe X = (x i ), secodo la formula y i = mx i + q. Allora si ha: (i) M(Y ) = mm(x) + q; (ii) Me(Y ) = mme(x) + q; (ii) Mo(Y ) = mmo(x) + q; (iii) MAD(Y ) = m MAD(X); (iv) V AR(Y ) = m 2 V AR(X); (v) σ(y ) = m σ(x). I particolare, ogi distribuzioe X = (x i ) può essere trasformata i ua uova distribuzioe ˆX = (ˆx i ) avete M( ˆX) = 0 e σ( ˆX) = 1, applicado il riscalameto lieare ˆx i = 1 σ(x) (x i M(X)) Questo riscalameto riveste ua particolare importaza, come vedremo el prossimo paragrafo, ed è detto riscalameto ormale o stadard di X. Dimostrazioe. Se i dati X = (x i ) soo ordiati i ordie crescete, u riscalameto lieare preserva l ordie se m > 0, o lo iverte se m < 0; i ogi caso, il valore mediao viee coservato, quidi la uova mediaa è il valore della vecchia mediaa, riscalato secodo la stessa legge. Discorso aalogo per le mode: la uova distribuzioe ha per valori y i di frequeza massima (assoluti o relativi) quelli corrispodeti agli x i di frequeza massima della vecchia distribuzioe. Ciò dimostra (i) e (iii). Verifichiamo ora le altre formule: M(Y ) = 1 y i = 1 (mx i + q) = m 1 x i + 1 q = mm(x) + q e duque MAD(Y ) = 1 y i M(Y ) = 1 mx i + q mm(x) q = m MAD(X) V ARY ) = 1 (y i M(Y )) 2 = 1 (mx i + q mm(x) q) 2 = m 2 V AR(X) da cui segue ache la formula per la deviazioe stadard.

14 14 Appedice : elemeti di statistica descrittiva 5. Correlazioe. Immagiiamo di avere due distribuzioi umeriche discrete di dati X = (x i ) ed Y = (y i ), che o ci sembrio del tutto idipedeti l ua dall altra. Potrebbe essere il caso, per esempio, per il umero di automobili che trasitao vicio ad u certo sito archeologico, e l idice di aerimeto dei moumeti i quel sito. Viee spotaeo il problema di defiire u idicatore statistico che misuri quato i due dati siao effettivamete legati tra loro: questo problema è oggetto della teoria della correlazioe, di cui di seguito riportiamo i primi elemeti. Due distribuzioi umeriche di dati X = (x i ) ed Y = (y i ) possoo essere visualizzate cotemporaeamete come u isieme di puti P i = (x i, y i ) el piao cartesiao oxy. Esse apparirao a priori come ua uvola disordiata di puti: el caso ivece i cui tale uvola approssimi l adameto del grafico di ua fuzioe y = f(x) è aturale supporre l esisteza di ua legge (rilevata dalla statistica) che lega i dati y i ai dati x i. Esempio A.5.1. Guardiamo i dati dell Esercizio A.1.1, Figura 1: sull asse delle ascisse abbiamo i umeri di matricola X = (x i) degli studeti, e sull asse delle ordiate le rispettive età Y = (y i). Le due distribuzioi di dati X, Y, visualizzate come puti (x i, y i) formao u isieme disordiato di puti el piao oxy, e o suggeriscoo alcua relazioe tra essi: d altrode, sarebbe be strao che ci fosse u legame tra il umero di matricola e l età di uo studete i ua classe! 8 Esempio A.5.2. Guardiamo ivece i dati dell Esercizio A.1.1, Figura 3, limitadoci alle temperature ella secoda metà del secolo: Figura 5. Aomalia termometrica ella secoda metà del secolo L adameto egli ai dell aomalia termometrica (dati i rosso) sembra approssimabile grossolaamete all adameto di ua retta (disegata i blu): questo suggerisce ua correlazioe lieare positiva tra il tempo e l ialzameto della temperatura terrestre. 8 Sarebbe altrimeti se, per esempio, la tabella riportasse le distribuzioi delle età e dei umeri di matricola di tutti gli studeti di u uiversità: i tal caso, probabilmete, i umeri di matricola più bassi corrispoderebbero a studeti immatricolati ai prima, e duque meo giovai, e dal grafico si riscotrerebbe ua correlazioe egativa: al crescere della matricola, l età dovrebbe ma mao scedere.

15 A. Sambusetti 15 Esempio A.5.3. Il volume X(t) di ua coltura batterica, misurato ad itervalli di tempo regolari, forisce i valori i rosso ella Figura 7. L adameto suggerisce ua legge espoeziale el tempo, del tipo f(t) = 1 2 et, rappresetata i blu. I tal caso, si parla di correlazioe espoeziale tra il tempo e la crescita della coltura. Figura 6. Volume di ua coltura batterica i fuzioe del tempo Come mostrato el precedete esempio, due distribuzioi di dati Y = (y i ), X = (x i ) possoo suggerire u legame tra loro di tipo lieare (cioè approssimabile co ua legge di lieare del tipo y = f(x) = mx + q), ed i tal caso si parlerà di correlazioe lieare; oppure ua relazioe di tipo espoeziale, come y = a x (si parla i tal caso di correlazioe espoeziale); oppure poliomiale, come per es. y = x a (correlazioe poliomiale), ecc. Nel seguito, oi ci iteresseremo esclusivamete alla teoria della correlazioe lieare: essa forisce degli idicatori umerici precisi che misurao quato sia corretto parlare di legame lieare tra due distribuzioi. Defiizioe A.5.4. Sia S = {(x i, y i )}, i = 1,.., u isieme di puti el piao oxy, ed r : y = mx + q ua retta. La distaza lieare dell isieme S dalla retta r è defiita come (S, r) = y i (mx i + q) e corrispode a sommare tutte le distaze tra i puti (x i, y i ) e i puti su r di uguali ascisse. La distaza lieare è ua misura di quato l isieme S approssimi ua retta (ovvero di quato i valori y i dipedao liearmete dai valori x i ); essa è ulla chiaramete se e solo se S r, cioè se esistoo m, q tali che y i = mx i + q per ogi i = 1,...,. Teorema A.5.5. Siao X =(x i ), Y =(y i ) due distribuzioi di dati, ed S ={(x i, y i )} l isieme dei puti corrispodeti el piao oxy; suppoiamo ioltre che esistao almeo x 1, x 2 co x 1 x 2 (altrimeti i puti di S giaccioo su ua retta verticale). Defiiamo covariaza delle due distribuzioi il umero COV AR(X, Y ) = 1 [x i M(X)] [y i M(Y )] Allora, la retta r 0 : y = m 0 x + q 0 co m 0 = COV AR(X, Y ) V AR(X) q 0 = M(Y ) m 0 M(X) miimizza la distaza lieare da S, cioè (S, r 0 ) (S, r) per ogi altra retta r del piao.

16 16 Appedice : elemeti di statistica descrittiva La retta r 0 del teorema è detta retta di regressioe di Y rispetto a X; essa è la retta che meglio approssima l isieme S dei puti (x i, y i ) defiiti dalle due distribuzioi (el seso spiegato dal teorema). Più i puti P i tedoo ad essere allieati, più la distaza (S, r 0 ) dalla retta di regressioe dimiuisce. Come caso limite, se (S, r 0 ) = 0 allora si deduce che tutti i puti soo sulla retta di regressioe, ovvero esiste ua relazioe lieare y i = m 0 x i + q 0 tra i dati; i tal caso i dati (x i ), (y i ) di dicoo perfettamete correlati. Quado m 0 > 0, i dati si dicoo correlati positivamete (i quato al crescere degli x i, gli y i tedoo a crescere); se ivece m 0 < 0, i dati si dicoo correlati egativamete (i quato al crescere degli x i, gli y i tedoo a dimiuire). È chiaro ifie che, maggiore è m 0 (i modulo), maggiore è la variazioe dei valori y i al crescere degli x i, i quato maggiore è la pedeza della retta di regressioe. Attezioe: la retta di regressioe per le distribuzioi X, Y dipede da quale dei due isiemi di dati è pesato come (possibilmete) dipedete dall altro. Difatti, il coefficiete agolare m 0 della retta di regressioe ha al deomiatore V AR(X), se si pesa ad ua relazioe di dipedeza del tipo y i = f(x i ), metre avrebbe V AR(Y ) se si pesa che gli x i dipedao dagli y i. Per questo, el calcolo della retta di regressioe, va sempre specificato quale distribuzioe di dati è pesata dipedete dall altra. Dimostrazioe. Sia r : y = mx + q ua retta qualsiasi. Si ha: (S, r) = (mx i + q y i ) 2 = (m, q) Per ogi m fissato, (m, q) è u poliomio di grado due i q, co termie di grado massimo uguale a q 2, duque ua parabola P m co cocavità rivolta verso l alto. Seza fare troppi calcoli, il vertice di tale parabola, cioè il miimo di (m, q) per m fissato, si trova impoedo q (m, q) = 2 (mx i +q y i ) = 0 (dove q idica la derivata rispetto a q, per m fissato), cioè ( ) (5.1) q + x i m = y i. Aalogamete, per ogi q fissato, (m, q) è u poliomio di grado due i m, co termie di grado massimo uguale a ( x2 i )m2, e rappreseta ua parabola P q co cocavità rivolta verso l alto. Il vertice di tale parabola, cioè il miimo di (m, q) per q fissato, si trova impoedo m (m, q) = 2 (mx i + q y i )x i = 0 (dove m idica ora la derivata rispetto a m, per q fissato), cioè (5.2) ( ) ( x i q + x 2 i ) m = x i y i Si oti che il sistema i (m, q) otteuto dalle due equazioi (5.1) e (5.2) ha matrice dei coefficieti il cui determiate vale 1 i x2 i M(X)2 = V AR(X), ed è o ullo poiché esistoo per ipotesi due valori x 1 x 2. Il miimo di (m, q) è allora otteuto dall uica coppia (m 0, q 0 ) che risolve tale sistema: ifatti, per ogi altro m, q si ha (m, q) (m, q 0 ) (m 0, q 0 ).

17 A. Sambusetti 17 Risolvedo co Cramer il sistema composto da (5.1) e (5.2) si trova l uica soluzioe i y i i m 0 = x i i x iy i 1 i i x = x iy i M(X)M(Y ) COV AR(X, Y ) 1 i i x2 i = M(X)2 V AR(X) i x i i x2 i y i x i q 0 = x iy i x2 1 i i x = x2 i M(Y ) 1 i x iy i M(X) 1 i i x2 i = M(X)2 x i x2 i [ 1 i = x2 i M(X)2] M(Y ) + M(X) 2 M(Y ) 1 i x iy i M(X) i x2 i = M(X)2 1 1 ( 1 i = M(Y ) x ) iy i M(X)M(Y ) i x2 i M(X) = M(Y ) m 0 M(X). M(X)2 Facciamo qualche esempio. Esercizio A.5.6 ( ). Sei reclute hao otteuto i segueti voti V = (v i) elle prove fisiche; per oguo di essi, idichiamo ache altezza H = (h i) e peso P = (p i): voto V altezza H peso P (i) Calcolare media e deviazioe stadard delle distribuzioi V, H, P ; (ii) calcolare coefficiete agolare m 0 ed itercetta q 0 delle rette di regressioe della distribuzioe V i dipedeza da H, e della distribuzioe V i dipedeza da P ; (iii) che tipo di correlazioe c è tra i dati? Soluzioe. Chiaramete, è ragioevole pesare che ci sia ua relazioe di dipedeza dei risultati otteuti elle prove fisiche dalle caratteristiche fisiche (altezza, peso) delle reclute, e o certo il viceversa. Questo spiega perché V è pesata dipedete da H e P. I calcoli diretti dao: M V AR σ COV AR(V, ) m 0(V, ) q 0(V, ) V H P Essedo m i etrambi i casi, i calcoli sembrao duque mostrare ua leggera correlazioe positiva di V co H e co P (le rette di regressioe relative alle coppie (V, H) e (V, P ) hao icliazioe α = arcta m 0 30 ). Questa coclusioe adrà rivista più i là, quado parleremo di retta di regressioe dei dati ormalizzati.

18 18 Appedice : elemeti di statistica descrittiva Esercizio A.5.7 ( ). Ua ditta di aspirapolvere pubblicizza i suoi prodotti tramite rappresetati iviati porta a porta. Nella seguete tabella riportiamo i profitti p (i migliaia di euro) otteuti e il umero c di clieti visitati da sei rappresetati: Rappresetate p 6 4, 5 3, 5 2, 5 4 5, 5 c (i) Calcolare medie e deviazioi stadard di ciascua distribuzioe; (ii) calcolare i coefficieti m 0, q 0 della retta di regressioe, prededo p dipedete da c; (iii) che tipo di correlazioe c e tra i dati? Soluzioe. I calcoli diretti dao i questo caso: M V AR σ COV AR(p, ) m 0(p, ) q 0(p, ) p c Essedo m 0 = , i calcoli sembrao mostrare ua correlazioe positiva dei profitti co il umero di clieti visitati, ma bassissima: la retta di regressioe relativa alle coppie (p, s) è ifatti quasi orizzotale, duque ad u aumeto ache cosistete di c corrispode u aumeto piccolissimo di p... Ache i questo caso, la coclusioe adrà rivista fra breve. I risultati otteuti ei due esempi precedeti (soprattutto el secodo) dovrebbero sollevare qualche obiezioe el lettore atteto. La prima obiezioe è che la teoria della correlazioe ha u seso per isiemi abbastaza umerosi di dati: si pesi al fatto che, se le distribuzioi avessero solo due dati, esisterebbe sempre ua retta che cotiee i due puti corrispodeti! Sei dati, come ei ostri esempi, soo certamete i umero isufficiete per dedurre ua qualsiasi legge empirica che leghi due serie di dati (egli esempi, si è scelto = 6 solo per facilità di calcolo!). La secoda obiezioe, più seria, è che le impressioi (grafiche e umeriche) di prossimità di ua uvola di puti alla retta di regressioe, e di pedeza di tale retta (cioè quato fortemete gli y i siao ifluezati da ua variazioe egli x i ) dipedoo dalle scale scelte per misurare i dati! Se, per esempio, i?? i profitti fossero misurati i euro, ivece di migliaia di euro, la retta di regressioe risulterebbe quasi verticale, idicado ua correlazioe fortissima tra umero di clieti visitati e profitti! Aalogamete, il coefficiete agolare delle rette di regressioe ell Esercizio A.5.6 cambierebbe drasticamete se le misure delle reclute fossero prese i metri, grammi ecc.

19 A. Sambusetti 19 Si potrebbe pesare di ovviare a questo problema scegliedo, per ciascu tipo di dato possibile, ua scala uiversalmete ricoosciuta (per le lughezze: i metri, per il dearo: gli euro, ecc.) ma questa è solo ua soluzioe apparete. Come cofroteremmo, ifatti, l iflueza di due serie di dati X, X o omogeee su ua distribuzioe Y? Si pesi, per esempio, a misurare l iflueza di altezze e peso sui risultati elle prove fisiche delle reclute: la pedeza delle rette di regressioe risulterebbe comuque dipedete dalla ostra arbitraria scelta di scala. Facciamo u esempio acora più cocreto: immagiiamo di essere chiamati a eseguire uo studio delle cause dell aerimeto dei moumeti i certi siti, al fie di stabilire ua politica di preservazioe: è chiara la ecessità di ua misura asettica dell iflueza di u dato (traffico, precipitazioi...) sull aerimeto: Esercizio A.5.8 ( ). I cique siti differeti si soo rilevati i segueti dati, relativi all ao 2008, sull idice di aerimeto 9 A dei moumeti preseti, sul umero medio gioraliero N di automobili i trasito i prossimità dei sito, e sulla quatità P di precipitazioi aue (espresse i mm): sito torre asielli (BO) palazzo Pitti (FI) S.Ambrogio (MI) S.Chiara (NA) S.Domeico (PA) colosseo (RM) A N P (i) calcolare media e deviazioe stadard delle distribuzioi A, N e P ; (ii) calcolare coefficiete agolare m 0 ed itercetta q 0 delle rette di regressioe della variabile A i dipedeza da N ed i dipedeza da P ; (iii) che tipo di correlazioe c e tra i dati? I risultati ella scala sopra utilizzata soo addirittura paradossali (svolgere l esercizio...). Qual è duque la scala giusta per misurare la correlazioe tra due serie di dati? Il seguete risultato risolve i ostri dubbi, spiegado che la scala giusta è quella ormale: Teorema A.5.9. Siao X = (x i ), Y = (y i ) due distribuzioi di dati (co almeo due valori x 1 x 2 ) e siao ˆX = (ˆx i ), Ŷ = (ŷ i ) i riscalameti ormali delle due distribuzioi. La retta di regressioe ˆr di Ŷ rispetto a ˆX ha le segueti proprietà: (i) o dipede dalla scala lieare (purché cocorde) scelta per misurare i dati (x i ), (y i ); (ii) ha equazioe ˆr : y = Cx, dove C = COV AR( ˆX, Ŷ ) V AR( ˆX) = ˆX Ŷ ˆX Ŷ = (x i M(X))(y i M(Y )) (x i M(X)) 2 (y i M(Y )) 2 (iii) il coefficiete agolare C appartiee all itervallo [ 1, 1], e vale C = 1 se e solo se ˆX = Ŷ, cioè i puti (ˆx i, ŷ i ) giaccioo sulla bisettrice del I quadrate, ed i puti origiali (x i, y i ) soo allieati (rispettivamete C = 1 ses ˆX = Ŷ, gli (ˆx i, ŷ i ) giaccioo sulla bisettrice del IV quadrate, e i puti origiali soo allieati); se C 1 < ɛ allora ŷ i ˆx i < 2ɛ, cioè più C è vicio ad 1 più la differeza tra tutti i valori ŷ i e ˆx i è piccola (rispettivamete se C ( 1) < ɛ allora ŷ i ( ˆx i ) < 2ɛ). 9 La brillaza B di u isieme di moumeti è la percetuale di superficie biaca sul totale (ad u certo mometo T ), e può essere misurata co appositi strumeti; l aerimeto è la percetuale restate. L idice di aerimeto A( T ) è la quatità di aerimeto (ovvero di brillaza persa) i u certo periodo di tempo T fissato.

20 20 Appedice : elemeti di statistica descrittiva Il coefficiete agolare C delle distribuzioi riscalate i modo ormale è duque la giusta misura di correlazioe tra le due serie di dati; questo importate coefficiete è oto come idice di correlazioe di Pearso. Attezioe: il putio tra ˆX ed Ŷ ella formula (ii) per C deota il prodotto scalare tra i vettori (-dimesioali) ˆX, Ŷ e o va cofuso co l usuale prodotto di due umeri! Dimostrazioe. Per mostrare (i), suppoiamo che X = ax + b e Y = cy + d siao due riscalameti lieari cocordi di X e Y (per es.: gli x i misurati i cm, e x i i metri, oppure gli y i i gradi Celsius e gli y i i gradi Farheheit...). Poiché a > 0, dalle formule (ii) e (v) della Proposizioe A.4.3, si deduce x i = 1 σ(x ) (x i M(X )) = 1 aσ(x) (ax i + b am(x) b) = 1 σ(x) (x i M(X)) = ˆx i ed aalogamete ŷ i = ŷ i. Pertato le rette di regressioe di ˆX, Ŷ e di X, Ŷ soo le stesse. Quidi, calcoliamo la covariaza delle distribuzioi X, Y riscalate ormalmete: COV AR( ˆX, Ŷ ) = 1 (ˆx i M( ˆX))(ŷ i M(Ŷ )) = 1 ˆx i ŷ i = ˆX Ŷ ˆX Ŷ i quato M( ˆX)=M(Ŷ )=0 e ˆX = i ˆx2 i = σ( ˆX) =, ed aalogamete Ŷ =. Pertato il coefficiete agolare ˆm 0 della retta di regressioe di ˆX, Ŷ è ˆm 0 = COV AR( ˆX, Ŷ ) V AR( ˆX) = ˆX Ŷ ˆX Ŷ = 1 1 (x i M(X)) (y i M(Y )) (xi M(X)) 2 (y i M(Y )) 2 1 che dà la formula auciata i (ii). Il fatto poi che ˆm 0 1 segue dalla disuguagliaza di Cauchy-Schwarz: essa implica ˆX Ŷ ˆX Ŷ e dice che vale l uguagliaza ˆX Ŷ = ˆX Ŷ (rispettivamete, ˆX Ŷ = ˆX Ŷ ) se e solo se Ŷ = λ ˆX per qualche λ > 0 (risp. per λ < 0); ma essedo Ŷ, ˆX vettori di ugual orma, uguale a, questa codizioe sigifica precisamete Ŷ = ˆX (risp. Ŷ = ˆX). Pertato, ˆm 0 = ±1 se e solo se, rispettivamete, Ŷ = ± ˆX, cioè i puti riscalati (ˆx i, ŷ i ) soo allieati sulla bisettrice del I o IV quadrate. Ioltre, poiché u riscalameto lieare dei due assi del piao oxy trasforma rette i rette, ciò accade se e solo se i puti origiali (x i, y i ) erao a loro volta tutti allieati. Suppoiamo ifie che ˆm 0 1 < ɛ; allora ˆX Ŷ X Y > 1 ɛ e si calcola: ˆX Ŷ 2 = ˆX 2 + Ŷ 2 2 ˆX Ŷ < ˆX 2 + Ŷ 2 2(1 ɛ) ˆX Ŷ = ɛ il che prova che y i x i < 2ɛ e dimostra l ultima asserzioe i (iii). Ripetere i calcoli degli Esercizi A.5.6 e A.5.7 e A.5.8, prededo come dati le distribuzioi ormalizzate e calcolado l idice di correlazioe di Pearso. Reiterpretare quidi correttamete i risultati trovati.

21 A. Sambusetti 21 Esercizio A.5.10 ( ). Nelle segueti città si soo registrati, el 2010, i segueti dati di afflueza ei musei, espressi i termii di umero di biglietti B = (b i): Roma , Madrid , Parigi , Lodra , Berlio Il umero di abitati di queste città (idicata co A = (a i)) è riportata i tabella, espressa i milioi di abitati: (i) Calcolare medie e variaze della popolazioe A ed del umero di biglietti B (espressi ella scala più comoda) elle cique città; (ii) calcolare la covariaza dei due isiemi di dati, idicado quale dei due ha seso cosiderare come variabile dipedete; (iii) calcolare l idice di correlazioe di Pearso C e l agolo ϑ che la retta di regressioe dei dati ormalizzati forma co l asse x; (iv) cosa si può dedurre dall aalisi statistica di tali dati? Esercizio A.5.11 ( ). La tabella riporta, il umero A di automobili immatricolate (per migliaio di abitati) ed il tempo medio H del tragitto da casa a lavoro (per abitate, espresso i miuti), elle pricipali capitali europee: Roma Madrid Parigi Lodra Berlio A H (i) Calcolare medie e variaze delle due distribuzioi; (ii) calcolare la covariaza dei due isiemi di dati, idicado quale dei due ha seso cosiderare come variabile dipedete; (iii) calcolare l idice di correlazioe di Pearso, l equazioe della retta di regressioe dei dati ormalizzati e l agolo che essa forma co l asse x; (iv) descrivere il tipo di correlazioe lieare che sussiste tra i due isiemi di dati. (Costruire ua tabella come quella dell esercizio precedete). Esercizio A.5.12 ( ). I dati segueti soo relativi al umero di decessi, i ua determiata popolazioe, dovuti a problemi cardiocircolatori e a tumori i 10 ai. ao (a i) decessi decessi per malattie cardiache decessi per tumori Si calcolio: (i) le percetuali C = (c i%) e T = (t i%) delle due differeti cause di decesso sul totale dei decessi, i ciascu ao A = (a i); (ii) le distribuzioi Â, Ĉ, ˆT riscalate i modo ormale; (iii) media e deviazioe stadard delle distribuzioi A, Â, C, Ĉ, T, ˆT ; (iv) coefficieti agolari delle rette di regressioe delle distribuzioi C, T i dipedeza dal tempo A; calcolare gli stessi coefficieti per le distribuzioi ormalizzate Ĉ, ˆT i dipedeza da  (cioè gli idici di correlazioe di Pearso); (v) che tipo di correlazioe c e tra i dati? E possibile dire che ua delle due malattie ha seguito u evidete icremeto/decremeto lieare el tempo? (Costruire ua tabella come quella dell esercizio precedete).

22 22 Appedice : elemeti di statistica descrittiva Soluzioi Soluzioe corretta dell Esercizio A.5.6. Le rette di regressioe dei dati ormalizzati mostrao ua correlazioe decisamete più forte tra voti e peso (C(V, P ) = 0.85), piuttosto che tra voti e altezza (C(V, H) = 0.45), correlazioe che o è evidete dalle rette di regressioe dei dati o ormalizzati. Soluzioe corretta dell Esercizio A.5.7. I questo esempio la differeza tra coefficiete agolare della retta di regressioe rispetto ai dati iiziali e rispetto ai dati ormalizzati è acora più evidete. Chiaramete, la retta di regressioe rispetto ai dati iiziali risulta molto schiacciata sull asse x (m = 0.05) a causa della otevole differeza di scala utilizzata per studi e profitti. Il coefficiete di Pearso rivela ivece ua fortissima correlazioe positva tra i due dati, quasi perfetta (C = 0.99). Soluzioe dell Esercizio A.5.8. Ache i questo caso, i calcoli mostrao ua correlazioe positiva quasi perfetta tra idice di aerimeto e umero di auto i trasito, metre la correlazioe tra aerimeto e precipitazioi è positiva ma debole. Questa differeza o era evideziata dai dati prima della ormalizzazioe (a causa della differeza otevole di scala tra i dati N, P ed A).

23 A. Sambusetti 23 Soluzioe dell Esercizio A Si è scelto di riportare i dati di afflueza i i decie di migliaia di biglietti (o dipededo il risultato dell aalisi dalla scala lieare scelta). Il coefficiete di Pearso mostra che c è ua correlazioe positiva debolissima tra umero di abitati e umero di biglietti veduti C = 0.15). L afflueza ai musei dipede quidi da altri fattori che o semplicemete la umerosità della popolazioe (pubblicità, livello di educazioe medio ecc.) Soluzioe dell Esercizio A Il calcolo di C dimostra ua correlazioe positiva tra umero di auto immatricolate e tempo di percorreza: l agolo della retta di regressioe è ifatti 38.3, prossimo al massimo di 45. (I dati soo veritieri) Soluzioe dell Esercizio A L idice di Pearso dimostra ua correlazioe egativa otevole tra tempo e umero di decessi per malattie cardiocircolatorie (cioè i casi di decesso per tali cause soo dimiuiti liearmete i modo cosistete ao per ao), essedo C 1. No si può dire uguale per il umero di decessi per malattie tumorali, che mostra ua correlazioe positiva, beché debole (C = 0.27), co il tempo. Si oti il riscalameto comodo (e iifluete sul coefficiete di Pearso) degli ai tra 1 e 10.