Statistiche e relazioni

Transcript

1 tatistiche descrittive per frequenze e misure Frequenze e misure Per le frequenze e le misure, molte di queste statistiche perdono senso. In compenso, esistono indici appropriati, inutilizzabili per i tipi descritti precedentemente: media, varianza e statistiche derivate. Analisidati 4.wpd 8/11/26 III - 1 Analisidati 4.wpd 8/11/26 III - 2 La media è una statistica di tendenza centrale: è la media aritmetica dei valori delle modalità moltiplicati per la loro frequenza relativa: se La varianza è una misura di dispersione, che rappresenta lo scarto dalla media: v 1, v 2,..., v s sono tali valori, e p 1, p 2,..., p s,, le loro frequenze relative, la media è Lo scarto quadratico medio, deviazione standard è la sua radice quadrata Analisidati 4.wpd 8/11/26 III - 3 Analisidati 4.wpd 8/11/26 III - 4

2 Varianza e scarto quadratico medio dipendono dalla media. Per far confronti fra distribuzioni si usano allora il coefficiente di variazione, che comunque dipende dalla numerosità delle osservazioni, e scarto quadratico medio relativo, che varia fra ed 1. Dati dell Annuario tatistico Italiano (Istat, 1978) Media, varianza, scarto quadratico medio, coefficiente di variazione e scarto quadratico medio relativo. Carattere Media Varianza c.q.m. C.Var. qmr Pop Popolazione regionale 2823, ,8 264,69,731,168 Vani Numero di vani 3359, ,8 2381,95,79,163 Prim Numero d'occupati primario 165, ,12 117,15,77,162 eco Numero d'occupati secondario 43, ,53 428,61 1,62,244 Terz Numero d'occupati terziario 486, ,12 361,71,743,171 Repc Reddito pro-capite 123, ,17 24,61,235,54 Mat Numero di matrimoni 18,26 174,77 13,22,724,166 Nata Natalità 39,8 922,34 3,37,777,178 Analisidati 4.wpd 8/11/26 III - 5 Analisidati 4.wpd 8/11/26 III - 6 Nota: media e varianza sono usate abusivamente anche in casi inammissibili, come per variabili in scala. Esempi: La media dei voti universitari è un tale abuso, perché ogni docente usa una scala diversa (e gli intervalli di scala non sono ben definiti). Dire che «in media in una famiglia ci sono 1.2 bambini» è un abuso, perché i bambini non si possono affettare. tatistiche robuste i chiama robusta una statistica che non dipende troppo da alcune modalità del carattere: la media e la varianza non sono molto robuste, perché valori estremi molto diversi dagli altri le modificano fortemente. Talvolta al loro posto si preferisce allora considerare la mediana e la distanza interquartile (Q 3 - Q 1 ), perché sono quasi insensibili ai valori estremi. Analisidati 4.wpd 8/11/26 III - 7 Analisidati 4.wpd 8/11/26 III - 8

3 Trasformazioni di caratteri A volte può esser conveniente trasformare i caratteri, per avere un diverso tipo d informazioni. Ripartire un carattere quantitativo in classi, permette d avere delle frequenze relative delle classi (che sono un carattere in scala). Esempio: Trasformare l età o il reddito in classi d età e classi di reddito, permette di rappresentare la distribuzione dell età e del reddito con un diagramma a barre, altrimenti impossibile. Esistono statistiche che servono a valutare il grado d interazione fra due (o più) caratteri. i tratta del primo passo verso la ricerca di relazioni causali fra i caratteri. Anche in questo caso, le statistiche dipendono dal tipo di caratteri. Analisidati 4.wpd 8/11/26 III - 9 Analisidati 4.wpd 8/11/26 III - 1 Caratteri dicotomici o qualitativi e si hanno n osservazioni con due caratteri osservati, con s et t modalità rispettivamente. Allora si può costruire una tabella di contingenza o tabella incrociata in cui in ogni casella si trova la frequenza in cui si presentano due modalità dei due caratteri congiuntamente. Agli estremi della tavola si riportano la distribuzione delle frequenze dei due caratteri: si chiamano frequenze marginali di riga e colonna. e n ij sono le frequenze delle celle, i totali marginali ne sono le somme per riga n. j e per colonna n i.. Colore degli occhi e colore dei capelli di 592 donne americane nee (1974). Colore dei capelli Colore degli occhi Neri Marr. Rossi Biondi Totale Castani scuri Castani chiari Verdi Blu Totale Analisidati 4.wpd 8/11/26 III - 11 Analisidati 4.wpd 8/11/26 III - 12

4 Color e dei capel Da nee (1974) Tabella di contingenza Colore degli occhi Una tavola di contingenza da sola non dice molto. i cerca quindi di trarre ulteriori informazioni, trasformando la tabella. e ne ottengono altre tre: profili di riga: s ottengono dividendo ogni riga per il suo totale marginale: fr ij = n ij / n. j. Risulta. profili di colonna: s ottengono dividendo ogni colonna per il suo totale marginale: fc ij = n ij / n i. Risulta frequenze relative: s ottengono dividendo ogni casella per il totale delle osservazioni: f ij = p ij = n ij / n. Risulta Analisidati 4.wpd 8/11/26 III - 13 Analisidati 4.wpd 8/11/26 III - 14 Profili di colonna Profili di riga,8 Colore dei capelli Colore degli occhi,6,5,4,3,2,1, Colore dei capelli 1 4 1,6,4,2, Colore degli occhi Analisidati 4.wpd 8/11/26 III - 15 Analisidati 4.wpd 8/11/26 III - 16

5 Considerando che si tratta di frequenze, si possono usare le statistiche: - l'entropia del carattere in linea - l'entropia del carattere in colonna L entropia congiunta misura l entropia della tabella, cioè quanto tutte le celle sono diverse; l entropia mutua indica la quantità d informazione comune ai due caratteri. Di conseguenza l informazione propria d ogni carattere è rispettivamente - l'entropia congiunta - l'entropia mutua H 1 2 = H H 2 et H 2 1 = H H 1 A partire delle entropie, si possono definire misure d informazione: Analisidati 4.wpd 8/11/26 III - 17 Analisidati 4.wpd 8/11/26 III l'eterogeneità del carattere in linea - l'eterogeneità del carattere in colonna - l'eterogeneità totale E 12 = I 1 + I 2 - l' informazione congiunta - l'informazione mutua I 12 = I I 1 - I 2 = I E 1 2 I 1 et I 2 misurano il disordine dei due profili marginali rispetto a quello costante p i = 1/s per ogni i. E 12 misura l incertezza complessiva dovuta ai marginali. I 1+2 misura il disordine nella tabella. I 12 misura l informazione della tabella una volta tolta quella data dai profili marginali. iccome i profili sono propri dei due caratteri che si incrociano, è questa l informazione veramente importante data dalla tabella di contingenza. Analisidati 4.wpd 8/11/26 III - 19 Analisidati 4.wpd 8/11/26 III - 2

6 Per studiare l influenza delle modalità d un carattere su quelle dell altro, occorre studiare i profili, confrontandoli con i profili marginali. e non ci fosse influenza fra caratteri, i profili di riga e quelli di colonna sarebbero tutti uguali fra loro ed al corrispondente profilo marginale. In questo caso, in ogni cella si troverebbe il valore n p i. p. j invece di np ij = n ij. i dimostra che l informazione mutua è è cioè una misura di deviazione dall indipendenza fra caratteri., Per le sue proprietà statistiche, si preferisce tuttavia usare la statistica del chi-quadro, data da anche se dipende dalla numerosità delle osservazioni. Esiste tuttavia una relazione fra le due statistiche. X 2 varia fra, nel caso dell indipendenza, in cui p i j = p i.p. j per ogni i, j, ed n min(s-1, t-1) nel caso della perfetta dipendenza (una sola casella per linea non nulla). Analisidati 4.wpd 8/11/26 III - 21 Analisidati 4.wpd 8/11/26 III - 22 Per riportare la statistica fra ed 1 sono state proposte tre altre statistiche: - il coefficiente di contiguità di Pearson - il coefficiente di Tschuprow - il coefficiente di Cramer Esempio: La tabella di nee (1974) ha le seguenti statistiche: H 1 = I 1 = H 2 = I 2 = E 12 = H 1+2 = I 1+2 = H 12 = I 12 = chi-quadro = Pearson =.4352 Tschuprow =.279 Cramer =.279 Analisidati 4.wpd 8/11/26 III - 23 Analisidati 4.wpd 8/11/26 III - 24

7 Caratteri in scala Quando si trattano caratteri in scala, si considera il rango d ogni osservazione, cioè la sua posizione nell ordine dato dal carattere. i misura quindi la distanza fra i ranghi d ogni osservazione nei due caratteri r ki ed r kj, cioè d k = r ki - r kj. Il coefficiente di correlazione di pearman è la statistica Relazione fra un carattere qualitativo ed uno quantitativo i costruisce una tabella di medie, riportando, per ogni modalità i del carattere qualitativo, il numero d osservazioni con tale modalità, n k, la media del carattere quantitativo in queste osservazioni, e la sua varianza. i riportano anche numerosità n, media e varianza totali. L accordo può essere perfetto (s i j = 1), totalmente inverso (s i j = -1). e (s i j = ) non c è relazione fra i ranghi. Analisidati 4.wpd 8/11/26 III - 25 Analisidati 4.wpd 8/11/26 III - 26 Per calcolare se le medie sono uguali per tutte le modalità (caso d indipendenza) o no, la statistica che s usa è il rapporto di correlazione empirico Caratteri quantitativi Il problema della relazione fra due caratteri quantitativi è molto più difficile, perché si dovrebbe cercare una funzione che esprima un carattere in funzione dell altro. Occorre quindi procedere per tentativi. Normalmente, si cerca una risposta provvisoria, considerando una relazione di tipo lineare. Per questo s usa la covarianza che vale se le medie sono uguali ed 1 se le medie sono diverse per ogni modalità. misura dello scarto congiunto dalle medie dei caratteri x ed y. Analisidati 4.wpd 8/11/26 III - 27 Analisidati 4.wpd 8/11/26 III - 28

8 Risulta cov (x,x) = var(x), la varianza di x. La covarianza varia fra ed, con i valori negativi che indicano un comportamento opposto. Come la varianza, la covarianza dipende dalle medie dei caratteri. Per questo si preferisce usare il coefficiente di correlazione di Bravais- Pearson, che vale e che varia fra -1 ed 1, lo indicando la mancanza di correlazione lineare fra i due caratteri. Dati dell Annuario tatistico Italiano (Istat, 1978) Matrice delle correlazioni Pop Vani Prim eco Terz Repc Mat Nata Pop 1. Vani Prim eco Terz Repc Mat Nata Pop Vani Prim eco Terz Repc Mat Nata Analisidati 4.wpd 8/11/26 III - 29 Analisidati 4.wpd 8/11/26 III - 3 Trasformazione dei dati Rappresentazioni grafiche Covarianza e correlazione non informano sulle eventuali relazioni non lineari. Pertanto conviene suddividere l insieme dei valori d ogni carattere in intervalli e considerare le classi d osservazioni che cadono negli intervalli. Ne risulta così una tabella di contingenza, che può dare le informazioni che altrimenti non si potrebbero ottenere. Per rappresentare l incrocio di due caratteri qualitativi, si può usare un diagramma a barre tridimensionale. Per la relazione fra un carattere qualitativo ed uno quantitativo si può usare un diagramma a barre normale. Per la relazione fra due caratteri quantitativi, si usa il diagramma di dispersione, un piano cartesiano dove le osservazioni sono punti le cui coordinate corrispondono ai valori dei due caratteri. Analisidati 4.wpd 8/11/26 III - 31 Analisidati 4.wpd 8/11/26 III - 32

9 Camere Correlazione fra popolazione e camere Popolazione Reddito pro capite Correlazione fra primario e reddito Occupati nel settore primario Analisidati 4.wpd 8/11/26 III - 33 Analisidati 4.wpd 8/11/26 III - 34 Correlazione fra popolazione e reddito Reddito pro capite Popolazione Analisidati 4.wpd 8/11/26 III - 35