Fondamenti e metodi analisi empirica nelle scienze sociali

Transcript

1 CORSO DI FONDAMENTI E METODI PER L'ANALISI EMPIRICA NELLE SCIENZE SOCIALI Distribuzioni statistiche multiple AA 2017/ Introduzione: il processo di rilevazione e le distribuzioni statistiche. 2. Rappresentazione delle distribuzioni doppie: le tabelle statistiche a doppia entrata. 3. Distribuzione congiunta, distribuzioni marginali e condizionate. 4. Relazioni tra due caratteri. 2 INTRODUZIONE Il processo che si attiva con una indagine statistica consente di rilevare uno o più caratteri sul collettivo oggetto di studio. La rilevazione statistica quindi, permette di determinare le modalità con cui ciascun carattere indagato si presenta in ogni unità facente parte del collettivo. Indagine statistica Carattere X DEFINIZIONI 1/4 I risultati del processo di indagine comportano come effetto la determinazione della distribuzione del collettivo secondo i caratteri rilevati, ossia il modo in cui le unità del collettivo si distribuiscono secondo le varie modalità del o dei caratteri rilevati. Una distribuzione statistica di fatto indica come le modalità di ciascun carattere rilevato si distribuiscono tra le unità del collettivo. Per fare un esempio consideriamo come si sono distribuiti nove studenti di una classe secondo il voto all ultima prova scritta di matematica; questa rappresentazione prende il nome di distribuzione per unità. Carattere Y Carattere Z 3 Studente voto Studente voto Studente voto Bianchi 5 Rossini 8 Manzoni 7 Rossi 8 Vivaldi 6 Leopardi 5 Verdi 7 Puccini 6 Alighieri 4 6 1

2 DEFINIZIONI 2/4 Se il carattere oggetto di studio è uno soltanto, allora la distribuzione è detta semplice o univariata. Studente peso Studente peso Studente peso Bianchi 65 Rossini 58 Manzoni 70 Rossi 78 Vivaldi 62 Leopardi 55 Verdi 57 Puccini 62 Alighieri 64 Carattere rilevato: peso distribuzione univariata DEFINIZIONI 3/4 Se la distribuzione è fatta congiuntamente per due caratteri (ad esempio altezza e peso) allora è detta doppia, o bivariata. Studente alt. peso Studente alt. peso Studente alt. peso Bianchi (165; 65) Rossini (168; 58) Manzoni (170; 70) Rossi (180; 78) Vivaldi (170; 62) Leopardi (163; 55) Verdi (159; 57) Puccini (158; 62) Alighieri (167; 64) Caratteri rilevati: altezza, peso distribuzione bivariata 5 Nota: Insieme alla distribuzione bivariata si possono ricavare anche due distribuzioni univariate 6 separatamente per altezza e peso. DEFINIZIONI 4/4 Se la distribuzione è fatta per n caratteri congiuntamente (ad esempio altezza, peso e genere) allora è detta multivariata. Carattere rilevato: peso distribuzione univariata RAPPRESENTAZIONE DELLE DISTRIBUZIONI BIVARIATE: LE TABELLE STATISTICHE A DOPPIA ENTRATA Caratteri rilevati: altezza, peso distribuzione bivariata Caratteri rilevati: altezza, peso, genere distribuzione multivariata 7 8 2

3 righe LA SINTESI DELLE DISTRIBUZIONI BIVARIATE Nel presente capitolo affronteremo nello specifico l analisi delle distribuzioni bivariate. Quando su di un collettivo vengono rilevati due caratteri (ad esempio altezza e peso), si genera una successione di coppie di valori, una per ogni unità statistica della popolazione, la cui analisi richiede un passaggio preliminare di sintesi, necessario per una più immediata lettura e interpretazione dei dati raccolti sul collettivo. Lo strumento di rappresentazione utilizzato per le distribuzioni bivariate è la tabella statistica a doppia entrata. LA STRUTTURA DI UNA TABELLA A DOPPIA ENTRATA La tabella statistica a doppia entrata si presenterà con una struttura ben definita: Colonne Titolo della tabella X modalità 1 del carattere X Y modalità 1 del carattere Y modalità h del carattere Y Totale testata (altezza; peso) del Sig. Rossi (altezza; peso) della Sig.ra Bianchi (altezza; peso) del Sig. Verdi 9 modalità k del carattere X fiancata Totale Fonte dei dati 10 NOTAZIONE 1/5 Una tabella statistica a doppia entrata presenta elementi costitutivi ben definiti. Introduciamone la simbologia convenzionalmente adottata: Inoltre: NOTAZIONE 2/5 Le modalità dei due caratteri si combineranno in k*h possibili coppie, indicate con (x i ; y j ) (i varia da 1 a k e j varia da 1 a h). I due caratteri rilevati saranno indicati con X e Y (lettere maiuscole per indicare i caratteri). Il carattere X presenta k modalità indicate con x 1, x 2,,, x k (lettere minuscole per le modalità) Con n ij si indica la frequenza assoluta con cui la coppia (x i ; y j ) di modalità si presenta nel collettivo. In altre parole n ij è il numero di unità statistiche che presentano simultaneamente le modalità x i e y j dei caratteri X e Y osservati. Le frequenze n ij costituiscono le frequenze congiunte dei due caratteri X e Y. Il carattere Y presenta h modalità indicate con y 1, y 2,,, y h (lettere minuscole per le modalità) La tabella a doppia entrata avrà h+2 colonne e k+2 righe (si veda la tabella nella slide precedente) 11 Il collettivo di indagine ha numerosità N. N sarà pari alla somma di tutte le frequenze assolute congiunte osservate n ij. 12 3

4 NOTAZIONE 3/5 La tabella statistica a doppia entrata, sulla base della notazione sin qui introdotta si presenterà in questa forma: X Y Y 1 Y 2 Y j Y h Totale X 1 n 1 1 n 1 2 n 1 j n 1 h n 1 X 2 n 2 1 n 2 2 n 2 j n 2 h n 2 X i n i 1 n i 2 n i j n i h n i NOTAZIONE 4/5 L ultima colonna della tabella riporta i totali di riga ossia la somma delle frequenze calcolate riga per riga, per ciascuna modalità della variabile X Quindi con n i si indica il numero complessivo di unità statistiche del collettivo che presentano la modalità x i del carattere X, a prescindere dalle modalità assunte dalle unità relativamente al carattere Y. Il punto ( ) indica l indice rispetto a cui si è sommato; in questo caso si sono sommate le frequenze al variare di Y. Le n i associate alle relative modalità x i formano la distribuzione univariata o marginale relativa al carattere X X k n k 1 n k 2 n k j n k h n k Totale n 1 n 2 n j n h N 13 L ultima riga della tabella riporta i totali di colonna ossia la somma delle frequenze calcolate colonna per colonna, per ciascuna modalità della variabile Y 14 Quindi con n j si indica il numero di unità del collettivo che presentano NOTAZIONE 5/5 Esempio: ipotizziamo di aver rilevato su un campione di 2000 residenti in Italia i due caratteri area geografica di residenza e genere. In particolare supponiamo di aver rilevato: Nord: 100 maschi e 200 femmine Centro: 350 maschi e 450 femmine Sud: 400 maschi e 500 femmine Con queste ipotesi avremo la seguente tabella a doppia entrata: genere area geografica Nord Centro Sud Totale DISTRIBUZIONE CONGIUNTA, DISTRIBUZIONI MARGINALI E CONDIZIONATE 16 4

5 DISTRIBUZIONE CONGIUNTA DISTRIBUZIONI MARGINALI 1/3 Consideriamo la tabella seguente: Consideriamo la tabella seguente: Popolazione italiana di 15 anni e oltre per titolo di studio e sesso Anno Dati in migliaia Popolazione italiana di 15 anni e oltre per titolo di studio e sesso Anno Dati in migliaia licenza elementare o nessun titolo licenza media diploma (qualifica professionale o maturità) laurea e post-laurea Le celle costituiscono la distribuzione congiunta delle due variabili: titolo di studio e genere licenza elementare o nessun titolo licenza media diploma (qualifica professionale o maturità) laurea e post-laurea Le celle costituiscono la distribuzione marginale della variabile titolo di studio Totale Totale Fonte: Istat indagine sulle forze di lavoro 17 Fonte: Istat indagine sulle forze di lavoro 18 DISTRIBUZIONI MARGINALI 2/3 Consideriamo la tabella seguente: Popolazione italiana di 15 anni e oltre per titolo di studio e sesso Anno Dati in migliaia DISTRIBUZIONI MARGINALI 3/3 Dunque da una tabella a doppia entrata possiamo ricavare le due distribuzioni marginali dei due caratteri osservati. In simboli, le due distribuzioni marginali si indicheranno con: Marginale di X Marginale di Y licenza elementare o nessun titolo licenza media diploma (qualifica professionale o maturità) laurea e post-laurea Le celle costituiscono la distribuzione marginale della variabile genere X X 1 X 2 X i Frequenze n 1 n 2 n i Y Y1 Y2 Yj Yh Totale Frequenze n 1 n 2 n j n h N Totale Fonte: Istat indagine sulle forze di lavoro 19 X k Total e n k N 20 5

6 DISTRIBUZIONI CONDIZIONATE 1/3 Prendiamo in considerazione la stessa tabella, ma evidenziamone altri elementi: Popolazione italiana di 15 anni e oltre per titolo di studio e sesso Anno Dati in migliaia licenza elementare o nessun titolo licenza media diploma (qualifica professionale o maturità) laurea e post-laurea Totale Fonte: Istat indagine sulle forze di lavoro Le celle costituiscono la distribuzione condizionata della variabile titolo di studio, avendo fissato uguale a femmine la modalità della variabile genere 21 DISTRIBUZIONI CONDIZIONATE 2/3 Sempre riferendosi alla stessa tabella: Popolazione italiana di 15 anni e oltre per titolo di studio e sesso Anno Dati in migliaia licenza elementare o nessun titolo licenza media diploma (qualifica professionale o maturità) laurea e post-laurea Totale Fonte: Istat indagine sulle forze di lavoro Le celle costituiscono la distribuzione condizionata della variabile genere, avendo fissato uguale a diploma la modalità della variabile titolo di studio 22 DISTRIBUZIONI CONDIZIONATE 3/3 In simboli, la distribuzione In simboli, la distribuzione condizionata di X condizionata di Y per Y= y j si indica con per X= x i si indica con Y (X= x i X (Y= y j ) e sarà data da: ) sarà data da: NOTA BENE Anche per le tabelle statistiche a doppia entrata si possono costruire le frequenze relative e percentuali necessarie per operare confronti nel caso in cui le distribuzioni marginali siano differenti. X X 1 X 2 Frequenze n 1j n 2j Y Y1 Y2 Yj Yh Totale Frequenze n i 1 n i 2 n i j n i h n i X i n ij In una tabella doppia si possono leggere K+h distribuzioni condizionate, dove: X k Totale n k j n j K= numero di modalità del carattere X h= numero di modalità del carattere Y

7 RELAZIONI TRA DUE CARATTERI RELAZIONI TRA DUE CARATTERI 1/3 L aspetto centrale dell analisi bivariata riguarda lo studio delle relazioni tra due caratteri rilevati X e Y. L analisi bivariata mira a stabilire se esiste una variazione sistematica della distribuzione di una delle due variabili, considerata come variabile di interesse, rispetto alla variabile considerata come esplicativa. Ad esempio si può essere interessati ad analizzare la dipendenza di Y, (variabile di interesse), da X (variabile esplicativa) RELAZIONI TRA DUE CARATTERI 2/3 Lo studio delle relazioni tra due variabili è detto anche studio di connessione ed è di notevole interesse perché permette di individuare legami fra fenomeni diversi e quindi di studiare l influenza di un carattere su un altro. Per fare alcuni esempi: Relazione tra lo stato di salute di un individuo (carattere qualitativo) e il suo livello di istruzione (carattere qualitativo) Relazione tra area geografica di residenza (carattere qualitativo) e reddito (carattere quantitativo) Relazione tra media dei voti dell ultimo anno di scuola superiore (carattere quantitativo) e voto all esame di maturità (carattere qualitativo) 27 RELAZIONI TRA DUE CARATTERI 3/3 Lo studio delle relazioni tra i caratteri si differenzia in base alla scala dei caratteri stessi. Se dei due caratteri almeno uno è qualitativo Se i due caratteri sono entrambi quantitativi Analisi della contingenza Analisi della correlazione Studio della regressione 28 7

8 ANALISI DELLA CONTINGENZA 1/5 Quando dei due caratteri rilevati almeno uno è qualitativo, si analizza il loro legame attraverso lo studio della contingenza, analizzando le distribuzioni di frequenza condizionate e marginali. Lo studio della contingenza permette di stabilire se tra i due caratteri vi è perfetta indipendenza e, nel caso in cui la condizione di perfetta indipendenza non sia riscontrata, di fornire la misura dell allontanamento da questa condizione, attraverso opportuni indicatori. ANALISI DELLA CONTINGENZA 2/5 Esempio: supponiamo di aver rilevato il titolo di studio di 1000 individui separatamente per maschi e femmine. Tabella 1 licenza media diploma laurea Totale Utilizzando la terminologia introdotta, c è indipendenza tra due variabili, quando accade che le distribuzioni condizionate (relative o percentuali) del carattere Y sono tutte uguali tra loro e coincidenti con la distribuzione marginale di Y (relativa o percentuale). Analogamente accade per il carattere X ANALISI DELLA CONTINGENZA 3/5 Calcoliamo le percentuali di riga Tabella 2 licenza media diploma laurea Totale Calcoliamo le percentuali di colonna Tabella 3 licenza media diploma laurea Totale ANALISI DELLA CONTINGENZA 4/5 Nel caso dell esempio precedente i due caratteri risultano essere perfettamente indipendenti in quanto le distribuzioni dell uno non sono influenzate dalle diverse modalità assunte dall altro carattere. Dunque i due caratteri non sono connessi. Se la condizione di indipendenza non è verificata, è utile avere una misura di quanto i due caratteri rilevati siano più o meno vicini a questa condizione. Tale misura si basa sostanzialmente sul confronto tra le frequenze congiunte osservate e quelle teoriche di indipendenza. 32 8

9 ANALISI DELLA CONTINGENZA 5/5 Uno degli indici utilizzati per la misura del grado di connessione tra variabili è l indice è chiamato chi quadrato (χ 2 ). L indice prende a riferimento l assenza di relazione tra due caratteri e calcola quanto le frequenze congiunte osservate (n i j ) si discostano dalle frequenze teoriche (ň i j ), che si avrebbero nell ipotesi di completa indipendenza tra i due caratteri. In formule: ANALISI DELLA CONCORDANZA: LA COVARIANZA Nel caso in cui i due caratteri siano entrambi quantitativi, un primo approccio allo studio della presenza o meno di un legame tra di essi è rappresentato dall interpretazione della covarianza. La covarianza è un indicatore del grado di concordanza tra due variabili. Indicando con μ(x) e μ(y) le medie delle due variabili X e Y, la covarianza è definita come: Cov (X, Y) = σ XY = Σ i=1 k Σ j=1 h (x i - μ(x)) (y j - μ(y)) n i j / n χ 2 = Σ i=1 k Σ j=1 h ((n i j - ň i j ) 2 / ň i j ) L indice chi quadrato assume valori che variano tra zero (il valore minimo), che è il valore assunto nel caso di perfetta indipendenza e il massimo, pari al prodotto tra la numerosità N e il valore minimo tra (h 1) e (k 1) che si avrebbe nel caso di perfetta dipendenza. 33 In particolare: Covarianza positiva a valori crescenti di una variabile corrispondono valori crescenti dell altra. Covarianza negativa a valori crescenti di una variabile corrispondono valori decrescenti dell altra. Covarianza nulla l andamento di una variabile non è correlato con l andamento dell altra. 34 ANALISI DELLA CORRELAZIONE 1/4 Nel caso in cui i due caratteri siano entrambi quantitativi, lo studio del legame tra loro esistente può essere affrontato utilizzando le modalità assunte dai caratteri stessi e non solo le frequenze osservate, allo scopo di evidenziare una eventuale funzione matematica che lega le due variabili: Y = f(x). Tale tipo di analisi prende il nome di studio della correlazione. Il particolare tipo di legame preso in considerazione sarà quello lineare ossia quello corrispondente al caso in cui Y e X sono legate da una relazione del tipo: Y = a + bx. ANALISI DELLA CORRELAZIONE 2/4 Lo studio della correlazione tra due variabili quantitative si effettua attraverso una preliminare analisi grafica. Infatti per due variabili quantitative sarà possibile riportare sul piano cartesiano (con assi X e Y) ciascuna coppia di valori (x i ; y j ). L esame grafico della nuvola di punti che si ottiene nel piano cartesiano (diagramma a dispersione o scatter plot) fornisce importanti suggerimenti preliminari sulla presenza o meno di un legame espresso sotto forma di funzione matematica, ma anche sul tipo di legame eventualmente sussistente tra le variabili. Per fare alcuni esempi, si effettuerà un analisi di correlazione dovendo studiare: la relazione tra reddito di una famiglia e spesa per consumi; la relazione tra voto di maturità e voto di laurea; la relazione tra altezza e peso di alcune persone;

10 ANALISI DELLA CORRELAZIONE 3/4 ANALISI DELLA CORRELAZIONE 3/4 la disposizione dei punti sul piano cartesiano è tale per cui non è possibile trovare una funzione matematica Y=f(X) che lega le due variabili la disposizione dei punti sul piano cartesiano è tale per cui sembra possibile rappresentare il legame tra le due variabili attraverso una funzione matematica Y=f(X) che però non è una retta. 37 la disposizione dei punti sul piano cartesiano è tale per cui sembra possibile rappresentare il legame tra le due variabili attraverso una funzione matematica Y=f(X). In questo caso specifico le due variabili tendono a disporsi lungo una retta con andamento crescente la disposizione dei punti sul piano cartesiano è tale per cui sembra possibile rappresentare il legame tra le due variabili attraverso una funzione matematica Y=f(X). In questo caso specifico le due variabili 38 tendono a disporsi lungo una retta con andamento decrescente. ANALISI DELLA CORRELAZIONE 4/4 Dunque lo studio della correlazione deve preliminarmente rilevare la presenza o meno di un legame lineare tra due variabili quantitative. Questo passaggio si effettua tramite il calcolo di un indice: il coefficiente di correlazione lineare (ρ) i cui valori indicano la presenza e la maggiore o minore intensità del legame lineare tra due variabili. LA RETTA DI REGRESSIONE Il passaggio successivo all individuazione della presenza del legame lineare (tramite il coefficiente di correlazione) è quello della determinazione dell equazione della retta teorica Y = a + bx che esprime il legame tra le coppie di valori (X, Y). Tale retta prende il nome di retta di regressione. I coefficienti a e b determinati caratterizzano rispettivamente a la quota a cui la retta interseca l asse Y (intercetta) b la pendenza della retta (coefficiente angolare) Il coefficiente indicherà un forte legame lineare tra le due variabili Il coefficiente indicherà l assenza di un legame lineare tra le due variabili Il coefficiente indicherà l assenza di un legame lineare tra le due variabili che però appaiono legate 39 da una funzione matematica, ma non lineare 40 10

11 SINTESI: CORRELAZIONE E REGRESSIONE 1/4 In sintesi lo studio della correlazione tra due variabili quantitative si effettua attraverso alcuni passaggi: Calcolo del coefficiente di correlazione lineare Dove: σ XY è la covarianza tra le due variabili X e Y; σ X è lo scarto quadratico medio di X; σ Y è lo scarto quadratico medio di Y. 41 SINTESI: CORRELAZIONE E REGRESSIONE 2/4 Segue: Interpretazione del valore assunto dal coefficiente ρ: -1 ρ +1 Valori di ρ uguali a 0 indicano assenza di legame lineare tra X e Y. Valori di ρ uguali a 1 indicano perfetto legame lineare tra Y e X. Le coppie di valori si dispongono esattamente lungo una retta crescente. Valori di ρ uguali a -1 indicano perfetto legame lineare tra Y e X. Le coppie di valori si dispongono esattamente lungo una retta decrescente. Valori di ρ positivi e via via più vicini a +1 indicano un legame lineare via via più forte. Il segno positivo di ρ indica concordanza tra X e Y. Valori di ρ negativi e via via più vicini a -1 indicano un legame lineare via via più forte. Il segno negativo di ρ indica discordanza tra X e Y. 42 SINTESI: CORRELAZIONE E REGRESSIONE 3/4 segue: Determinazione della retta di regressione Y = a + bx attraverso il calcolo dei suoi coefficienti a e b. SINTESI: CORRELAZIONE E REGRESSIONE 4/4 Alcuni esempi: ρ positivo e ρ positivo, ma vicino a +1 non vicino a 1 b > 0 b > 0 ρ negativo ρ = 0 b < 0 b = 0 a = μ(y) b μ(x) ρ = +1 ρ = 0 43 b > 0 b =