Analisi dei dati qualitativi: omogeneità/eterogeneità, test del chi quadrato, analisi delle corrispondenze semplici e multiple

Transcript

1 Analisi dei dati qualitativi: omogeneità/eterogeneità, test del chi quadrato, analisi delle corrispondenze semplici e multiple

2 La distribuzione di frequenza La prima è più elementare delle analisi è la distribuzione di frequenza. Essa consiste in un conteggio delle modalità di una variabile. 2

3 LA MATRICE DEI DATI: CASI PER VARIABILI data<-read.table("c:/temp/descrittive.csv", header=true, sep=";") data sesso eta nazionalita sodd 1 M 18 italiani si 2 M 20 italiani si 3 M 21 italiani si 4 M 22 italiani si 5 M 23 italiani si 6 M 19 italiani si 7 M 18 italiani si 8 M 52 italiani si 3

4 conteggio dei casi osservati Distribuzioni di frequenza: sesso attach(data) table(sesso) sesso F M table(sesso)/length(sesso) sesso F M frequenza relativa dei casi osservati (table(sesso)/length(sesso))*100 sesso F M percentua li dei casi osservati 4

5 Tre gruppi di comandi grafici 1. Funzioni di alto livello: creano un nuovo grafico sul device grafico 2. Funzioni di basso livello: aggiungono altre parti ad un grafico esistente (ad es: nuove linee, punti o oggetti grafici) 3. Funzioni interattive: consentono di aggiungere o estrarre interattivamente informazioni grafiche da un grafico esistente. Per un esempio di funzioni grafiche in R si esegua: demo(graphics)

6 Comandi ad alto livello grafico

7 Diagramma a barre e torta plot(sesso) pie(table(sesso))

8 L analisi monovariata: le statistiche Le statistiche servono a dare una descrizione sintetica del fenomeno. Esse si applicano in modo diverso secondo la scala di misurazione con la quale sono rilevate le variabili. 8

9 L analisi monovariata: le statistiche Esistono misure di tendenza centrale che sintetizzano l informazione contenuta nella variabile in un valore caratteristico. Esistono misure di dispersione che indicano la varietà delle informazioni presenti in una variabile. 9

10 Le misure di tendenza centrale su variabili NOMINALI LA MODA: E la modalità più frequente. 10

11 MODA in una distribuzione di frequenza table(nazionalita) nazionalita francesi inglesi italiani spagnoli tedeschi

12 Le misure di dispersione su variabili NOMINALI L indice di omogeneità 12

13 100 Situazione di omogeneità induisti musulmani altre cristiani sikh buddisti Composizione religiosa in India

14 100 Situazione di eterogeneità CDU/CSU SPD Liberali Linke Grunen altri Risultati elezioni in Germania 2009, percentuali 14

15 Indice di omogeneità Misura la dispersione in una variabile nominale O k i1 2 f i k O 1_ rel k 1 O Dove k è il numero di modalità e f i è la proporzione di casi che si trovano nella categoria i-esima. L indice di omogeneità O è dato quindi dalla somma dei quadrati delle frequenze proporzionali. E 1 k i1 f 2 i 1 O Indice di eterogeneità 15

16 Indice di omogeneità O k i1 2 p i È massimo (=1) quando tutti i casi assumono la stessa modalità. È minimo (=1/k) quando la distribuzione è massimamente eterogenea, i casi si distribuiscono ugualmente nelle diverse modalità. O 1 1/2 ESEMPIO con due modalità (p,1- p) O min = 0, ,50 2 = 0,50 O max = = 1 0 1/2 1 p 16

17 Indice di omogeneità O<-(table(nazionalita)/length(nazionalita))^2 nazionalita francesi inglesi italiani spagnoli tedeschi O<-(table(nazionalita)/length(nazionalita))^2 Omogen=sum(O) [1] Omogen.r=Omogen*(5/4) Omogen.r [1]

18 Test di significatività VARIABILI CATEGORIALI Test del Chi-quadrato (MONOVARIATA) 18

19 In un convegno internazionale una sessione è composta da scienziati delle seguenti nazionalità. N % Italiani 75 31,3 Francesi 29 12,1 Inglesi 36 15,0 Tedeschi 19 7,9 Spagnoli 81 33, ,0 19

20 Test di significatività Poniamo l ipotesi che la composizione dei membri del convegno non sia distribuita ugualmente secondo la nazionalità. Infatti, se fosse vero il contrario, considerate cinque le nazioni che partecipano al convegno, avremmo dovuto avere che alla sessione partecipassero il 20 % di scienziati per nazione. 20

21 Hp di lavoro: Vi sono differenze nella partecipazione al convegno secondo la nazionalità. Hp 0 nulla: Non vi sono differenze. 20% per nazione. 21

22 Calcoliamo le differenze per misurare quanto il fenomeno osservato si discosta dalla situazione ipotizzata: O N % Hp 0 N/5 (O-E) 2 (O-E) 2 /E Italiani 75 31, ,2 Francesi 29 12, ,5 Inglesi 36 15, Tedeschi 19 7, ,5 Spagnoli 81 33, ,7 E ,0 240 Ipotesi nulla Totale 65,9

23 Chi-Quadrato χ ,9 Il chi-quadrato che abbiamo osservato costituisce una misura della distanza dall ipotesi nulla di equidistribuzione (20% di scienziati per nazione). Maggiore è il valore di χ 2, più siamo lontani dall ipotesi di equidistribuzione. 23

24 Test del Chi-Quadrato χ 2 Quando N è abbastanza ampio (N>100) è possibile effettuare un test di significatività ricorrendo alla distribuzione nota del Chi-Quadrato. Dunque, considerando il numero di gradi di libertà, è possibile sottoporre a test di significatività l ipotesi nulla.

25 Distribuzione del Chi-Quadrato χ 2 Il chi-quadrato ha una funzione di densità nota, ma variabile secondo i gradi di libertà. I gradi di libertà, nell esempio proposto, sono k-1, dove k sono le modalità. I gradi di libertà rappresentano le frequenze di cella che possiamo liberamente inserire dato il totale. Oppure, costituiscono i vincoli minimi necessari a riempire tutte le celle. 25

26 Gradi di libertà = k 1 Italiani Francesi Inglesi Tedeschi Spagnoli N 100 Molto Abbastanza Poco Per niente N 100 Maschi Femmine N 100 gdl = 4 gdl = 3 gdl = 1 26

27 φ(χ 2 ) Funzione di densità di χ 2 φ(χ 2 ) ( ) g 2 2 g g 2 e 0 2 ( ) d χ 2 27

28 Il χ 2 E FUNZIONE DEI GRADI DI LIBERTA φ(χ 2 ) g=1 g=4 ( ) g 2 g g 2 e g= ( ) d 1 g= χ 2 28

29 p Distribuzione nota della v.c. χ 2 T 13,44 0,8 2 d 1 t 0 φ(χ 2 ) Funzione di densità di χ 2 con gl=10 AREA di NON Rifiuto di H 0 AREA di Rifiuto di H ,44 χ 2 29

30 Logica falsificazionista, errori Realtà del fenomenmo H 0 vera H 0 falsa Esito del test H 0 non rifiutata H 0 rifiutata No errore Errore I tipo (α) Errore II tipo (β) No errore 30

31 p RifiutoH H vera 0 0 α è la probabilità teorica di rifiutare a priori l H 0 quando questa è vera. α viene fissata arbitrariamente, solitamente si utilizza una soglia del 5 %. α = 0,05 31

32 Livello di significatività α ; costituisce l area di RIFIUTO di H 0, ossia l area di ACCETTAZIONE di H 1 g 2 2 g g 2 e d g = gradi di libertà α χ 2 α χ 2 32

33 Ricapitolando Il chi-quadrato osservato è uguale a 65,9. I gradi di libertà sono 4. Hp nulla: Non vi sono differenze: 20% per nazione Livello di significatività alfa=0,05 33

34 Valore critico del Chi-quadro 0 α 34

35 Rifiutiamo H 0. Respingiamo l ipotesi nulla di equidistribuzione. Con una significatività statistica dello 0,05 accettiamo che gli scienziati non rappresentano allo stesso modo le nazioni che partecipano alla sessione. φ(χ 2 ) Funzione di densità di χ 2 con gl=4 AREA di Rifiuto di H 0 e accettazione di H ,49 χ 2 α ,9 35 χ 2

36 Lavoriamo in R ## importiamo il dataset, che abbiamo copiato nella ## cartella C:/temp data<-read.table("c:/temp/lumsa/descrittive.csv", header=true, sep=";") data ## vogliamo lavorare con le singole variabili del dataset attach(data) ## costruiamo una tabella di frequenza table(nazionalita) francesi inglesi italiani spagnoli tedeschi ## test del chi quadrato (ipotesi nulla: equidistribuzione dei partecipanti per ## nazionalità) chisq.test(table(nazionalita)) Chi-squared test for given probabilities data: table(naz) X-squared = , df = 4, p-value = 1.649e-13

37 Le tabelle di contingenza sono tabelle doppie di frequenza di dati. Le modalità delle variabili di riga danno il nome alle righe della tabella, mentre quelle di colonna danno il nome alle colonne.

38 Schema distribuzione doppia di frequenza

39 Lavoriamo con due variabili table(nazionalita, sodd) sodd nazionalita no si francesi inglesi italiani spagnoli tedeschi 16 3

40 Test del chi quadrato chisq.test(table(nazionalita, sodd)) Pearson's Chi-squared test data: table(nazionalita, sodd) X-squared = , df = 4, p-value =