Cluster Analysis Analisi completa

Transcript

1 Cluster Analysis Analisi completa Statistica Inferenziale t-test M Q Marco Perugini Milano-Bicocca 1

2 Logica della Clusters Selezionare le variabili su cui i soggetti possono differire Scalare le variabili Selezionare una distanza Selezionare un metodo di estrazione dei gruppi Decidere il numero di gruppi ottimale Interpretare la partizione ottenuta

3 Ricerca empirica Atteggiamenti verso il terrorismo (ricerca di Luca Carissimi e Germano Rossi) Scopo: Individuare le dimensioni sottostanti agli atteggiamenti verso il terrorismo e individuare gruppi di soggetti con particolare pattern di atteggiamento Misura delle varie componenti di atteggiamento mediante 77 items Campione di 49 soggetti 3

4 Logica delle analisi Pool di 10 Scala: - (disaccordo) + (accordo) Analisi Fattoriali Pool di 77 Migliori per la misura di 1 dimensioni Cluster Analysis Utilizzo delle 1 dimensioni per individuare tipologie (gruppi) di soggetti 4

5 Dimensioni Estratte mediante varie Analisi Fattoriali 1) Causalità legata all individuo ) Causalità legata al contesto 3) Terrorismo = violenza 4) Risposta al terrorismo: uso forza 5) Stereotipo Islam 6) Debolezza Terrorista Organizzazioni: Eroi vs Violenti 9) ETA,IRA, MLP :Idealismo 10) ETA,IRA, MLP: negativo 11) Terrorismo Italiano (BR) 1) Movimento partigiano 7) Terrorista = persona qualunque 8) Anti-americanismo Alcuni fattori correlati, altri ortogonali 5

6 Cluster Analysis Utilizziamo le 1 dimensioni per rintracciare dei gruppi di persone con caratteristiche omogenee di combinazioni di atteggiamenti Cluster Gerarchica Distanza: Distanze Euclidee Metodo: Legame medio Scelta partizioni Interpretazione dei gruppi 6

7 Cluster in SPSS Cluster Gerarchica 7

8 Cluster in SPSS Variabili su cui calcolare le distanze Oggetti da raggruppare 8

9 Scelta delle distanze Scelta delle distanze 9

10 Scelta delle distanze Scegliamo distanze Euclidee 10

11 Metodo di fusione Scelta di come raggruppare di gruppi 11

12 Metodo di fusione Scelta di come raggruppare di gruppi Scegliamo Legame medio 1

13 Dendrogramma Grafico partizioni 13

14 Output Programma di Agglomerazione La sequenza di fusione dei clusters 48 14

15 Partizioni Dendrogramma 49 15

16 Esempio ridotto Per semplicità, consideriamo solo 19 soggetti (presi a caso) Prima coppia di soggetti unita Stadio 1 Soggetto 9 e Programma di aggl omerazi one Stadio di f ormazione Clust er accorpat i del clust er Stadio Cluster 1 Cluster Coeff icienti Cluster 1 Cluster successiv o Distanza che intercorre tra s9 e s Quando il cluster verrà fuso con altri in futuro Se caso singolo (0) o gruppo (n di stadio) 16

17 Coefficienti I coefficienti indicano a quale distanza erano i cluster uniti in quello stadio Programma di aggl omerazi one Stadio Stadio di f ormazione Clust er accorpat i del clust er Stadio Cluster 1 Cluster Coeff icienti Cluster 1 Cluster successiv o Notiamo che la distanza è necessariamente crescente. Perché?

18 Dendrogramma Indica a che distanza i clusters sono stati uniti 18

19 Numero gruppi Un problema principale della analisi dei cluster è scegliere quanti gruppi tenere Non possiamo tenere troppi gruppi. Logica della semplicita Ispezioniamo il dendrogramma Consideriamo la numerosità dei gruppi Esistono altri metodi che non affrontiamo 19

20 Ispezione dendrogramma Un gruppo si forma qui Un gruppo si forma qui 0

21 Conteggio Conteggio Conteggio Ispezione numerosità gruppi Di solito e preferibile avere una partizione in cui i gruppi non sono troppo sproporzionati nella numerosità Soluzioni a: gruppi 3 gruppi 4 gruppi Average Linkage (Within Group) Average Linkage (Within Group) Average Linkage (Within Group) Bilanciata Sbilanciata Molto sbilanciata 1

22 Ispezione dendrogramma Stessi dati, distanze euclidee quadrate e metodo di WARD Un gruppo si forma qui Un gruppo si forma qui Raggruppamenti più chiari

23 Ispezione dendrogramma Stessi dati, distanze euclidee e legame semplice Raggruppamenti poco chiari 3

24 Conteggio Conteggio Conteggio Ispezione numerosità gruppi Il legame semplice darebbe gruppi sproporzionati Soluzioni a: gruppi 3 gruppi 4 gruppi Single Linkage Single Linkage Single Linkage Sbilanciata Sbilanciata Molto sbilanciata 4

25 Numero gruppi Un problema principale della analisi dei cluster è scegliere quanti gruppi tenere Non possiamo tenere troppi gruppi. Logica della semplicita Ispezioniamo il dendrogramma: individuare raggruppamenti separati Cercare un partizione equidistribuita (se possibile e sensato) Cambiare distanze e criterio di fusione fino ad ottenere una partizione sensata Cercare di cross-validare la partizione! 5

26 Interpretazione dei gruppi Una volta deciso quanti gruppi tenere, salviamo per ogni soggetto a quale gruppo appartiene Specificare quanti gruppi tenere Salva, per salvare in una nuova variabile l appartenenza ai gruppi 6

27 Appartenenza ai gruppi Ogni soggetto è ora classificato Sulla base di questi gruppi possiamo vedere su quali variabili tali gruppi si differenziano Variabili usate per le distanze Variabili esterne Cluster di appartenenza Caso cluster

28 Interpretazione variabili interne Analizziamo quali valori delle variabili che abbiamo usato per creare i gruppi contraddistinguono i gruppi Gruppo 1 Gruppo F1 F F3 F4 F5 F6 F7 F8 F9 F10 F11 F Medie nei 1 fattori per i due gruppi 8

29 Interpretazione variabili esterne Analizziamo variabili esterne (sesso, età, etc) per vedere se caratterizzano i gruppi Sesso 1 Gruppi maschio 1 f emmina Frequenza Frequenza Eta Studio Sinistra/Destra Gruppo 1 Gruppo Differenze in punteggi standardizzati in Età, Studio, Politica 9

30 Cluster Analysis Individuazione dei gruppi: Scegliere la distanza -> Scegliere il metodo di fusione Ispezionare dendrogramma, coefficienti e numerosità per selezionare la partizione migliore Cambiare indice di distanza e metodo di fusione per trovare la partizione migliore Utilizzare l appartenenza ai gruppi per caratterizzare i gruppi in base alle variabili interne ed esterne 30

31 Statistica Inferenziale 31

32 t-test e tecniche di Analisi della Varianza Obiettivo generale: - Verificare se la media di una variabile è significativamente diversa da un valore prestabilito (t-test con campione unico) - Confrontare dei gruppi di osservazioni per stabilire se differiscono significativamente nella media di una variabile (t-test per campioni indipendenti ed appaiati, ANOVA, ANCOVA) 3 Lezione: XXVII

33 t-test per campione unico Obiettivo: - Verificare se la media di una variabile è significativamente diversa da un valore prestabilito Assunzioni: - Variabile continua e distribuita normalmente; indipendenza delle osservazioni; [la variabile ha una distribuzione normale nella popolazione (importante se N è piccolo)] Esempio: - Mediamente, gli studenti della Bicocca hanno un atteggiamento positivo verso l introduzione di corsi in lingua inglese? - Campione casuale di N = 50 studenti. Differenziale semantico. Introduzione di corsi in lingua inglese Inutile Utile Negativo Positivo Inefficace Efficace - Indice d atteggiamento: valore medio delle risposte 33 Lezione: XXVII

34 t-test per campione unico Assumiamo che il valore 4 indichi una posizione neutra circa l introduzione di corsi in lingua inglese Introduzione di corsi in lingua inglese Inutile Utile Negativo Positivo Inefficace Efficace Il nostro campione ha, mediamente, una posizione leggermente positiva verso l introduzione di questi corsi. E la popolazione di riferimento (gli studenti della Bicocca)? Se gli studenti della Bicocca avessero, mediamente, una posizione neutra (=4) quante probabilità avremmo di estrarne un campione di 50 persone con media M = 4.49 o superiore? 34 Lezione: XXVII

35 t-test per campione unico Se gli studenti della Bicocca avessero, mediamente, una posizione neutra (=4) quante probabilità avremmo di estrarne un campione di 50 persone con media M = 4.49 o superiore? Per rispondere a questa domanda facciamo un t-test per campione unico. Il t-test ci informa su quanto è probabile ottenere il valore che noi abbiamo osservato (o un valore più estremo) nell ipotesi che la media nella popolazione abbia un certo valore. H 0 : μ = 4 Risultato del t-test significativo = se l ipotesi nulla è vera, è poco probabile ottenere nel campione il valore che abbiamo osservato. t S. E E un indicatore della distanza della media osservata rispetto alla media ipotizzata con H 0 espresso in errore standard (ossia deviazioni standard della media campionaria) 35 Lezione: XXVII

36 t-test per campione unico Una volta stabilito il valore di t, è possibile inferire la probabilità di H 0 : μ = 4 Distribuzione t di Student Il valore di significatività del t-test indica la probabilità di ottenere un valore t uguale o più estremo di quello osservato. È necessario tener conto della numerosità del campione ( gradi di libertà, df = degrees of freedom) Perché? Perché con campioni più piccoli è più probabile ottenere valori di t più grandi, solo perché il campione è meno rappresentativo della popolazione. 36 Lezione: XXVII

37 t-test per campione unico p <.05 Come riportare questo risultato? La media dell indice d atteggiamento negli studenti dell Università di Milano Bicocca (M = 4.49, SD = 1.11) è significativamente diversa dal valore medio (neutro) teorico, t(49) = 3.15, p =.003. Intervallo di confidenza: Valori ragionevolmente probabili per la popolazione. In SPSS viene riportato l intervallo di confidenza per la differenza rispetto al valore ipotizzato (H 0 : μ = 4). 37 Lezione: XXVII

38 t-test per campioni indipendenti Obiettivo: confrontare le medie di una variabile in due campioni indipendenti. Esempi: - A parità dei contenuti del lavoro e di anni di esperienza, guadagnano di più gli uomini o le donne? - Viene giudicata più positivamente una comunicazione di marketing che da del tu o del lei ( Vieni [vs. venga]a provare i nostri servizi! )? - A un anno di distanza dalla laurea, gli studenti della Bicocca guadagnano di più di quelli della Statale? Possono essere sia gruppi naturali (es. donne uomini), sia gruppi formati mediante assegnazione casuale (es. lettura tu vs. lei ). La variabile messa a confronto è detta variabile dipendente e deve essere misurata almeno su scala ad intervalli La variabile che definisce l appartenenza all uno o all altro gruppo è la variabile indipendente 38 Lezione: XXVII

39 t-test per campioni indipendenti Esempio: Campagna di marketing via (target molto ampio). Meglio dare del tu o del lei ai destinatari? Campione (N = 465, n 1 = 46, n = 19) persone con le stesse caratteristiche della popolazione target, assegnate casualmente ai due gruppi, giudicano l . Variabile indipendente: forma linguistica Variabile dipendente: Indice di persuasività H 0 : μ tu = μ lei la forma linguistica (tu vs. lei) non influenza la persuasività dell L ipotesi è formulata sulle medie della popolazione Risultati: Mediamente, il gruppo che ha letto l informale l ha giudicata meno persuasiva rispetto all altro gruppo Questa differenza è statisticamente significativa? 39 Lezione: XXVII

40 t-test per campioni indipendenti Possiamo inferire che mediamente i membri del nostro target (popolazione) giudicheranno la persuasività dell in maniera differente se daremo loro del tu o del lei? Per rispondere, eseguiamo un t-test per campioni indipendenti Assunzioni: La variabile dipendente è a livello di scala a intervalli o a rapporti La variabile dipendente è distribuita normalmente in tutti i gruppi - robustezza a violazioni di quest assunzione se i gruppi sono abbastanza grandi (n > 15 in ogni gruppo) e di dimensioni approssimativamente uguali Omoschedasticità (varianze approssimativamente uguali nei due gruppi) 40 Lezione: XXVII

41 t-test per campioni indipendenti H 0 : μ tu = μ lei Poiché le medie osservate, X tu = 7.57 e X lei = 7.79 si riferiscono a due campioni, esse solitamente non corrispondono esattamente alla media delle popolazioni a cui si riferiscono. E possibile (anzi, quasi certo ) osservare medie diverse anche se i gruppi sono stati estratti da popolazioni che invece hanno la stessa media. Qual è la probabilità di osservare una differenza tra le medie di = 0. o superiore tra i due campioni se la popolazione di riferimento ha la stessa media? Dipende dalla variabilità della variabilità della media campionaria. 41 Lezione: XXVII

42 L errore standard L errore standard o standard error indica l errore atteso che facciamo nel utilizzare un campione (con data numerosità e variabilità) per stimare una caratteristica della popolazione Lega il campione alla popolazione Errore standard S Varianza ES n Numerosità 4 Lezione: II

43 t-test per campioni indipendenti H 0 : μ tu = μ lei Calcoliamo un indice che tiene conto sia della differenza tra le medie osservate nei due campioni, sia della variabilità della popolazione da cui essi sono stati estratti Errore standard della differenza t SE 1 1 SE Confrontiamo questo indice t con i valori di una distribuzione nota, il t di Student, così da avere un indicatore di probabilità che i due campioni siano stati estratti dalla stessa popolazione. 43 Lezione: XXVII

44 t-test per campioni indipendenti t-test: p =.04 C è una differenza statisticamente significativa tra gli indici di persuasività dell espressa nelle due forme. Rigettiamo l ipotesi nulla che le due siano equiparabili. Come riportare questo risultato? Esempio: «I partecipanti che hanno valutato la versione informale dell hanno espresso giudizi di persuasività significativamente diversi rispetto a coloro che hanno valutato la versione formale, t(463) =,104, p =.036, 95% CI [0.015, 0.435], M = 7.57, SD = e M = 7.79, SD =e 1.0, rispettivamente la versione informale e la versione formale.» Se fosse stato t(463) = 1.36, p =.15 «Dalla ricerca non emergono valutazioni significativamente diverse del livello di persuasività, a seconda della formulazione linguistica dell , t(463) = 1,36, p =.15. Non possiamo rigettare l ipotesi nulla che la formulazione non incida sulla persuasività». Spesso si dice che l ipotesi di ricerca non è confermata. [Notare che l ipotesi nulla non viene accettata, viene non rifiutata ] 44 Lezione: XXVII

45 t-test per campioni indipendenti Test di Levene di uguaglianza delle varianze: omoschedasticità Le varianze nei due campioni non sono significativamente diverse Perciò sono soddisfatte le assunzioni per poter eseguire il t-test e si utilizzano i valori riportati nella prima riga ( Assumi varianze uguali ) Se il test di Levene è significativo significa che non posso assumere omoschedasticità: viene utilizzato un t-test alternativo (seconda riga) 45 Lezione: XXVII

46 t-test Ampiezza dell effetto (effect size) se il t-test è significativo, quanto è grande la differenza tra i due gruppi? - Non possiamo stabilirlo sulla base della dimensione di p (non sempre p <.001 vuol dire che abbiamo un effetto più forte, rispetto a p =.034) Se la misura è espressa con un unità dotata di significato (es. reddito annuo) possiamo utilizzarla direttamente per stimare l ampiezza dell effetto. - Esempio: A un mese dalla laurea, nel nostro campione i laureati della Bicocca guadagnano, mediamente, 57 Euro al mese più dei laureati della Statale. Questa differenza è statisticamente significativa [vengono riportati i valori di t e p] Se l unità di misura non ha un significato immediato, si può usare una misura standardizzata di ampiezza dell effetto: Il d di Cohen d = M 1 M pooled SD, dove pooled SD = n 1 1 SD 1 + n 1 SD n 1 +n con gruppi che hanno la stessa numerosità pooled SD =, SD 1 +SD 46 Lezione: XXVII

47 Significativo non è la stessa cosa di forte Bisogna vedere anche la forza dell effetto (Effect size) Diversi stimatori che variano anche in funzione della tecnica e del designo sperimentale Più comuni: r d: Da d a r Da r a d r = d d Lezione: III

48 Esempio calcolo d di Cohen Calcolo del d di Cohen pooled SD = n 1 1 SD 1 + n 1 SD n 1 +n = = d = M 1 M pooled SD = = Lezione: XXVII

49 Come interpretare il d di Cohen? Cohen (e.g. 1969, 1988) offre alcune linee guida: 0. piccolo 0.5 medio 0.8 grande Non sono regole assolute, ma indicazioni di massima 49 Lezione: XXVII

50 t-test per campioni appaiati (= per campioni dipendenti) Campioni appaiati: ogni osservazione nel campione 1 è appaiata con un osservazione nel campione solitamente ogni gruppo ha lo stesso soggetto (es. studio sperimentale con misure ripetute, studio longitudinale) Esempi: - Uso del cellulare alla guida e tempi di reazione nella frenata (partecipanti che simulavano la guida con cellulare vs. ascolto radio: ogni partecipante può simulare entrambe le condizioni) - Valutazione di due prodotti di consumo A e B (ogni partecipante valuta entrambi i prodotti) - Effetto di una terapia su pazienti vs. controlli appaiati (ossia: hanno le stesse caratteristiche su altre variabili rilevanti, es. età, sesso, altre patologie) 50 Lezione: XXVII

51 t-test per campioni appaiati (= per campioni dipendenti) Alcuni vantaggi dell uso di campioni appaiati pratici: spesso, a parità di risorse impiegate si possono raccogliere più dati popolazioni difficili da raggiungere (es. piloti di linea) statistici/metodologici: gruppi equivalenti (controllo per variabili di confusione, es. età ed effetti della guida con cellulare sui tempi di reazione) controllo dell errore dovuto alla variabilità interindividuale (es. differenze nei tempi di reazione) aumento di sensibilità della ricerca Non sempre è il tipo di disegno migliore Effetti d ordine (es. stanchezza, apprendimento del compito, carry over effects) In certi casi non si può attuare es. apprendere una notizia dalla TV vs. dal giornale 51 Lezione: XXVII

52 t-test per campioni appaiati (= per campioni dipendenti) H 0 : μ 1 = μ H 0 : μ d = 0 Possiamo basare le nostre analisi su μ d per fare inferenze su μ 1 - μ Vantaggio: controllo della variabilità dovuta a differenze individuali t SE d d Equivale a un t-test per campione unico, effettuato sulle differenze tra la misurazione della V.D. nelle due condizioni. 5 Lezione: XXVII

53 t-test per campioni appaiati Esempio: Ogni partecipante ha valutato due prodotti di consumo, A e B C è differenza nella valutazione media di A e di B? t SE d d Vantaggio rispetto a t-test per campioni indipendenti: controllo della variabilità dovuta alle differenze tra le coppie di osservazioni Cohen s d = M d SD d = = Lezione: XXVII