STATISTICA MULTIVARIATA SSD MAT/06

Transcript

1 Università degli studi di Ferrara Dipartimento di Matematica A.A. 2017/2018 I semestre STATISTICA MULTIVARIATA SSD MAT/06 analisi dell interdipendenza LEZION 7 - PCA: introduzione Docente: Valentina MINI valentina.mini@unife.it RICEVIMENTO: su appuntamento previa mail

2 LEZIONE DATA ORARIO DURATA AULA ARGOMENTO 1 25/09/ H LAB 8 Overview: introduzione al corso, alla materia e al software R 2 09/10/ H LAB 8 Vettori e matrici 3 13/10/201710,30-12,30 2 H LAB 8 Regressione lineare: teoria e impostazione pratica 4 16/01/ H LAB 8 Questioni di analisi e applicazione della regressione lineare R 5 23/10/ H LAB 8 Regressione multivariata: teoria e pratica 6 27/10/201710,30-12,30 2 H LAB 8 Questioni di analisi e applicazione della regressione multivariata R Analisi dell'interdipendenza 7 30/10/ H LAB 8 PCA: introduzione 8 06/11/ H LAB 8 PCA: analisi e applicazioni R 9 10/11/201710,30-12,30 2 H LAB 8 Exploratory factor analysis R 10 13/11/ H LAB 8 Confirmatory factor analysis 11 20/11/ H LAB 8 Cluster analysis: introduzione 12 24/11/201710,30-12,30 2 H LAB 8 Cluster analisi: analisi e applicazioni R Test di permutazione combinata 13 27/11/ H LAB 8 Test di permutazione combinata: teoria e applicazioni in R (prof. Bonnini) 14 04/12/ H LAB 8 Test di permutazione combinata: teoria e applicazioni in R (prof. Bonnini) Analisi di dipendenza 15 11/12/ H LAB 8 Analisi dell'interdipendenza: overview 16 15/12/201710,30-12,30 2 H LAB 8 Conclusione ed esercitazioni

3 Contenuti delle lezioni su ACP TERMINARE LA DISCUSSIONE PRATICA DELL ANALISI REGRESSIONE MULTIVARIATA: Conclusione dell analisi della regressione lineare multivariata in R utilizzando il database torte Fare insieme il primo esercizio del database Passito METODI DI ANALISI DELL INTERDIPENDENZA: LA ACP Introduzione I fattori 1) Rappresentazione grafica dei fattori 2) Rappresentazione matematica dei fattori 3) Valori fattoriali (factor scores) a) Metodo di regressione b) Altri metodi c) Utilizzo dei valori fattoriali

4 Contenuti della lezione su ACP Trovare i fattori 1) Scelta del metodo 2) Comunalità 3) Analisi fattoriale VS analisi per componenti principali

5 Contenuti della lezione su ACP Procedimento pratico Esempio di ricerca: Considerazioni iniziali: Dimensione del campione Screening dei dati Condurre l analisi (R ) Interpretare i risultati Analisi preliminare Estrazione fattoriale Ruotare i fattori per migliorare l interpretazione Rotazione ortogonale (o Varimax) Rotazione obliqua Valori fattoriali Postilla: possibilità di usare analisi fattoriale per validare un questionario

6 Contenuti della lezione su ACP Esercizi in R Eseguire una analisi per componenti principali utilizzando i seguenti database: Passito abitudini alimentari centro commerciale

7 BOX: ANOVA Origini concettuali dell analisi della varianza (ANOVA) Verifica delle ipotesi su due campioni C gruppi e ANOVA Definizione e formalizzazione Interpretazione Applicazione in R

8 UTILIZZO DI DATABASE ESTERNO Label Description Coding ID Personal ID of the interviewed Increasing integer number AgeClass Age of the person Age (years) AGE_CLASS Age class of the person 1-6 SEX Sex of the person M or F PROV Province where the interviewed lives Province code LIKE_WINE How much do you like drinking wine? Integrer number from 1 to 7 FREQ_HOME How often do you drink wine at home with meals? Integrer number from 1 to 5 FREQ_BAR How often do you drink wine in bars/pubs? Integrer number from 1 to 5 FREQ_REST How often do you drink wine at restaurants with meals? Integrer number from 1 to 5 KNOW_PAS Do you know the wine Passito? Integrer number from 1 to 7 FREQ_PAS How often do you drink Passito? Integrer number from 1 to 5 FREQ_P_HOL How often do you drink Passito on holidays and celebrations? Integrer number from 1 to 5 FREQ_P_ALO How often do you drink Passito when you are alone? Integrer number from 1 to 5 FREQ_P_MEA How often do you drink Passito at the end of meals? Integrer number from 1 to 5 FREQ_P_OFF How often do you drink Passito offered by someone? Integrer number from 1 to 5 HOW_MUCH How much wine do you drink in one year? Integrer number from 1 to 4 LIKE_PAS How much do you like drinking Passito? Integrer number from 1 to 7 LIKE_AROMA How much do you like aroma and smell of Passito? Integrer number from 1 to 7 LIKE_SWEET How much do you like the sweetness of Passito? Integrer number from 1 to 7 LIKE_ALCOHOL How much do you like the alcohol content of Passito? Integrer number from 1 to 7 LIKE_TASTE How much do you like the intensity of taste of Passito? Integrer number from 1 to 7 PRICE How much could you pay for one bottle of Passito? (0.5 litre) Integrer number from 1 to 5

9 INTRODUZIONE

10 introduzione Spesso fenomeni non direttamente misurabili variabile latente Es. burnout : non misurabile direttamente (molti aspetti), Tuttavia possiamo misurarne molti aspetti (motivazione, livello di stress ) Domanda centrale: tutte queste variabili ci guidano verso lo stesso fenomeno/variabile di interesse? PCA: analisi per componenti principali (ACP) Analisi fattoriale che ci porta ad identificare gruppi di variabili 3 utilizzi principali: 1- capire struttura di un set di variabili 2- costruire un questionario per comprendere/cogliere una variabile sottesa (latente) 3- ridurre dataset a dimensione più gestibile, mantenendo la maggior parte delle informazioni iniziali

11 introduzione Anche nota come trasformazione di Hotelling e espansione di Karhunen-Loeve È tra i più storici e comuni metodi di analisi statistica multivariata Proposta da Pearson nel 1901 e successivamente (indipendentemente) da Hotelling nel 1933 Un metodo effettivo per la rappresentazione di dati multivariati in uno spazio a dimensioni ridotte (parsimonious summarization of data), per semplificare l analisi statistica Metodo utile per analisi esplorative o modelli di previsione

12 introduzione Ruolo chiave nell analisi: I FATTORI Cosa sono i fattori? Come li identifichiamo? Cosa raccontano sulla possibile relazione tra variabili misurate?

13 I FATTORI

14 I fattori Es. questionario su consumi alimentari Risposte La correlazione tra ogni coppia di variabili (domande/risposte) può essere organizzata in una matrice di correlazione R= matrice di correlazione tra variabili (costruita con i coefficienti di correlazione)

15 Elementi su diagonale di matrice R =1 (ogni variabile è perfettamente correlata con se stessa) Elementi al di fuori della diagonale = coefficienti di correlazione tra coppie di variabili

16 I fattori Possibili aree con alti coefficienti di correlazione: Gruppo di variabili che sta misurando aspetti diversi della stessa dimensione/fenomeno sotteso Tale fenomeno/dimensione sottesa è definito FATTORE (variabile latente) Riduzione di database da gruppi di variabili correlate tra loro a un set più piccolo ci permette di avere una minore dimensione, (usare il minor numero di concetti esplorativi) pur mantenendo la massima quantità di varianza comune.

17 I fattori ESEMPI COMUNI: psicologia studi personalità (Eysenck,1953); economia = se produttività, profitto e forza lavoro riducibili ad una dimensione di crescita dell impresa. Es. Studio sulla popolarità di una persona coefficienti di correlazione per ogni coppia di variabili e si crea una matrice R Obiettivo = misurare popolarità delle persone attraverso varie caratteristiche social skills selfish (egoismo) interest (interesse per gli altri) talk1 (tempo impiegato in una conversazione a parlare di altri) talk2 (tempo impiegato in una conversazione a parlare di sé)

18 I fattori Emergono chiaramente due cluster (dimensione comune) Generalmente nell analisi fattoriale (e anche in PCA): - cerchiamo di ridurre questa matrice R - guardando a quali variabili sembrano raggrupparsi -ma non sono correlate con variabili fuori dal gruppo Nell esempio: 2 cluster = 1) fattore: socialità 2) fattore considerazione

19 RAPPRESENTAZIONE GRAFICA DEI FATTORI

20 Rappresentazione grafica dei fattori Fattori: entità statistiche che possono essere visualizzate come assi di classificazione sui quali le variabili misurate possono essere rappresentate Se fattori come assi di un grafico possiamo rappresentare le variabili su questi assi Coordinate delle variabili = forza della relazione tra ogni variabile e il fattore rappresentato

21 Rappresentazione grafica dei fattori

22 Rappresentazione grafica dei fattori Note alla figura : per ogni fattore la linea degli assi va da -1 a +1 = limiti dei coefficienti di correlazione La posizione di ogni variabile dipende dalla sua correlazione con i due fattori Cerchi = variabili correlate con medesimo fattore e bassa corr. con l altro fattore La figura rappresenta ciò che avevamo visto in matrice R Variabili = relate molto bene solo con un fattore (non sempre così) Variabili con alte coordinate su stesso asse: stanno misurando diversi aspetti di stessa dimensione Le coordinate di una variabile su un fattore sono note come peso fattoriale (factor loading)

23 Rappresentazione grafica dei fattori PESO FATTORIALE = correlazione di Pearson tra un fattore e una variabile info contenute nel coefficiente di correlazione se eleviamo al 2 il peso fattoriale misura dell importanza di una particolare variabile per un fattore

24 RAPPRESENTAZIONE MATEMATICA DEI FATTORI

25 Rappresentazione matematica dei fattori FATTORI = assi = linee Riconducibili matematicamente ad una linea retta Descritti da equazione che richiama il modello lineare Yi=b1x1+b2x2+.+bnxn+Ei Lo applichiamo allo scenario di descrizione di un fattore Fattorei=b1*variabile1+b2*variabile2+.+bn*variabilen+Ei Si noti che: -Non c è intercetta (b0), in quanto intercetta degli assi è 0 -bs rappresenta il peso fattoriale

26 Rappresentazione matematica dei fattori ESEMPIO 2 fattori: socialità e considerazione equazione descrive ogni fattore in termini delle variabili misurate:

27 Rappresentazione matematica dei fattori NOTE: -Le equazioni sono identiche nella forma (tutte variabili in entrambe) -La differenza dei valori di b = importanza relativa di ogni variabile su fattori -Possibile sostituire ogni b con coordinate dal grafico (ovvero peso fattoriale) -Le equazioni risultanti sono:

28 Rappresentazione matematica dei fattori Coefficienti = Pearson correlation Coefficiente correlazione al quadrato = R² quanta della variabilità di una variabile è spiegata da un altra NOTE: 1. Per ogni fattore (2): alcune variabili valore alto Vs altre (importanza della variabile sul fattore) 2. Grafico ed equazioni rappresentano la stessa situazione 3. In mondo ideale: per ogni fattore le variabili hanno valore bs molto alto rispetto ad un fattore e molto basso rispetto agli altri

29 Rappresentazione matematica dei fattori 4- i pesi fattoriali individuati possono essere organizzati in una matrice: - colonne = fattori - righe = peso di ogni variabile per un fattore (es. : 2 fattori; 6 righe) Matrice = A

30 Rappresentazione matematica dei fattori -Relazioniamo matrice A con equazioni fattoriali - definizione di A = (in PCA) matrice dei componenti o (in analisi fattoriale) matrice dei fattori -ASSUNZIONI alla base della matrice A: -I fattori algebrici rappresentano le dimensioni del mondo reale - la natura dei fattori ci permette di capire quali variabili hanno più importanza rispetto ad ogni fattore

31 Rappresentazione matematica dei fattori BOX APPROFONDIMENTO SUI PESI FATTORIALI matrice di struttura VS matrice di disposizione Fino a qui pesi fattoriali indicati come: sia coefficienti di correlazione, sia coefficienti di regressione. Entrambi concetti = relazione tra una variabile e un modello lineare concetto chiave: il peso fattoriale da informazioni su contributo relativo che una variabile ha su un fattore Interpretazione di peso fattoriale = rappresenta entrambi (coeff.corr e coef.regg) 2 distinzioni: Rotazione ORTOGONALE (fattori indipendenti; peso corr e reg) OBLIQUA (reg =pattern matrix; corr = structure matrix)

32 I VALORI FATTORIALI

33 I valori fattoriali es. descrivere una persona

34 I valori fattoriali Descrizione di un fattore: - b = in termini di variabili che hanno un peso su di esso - in termini di media ponderata per ogni caso (es. per descrivere una persona e confrontarla con altre) Punto critico = molto sensibile alla scala di misura delle variabili (se domande diverse con scale diverse non paragonabili) Metodo molto elementare vediamo metodi più sofisticati

35 I valori fattoriali: metodo di regressione Diverse tecniche per definire il punteggio fattoriale - equazione - bs coefficiente di valore fattoriale calcolato con metodo di regressione: - il peso fattoriale è aggiustato per considerare l iniziale correlazione tra variabili - la differenza nelle scale di misura è neutralizzata

36 I valori fattoriali: metodo di regressione METODO: -B = matrice dei coefficienti di valore fattoriale = R-¹ * A dove: R-¹ = inversa di matrice di correlazione A = matrice dei pesi fattoriali Concetto = dividiamo i pesi fattoriali per i coefficienti di correlazione B = matrice risultante (relazione tra ogni variabile e ogni fattore, considerando la relazione originaria tra coppie di variabili) B rappresenta una misura della relazione unica tra variabili e fattori

37 Es I valori fattoriali: metodo di regressione - Le matrici riportano stesso tipo informazioni date dai pesi fattoriali e dai coefficienti di punteggio - Cambia il peso (perché consideriamo la relazione tra variabili)

38 I valori fattoriali: metodo di regressione I valori ottenuti da B possono essere inseriti nelle equazioni : Es Con tali equazioni è possibile descrivere una persona rispetto alla domanda di ricerca iniziale. -Tale tecnica per ottenere valori fattoriali ha come risultato valori con : media = 0 ; varianza = (score scorei)^2 -Punto debole = i valori possono essere correlati con più fattori

39 I valori fattoriali: altri metodi Per ovviare alla correlazione possibile nel metodo di regressione Diversi aggiustamenti 2 i principali : 1) metodo Barlett (fattori; punteggi fattoriali multicollinearità) 2) metodo Anderson-Rubin (punteggi fattoriali non correlati e standardizzati. Media = 0; std=1) quale metodo utilizzare? Tabachnick e Fidell (2011) - se necessità di non correlazione = A.R. - altrimenti regressione (per interpretazione)

40 I valori fattoriali: utilizzo Definizione = Il valore fattoriale è un punteggio composito per ogni individuo su un particolare fattore (o dimensione) UTILIZZI: -Riduzione del database - condurre analisi con fattori (non con variabili originarie) -Risolvere la collinearità per la regressione multipla

41 INDIVIDUARE I FATTORI

42 Individuare i fattori Punto situazione: 1. Concetto di fattore 2. Sua rappresentazione grafica 3. Sua rappresentazione algebrica 4. Costruzione di un valore/punteggio composito che rappresenta la performance di un caso (individuo) in un singolo fattore COME INDIVIDUARE I FATTORI?

43 Individuare i fattori: scelta del metodo Tinsley & Tinsley (1987): 2 elementi cruciali nella scelta del metodo a) Se vogliamo generalizzare o no b) Esplorazione dati o conferma ipotesi (es. confirmatory factor analysis : Pedhazur e Shmelkin 1991, cap.23) Risultati al campione (metodi descrittivi) Generalizzazione (metodi inferenziali) Esplorare dati Confermare ipotesi PCA base Confirmatory factor analysis PCA -ripetute analisi su diversi campioni rivelano stessa struttura fattoriale, oppure -Casi selezionati casualmente e variabili rappresentano la popolazione di variabili di interesse (solo var. misurate) (es. Max. Likelihood method Harman, 1976; Kaiser Method su dipendenza dei fattori). Confirmatory factor analysis Scelta del metodo dipende dall obiettivo

44 Individuare i fattori: le comunalità Definizione di comunalità: Logica della comunalità: Nella matrice R è possibile calcolare il valore della variabilità (ovvero la varianza) per ogni variabile.

45 Individuare i fattori: le comunalità Logica della comunalità: Varianza per ogni variabile La varianza totale di ogni variabile ha due componenti: una parte è specifica di quella variabile (varianza unica, con una componente di errore definita varianza random) una parte è condivisa con le altre variabili (varianza comune) La proporzione di varianza comune presente in una variabile è nota come COMUNALITA Varia da 1 a 0: - 0 = variabile che non condivide varianza con altre variabili - 1 = variabile che non ha varianza unica Noi siamo interessati a trovare dimensioni comuni sottostanti nei dati raccolti = = siamo interessati alla varianza in comune (comunalità)

46 Individuare i fattori: le comunalità Prima di eseguire la PCA dovremmo conoscere la varianza in comune empasse Risoluzione del problema: 2 opzioni - assumiamo che tutta VARIANZA sia varianza comune (comunalità =1) - stimiamo la comunalità per ogni variabile Possiamo usare le informazioni contenute in R² per ogni variabile Es. Multipla lm usando selfish come Y e tutte le altre variabili come Xi R² associato è una misura di comunalità di selfish. Si ripete per tutte le variabili. Da qui procediamo con L ESTRAZIONE FATTORIALE

47 BOX DI APPROFONDIMENTO 1. ANALISI DELLA VARIANZA IN PRATICA : ANOVA spiegazione alla lavagna del significato pratica in R e discussione dei risultati

48 ANOVA = analisi di varianza Es. in analisi di regressione Nell output di regressione vediamo R² (la % di variabilità in Y spiegata da Xi) e R (la correlazione semplice tra due variabili) Chiediamo a output.regressione di riportare ANOVA (ovvero l analisi della varianza) Vengono riportati: SST, SSR e SSE Proviamo in R per interpretare i risultati ANOVA indica se il modello ha un buon grado di significatività nel predire la variabile Y MANOVA = quando osserviamo modelli con risposte multiple Quando le Xi variano insieme per spiegare la medesima Y = ANCOVA Pratica di analisi di varianza in R

49 Letture consigliate Field, A. (2002) Discovering statistics using SPSS (2 ed.) Sage publication. Chap 15. Lattin, J. Et al. (2005) Analyzing Multivariate Data. Chap 4.