Statistica multivariata Donata Rodi 21/11/2016

Transcript

1 Statistica multivariata Donata Rodi 21/11/2016

2 PCA Tecnica di riduzione delle dimensioni che descrive la struttura multivariata dei dati per analisi descrittive e inferenziali Descrive la variazione di un gruppo di dati multivariati correlati (X) in funzione di variabili latenti non correlate (Y), le Componenti Principali (o Scores) Per variabili quantitative Es. 10 variabili, 100 persone: dati!!!

3 PCA vs Analisi Fattoriale Tecniche strettamente correlate PCA: scinde i dati in componenti principali Analisi Fattoriale: identificazione di fattori di fondo (dimensioni sottese) che spieghino i dati, riduzione della dimensione dello spazio di rappresentazione PCA: unico risultato FA: più modelli per un unico data set

4 PCA

5 PCA Ipotesi: i valori di p variabili originarie sono determinate da un più piccolo numero di variabili indipendenti tra loro Y: combinazione lineare delle variabili X Y1: a11x1 + a12x2+ + a1pxp Y2: a21x1 + a22x2+ + a2pxp Yk: ak1x1 + ak2x2+ + akpxp Yn: an1x1 + an2x2+ + anpxp

6 PCA Ogni componente viene derivata in ordine di importanza decrescente La prima componente Y1 spiega la quota più alta di variazione nei dati originali Scopo: ottenere un piccolo gruppo di variabili per riassumere i dati (le prime PC), con la minor perdita di informazioni possibile Controllo del trade off tra perdita di informazioni e semplificazione del problema

7 Matrice di Correlazione Se la quota di varianza in comune è sufficiente, occorrono poche PC Occorre costruire una Matrice di Correlazione tra tutte le coppie di variabili R di Pearson tra le variabili Range: -1.0 a +1.0 Question 1 - ARI Question 2 - VI Question 3 - SL Question 4 - ARI Question 5 - VI Question 1 - ARI Question 2 - VI Question 3 - SL Question 4 - ARI Question 5 - VI

8 Verifica della validità del dataset KMO Indice di adeguatezza del campionamento Confronta I valori di correlazione tra le variabili e quelli delle correlazioni parziali Più sono vicini a 1, meglio lavora la PCA 0.70: adeguato Bartlett s test Test di Sfericità basato sul chi quadro Rifiuto di H0: mancanza di sufficiente correlazione tra le variabili Testa se la matrice di correlazione differisce dalla matrice identità ovvero se c è ridondanza tra le variabili che vengono sintetizzate nei pochi fattori Perfetta correlazione: basta un fattore Kaiser-Meyer-Olkin Measure of Sampling Adequacy..861 Bartlett's Test of Sphericity Approx. Chi-Square df 990 Sig..000

9 PCA: autovalori e autovettori Ogni componente principale è rappresentata da un autovalore λ Si hanno tanti autovalori quante sono le variabili X Ognuno degli autovalori p rappresenta la quantità di varianza standardizzata catturata da una componente

10 PCA: autovalori e autovettori A ogni autovalore è associato un autovettore in cui sono riportati i pesi componenziali (component loadings): esprimono il peso di ogni variabile rispetto alle PC Equivalenti ai coefficienti bivariati di correlazione lineare tra variabili e componenti L autovettore principale dalla scomposizione dei vettori della matrice di correlazione o della covarianza descrive una serie di combinazioni lineari non correlate delle variabili che contengono la maggior parte della varianza

11 Estrazione delle Componenti principali Da p variabili: p component (non correlate) La prima PC spiega la quantità di varianza maggiore possibile La seconda cattura il più possibile di quanto rimasto, e cosi via La prima componente viene estratta dalla matrice di correlazioni originale, la seconda da quella delle correlazioni ottenuta depurando la quota di varianze e covarianze riprodotta dalla prima componente principale Segue che le PC sono ortogonali e riproducono in ordine decrescente la massima quota di varianza ottenibile

12 Estrazione delle Componenti principali

13 Estrazione della Componente principale 2 Ogni variabile ha una varianza standardizzata a 1 La varianza standardizzata totale nelle p variabili = p Tutta la varianza dei dati viene estratta Per ogni componente, la proporzione di varianza estratta = autovalore / p Sommando gli autovalori (dalla matrice delle correlazioni) si ottiene la varianza totale della matrice di correlazioni originaria Rapporto autovalore/varianza totale * 100: percentuale di varianza riprodotta da ogni componente principale

14 Quante componenti tenere? Spesso si mantiene un set più piccolo di PC in una regressione lineare o logistica per evitare problemi di multicollinearità Vari approcci: Componenti con autovalori 1 (contributo significativo ai dati) Regola dell 80%: componenti che spiegano almeno l 80% della varianza totale Scree test: in grafico autovalori con il rispettivo numero di componenti, si mantiene il numero di PC prima del break in the plot (es. al cambio di pendenza)

15 PCA: requisiti Non devono essere correlate Cov(Yk, Yk) = 0 Devono essere ordinate in base alla quantità di variabilità complessiva che ciascuna può sintetizzare V(Y1) V(Y2) V(Yp) La variabilità dei due sistemi di riferimento deve coincidere Le variabili X sono tra loro correlate: sistema ridondante, è sufficiente considerare le prime m PC (m<p)

16 PCA: requisiti Ogni asse rappresenta una componente Asse x: prima componente Asse y: componente successiva Assi da -1 a +1 (campo di variazione dei pesi componenziali): semiasse positivo (da 0 a +1) e negativo (da -1 a 0) Il punto di intersezione (0,0) è il baricentro

17 Steps in PCA 1. Preparazione della matrice dati 2. Matrice di correlazione dati osservati 3. Verifica statistica per la validità del dataset per PCA (KMO, Bartlett s) 4. Estrazione dei fattori 5. Rotazione dei fattori 6. Assegnazione dei nomi ai fattori 7. Interpretazione dei punteggi dei fattori

18 Esempio 2

19 Variabile latente Variabile latente: non misurabile direttamente ma in modo indiretto attraverso alcune variabili osservate Es. Intelligenza: memoria a breve termine, capacità di parola, scrittura, lettura, abilità di comprensione etc. Soddisfazione del paziente: variabile latente Risposte su scala Likert, punteggio da 1 a 5 Sottogruppo di variabili latenti per aspetti specifici di quella generale

20 Esempio N = 10 Score da 0 a 100

21 Matrice dati

22 Esempio 3: scatter plot

23 Esempio 3: matrice di correlazione La varianza totale è pari al numero delle variabili (ogni variabile ha varianza = 1), essendo queste standardizzate Le covarianze sono date dalla matrice di correlazione bivariata tra le stesse Regola pratica: covarianza > 0.3

24 SPSS

25

26 Output

27 Communalities coefficients Quantità di varianza nella variabile influenzata da tutti i fattori Coefficiente maggiore: variabile definite dai fattori Coefficiente minore: variabile non predetta dai fattori Percentuale di variabilità attribuita al modello

28 Varianza spiegata Elenco delle singole componenti (n = numero di variabili) con autovalori e varianza spiegata Criterio di Kaiser: si mantengono solo le componenti con autovalori maggiori di 1

29 Scree plot Pesi delle PC senza rotazione

30 Output Piccoli residui: poca differenza tra le correlazioni riprodotte e la correlazione realmente osservate tra le variabili Fino a che punto le componenti importanti riescono a spiegare le correlazioni osservate tra le variabili?

31 Output

32 Output La rotazione distribuisce l importanza dei due fattori in modo simile Dipende dall estrazione di un appropriato numero di fattori

33 Output Quantità di rotazione dei fattori Cos 45 = 0,707

34 Output: plot variabili/pc PC 1: outgoingness (estroversione, avventura, socializzazione PC2: Neuroticism (ansia, agorafobia, aracnofobia)

35 Output Es. n8: sul primo fattore, basso in ogutgoingness sul secondo fattore, basso in neuroticism

36 Esempio Studio sul fitness: 9 componenti principali X1: Weight X2 Height X3: Age X4: Waist X5: cigerettes/day X6: Systolic Blood Pressure X7: Daistolic Blood Pressure X8: Pulse rate X9: Respiratory rate

37 Esempio Extraction folder Principal Componentes Unrotated factor solution

38 Estrazione: ogni variabile ha lo stesso peso

39 Varianza Totale Spiegata: quota di variabilità spiegata dalle singole componenti

40 Contributo di ogni variabile a ogni componente (da 7 a 9, escluse) La componente 1 ha un contributo simile da tutte le variabili: descrive il punteggio unfitness PCA 2: peso negativo su alcune variabili (caratteristiche fisiche) La prima componente fornisce la media pesata dei dati

41 Template I, score folders, template III Save the variables, regression Vengono generate 9 variabili nuove

42 Scatter Plot delle due componenti principali

43 Scree plot