Analisi Multivariata Prova finale del 3 giugno 2010

Transcript

1 Analisi Multivariata Prova finale del 3 giugno 2010 Esercizi da svolgere con carta e penna Esercizio A A1 Descrivere brevemente qual è l obiettivo principale dell analisi fattoriale. A2 Scrivere il modello fattoriale ortogonale e le ipotesi di base ad esso relative. A3 Scrivere la struttura della matrice di covarianza derivante dal modello fattoriale ortogonale. A4 Illustrare brevemente il problema della non unicità della scomposizione della matrice di covarianza derivante dal modello fattoriale. A5 Derivare la formula che esprime la correlazione tra le variabili originali e i fattori latenti. A6 Scrivere l espressione dei factor loadings derivati dal metodo di stima delle componenti principali. A7 Spiegare brevemente il problema dell identificazione del modello fattoriale e il vincolo che è necessario imporre per ottenere le stime di massima verosimiglianza. Esercizio B Si consideri la seguente matrice dei dati relativa a quattro unità statistiche, due variabili quantitative X 1 e X 2, e due variabili dicotomiche X 3 e X B1 Calcolare la distanza tra le 4 unità in base alle variabili X 1 e X 2 utilizzando come indice di distanza: (i) la distanza euclidea, e (ii) la distanza euclidea standardizzata. Confrontare i risultati ottenuti e spiegare brevemente le differenze esistenti tra i due indici di distanza. B2 Considerando le sole variabili X 3 e X 4 utilizzare un indice di similarità per valutare quali sono le due unità statistiche più vicine, valutando in egual modo i confronti 1-1 e

2 B3 Se doveste valutare la distanza tra le quattro unità utilizzando tutte e quattro le variabili, quale indice di distanza o di similarità utilizzereste? Scrivere la formula dell indice prescelto e motivare la risposta fornita. B4 In generale, quali proprietà deve soddisfare un indice di distanza? Esercizi da svolgere con il computer Esercizio C Il file bostonh.xls contiene i dati raccolti dall U.S Census Service sulla situazione abitativa nell area di Boston. L archivio contiene 506 osservazioni relative alle sezioni di censimento dell area metropolitana di Boston. Le variabili registrate nell archivio sono riportate nella tabella seguente. Escludere dalle analisi richieste la variabile CHAS. variabile descrizione CRIM tasso di criminalità pro-capite per città ZN proporzione di zone residenziali di area superiore a 25,000 sq.ft. INDUS proporzione di acri non destinati al commercio CHAS Charles River (= 1 se area in riva al fiume; 0 altrimenti) NOX concentrazione di ossido di azoto (parti per 10 milioni) RM numero medio di stanze per abitazione AGE proporzione di unità abitative occupate costruite prima del 1940 DIS distanza ponderata rispetto a 5 centri lavorativi in Boston RAD indice di accessibilità all autostrada TAX tassa di proprietà per $10,000 PTRATIO rapporto docente/studenti per città B 1000(Bk 0.63) 2 dove Bk è la proporzione di popolazione afro-americana LSTAT % di popolazione disagiata MEDV valore mediano delle abitazioni occupate in proprietà in migliaia di dollari C1 Procedere all analisi fattoriale dei dati standardizzati utilizzando il metodo delle componenti principali per scegliere il numero di fattori che consente il miglior adattamento del modello. Motivare la risposta. C2 Stimare il modello con il metodo della massima verosimiglianza, utilizzando il numero di fattori scelto al passo precedente. I punti seguenti fanno riferimento al modello stimato con il metodo della massima verosimiglianza. C3 Calcolare le stime delle varianze specifiche e delle comunalità. C4 Calcolare la proporzione di varianza totale spiegata dai fattori comuni. C5 Ruotare i fattori utilizzando il criterio VARIMAX per trovare una soluzione con una struttura semplice dei fattori. 2

3 C6 Provare a fornire un interpretazione dei fattori ruotati. C7 Calcolare i punteggi fattoriali relativi alla soluzione scelta e rappresentare graficamente le unità statistiche nel piano fattoriale generato dai primi 2 fattori. C8 Calcolare la matrice delle correlazioni residue. C9 Come è possibile valutare la bontà di adattamento del modello? Esercizio D Utilizzando i dati dell esercizio precedente: D1 raggruppare le sezioni di censimento utilizzando il metodo del legame singolo e il metodo del legame completo; D2 costruire i due dendrogrammi e commentare i risultati ottenuti con i due metodi; D3 in quanti gruppi suddividereste le sezioni di censimento? Motivare la risposta. D4 Descrivere le caratteristiche dei gruppi individuati: n. di osservazioni per gruppo, valori medi e deviazioni standard di ciascuna variabile. In che cosa si differenziano maggiormente i gruppi individuati? D5 Utilizzando il metodo K-means raggruppare le osservazioni in K = 2, 3, 4 gruppi e confrontare i risultati con quelli ottenuti con i due metodi gerarchici. 3

4 Soluzione Esercizio A Durante l esame NON sarà possibile consultare libro di testo, dispense e lucidi per rispondere a queste domande. In fase di preparazione controllare le risposte fornite con quanto reperito sul libro di testo e/o sulle dispese e i lucidi. Esercizio B Per questo esercizio i conti possono essere svolti (o controllati) utilizzando SAS (si veda compito sas), purchè nel compito si riportino in dettaglio i commenti e i risultati come di seguito descritto. B1 (i) Date due unità statistiche i e i, e considerando le sole variabili X 1 e X 2, la distanza euclidea è pari a d(i, i ) = (X 1i X 1i ) 2 + (X 2i X 2i ) 2. Calcoliamo la distanza euclidea tra le 4 unità statistiche, e otteniamo la seguente matrice delle distanze (ii) La distanza euclidea standardizzata si ottiene pesando ciascun termine della sommatoria per il reciproco della varianza della variabile corrispondente, oppure calcolando la distanza euclidea tra le variabili standardizzate. Dato che gli elementi (X ji X ji ) 2, j = 1, 2, sono già stati calcolati, risulta più conveniente adottare la formula della distanza euclidea ponderata, con pesi pari al reciproco delle varianze. Calcoliamo la varianza di X 1 e X 2, σ 2 1 = 3.33 e σ 2 2 = 8.66, e otteniamo d(i, i ) = 1 (X σ1 2 1i X 1i ) (X σ2 2 2i X 2i ) 2 Otteniamo quindi la matrice delle distanze euclidee standardizzate L importanza di ogni variabile nella determinazione della distanza è proporzionale alla varianza. Per eliminare l effetto di questa ponderazione implicita possiamo standardizzare le variabili. La standardizzazione elimina l effetto dell unità di misura, pertanto le distanze standardizzate sono numeri puri. 4

5 I due indici forniscono risultati diversi, sia in termini di valori che di ordinamento. B2 Considerando le sole variabili X 3 e X 4 possiamo utilizzare come indice di similarità l indice di Gower s(i, i ) = j c ii j/ j w ii j dove j è l indice riferito alla variabile, quindi j=3,4 nel caso che si sta considerando. Se si pone w ii j = 1 sempre e c ii j = 1 per le coppie conconcordanti, cioè per (1, 1) e (0, 0), e c ii j = 0 per le coppie discordanti, cioè per (1, 0) e (0, 1), si ottiene l indice di Sokal e Michener che valuta in egual modo le coppie (1, 1) e (0, 0): s(i, i ) = [c ii 1 + c ii 2]/2 La matrice di similarità che si ottiene utilizzando questo indice è: B3 Per valutare la distanza tra le quattro unità utilizzando tutte e quattro le variabili, si può utilizzare l indice di similarità di Gower prima definito s(i, i ) = 4 c ii j/ j=1 4 j=1 w ii j con j = 1, 2, 3, 4 e w ii j = 1. Il valore da utilizzare per c ii j corrsiponde a quanto definito in [B2] per le variabili qualitative X 3 e X 4, mentre per le variabili quantitative X 1 e X 2 si pone c ii j = 1 x ij x i j /R j, con R j campo di variazione della variabile X j, j = 1, 2: s(i, i ) = 4 c ii j/4 j=1 B4 Le proprietà che devono essere soddisfatte da un indice di distanza sono le seguenti d(i, i ) 0 non negatività d(i, i ) = d(i, i) simmetria d(i, i ) = 0 sse i e i hanno lo stesso valore per tutte le X d(i, i ) > d(i, i ) i più vicina a i 5

6 Esercizi da svolgere con il computer Esercizio C Si veda il programma SAS compito sas. Nel compito vanno riportati i risultati e, soprattutto, i commenti richiesti. Esercizio D Si veda il programma SAS compito sas. Nel compito vanno riportati i risultati e, soprattutto, i commenti richiesti. 6