SDE Marco Riani

Transcript

1 SDE 018 Marco Riani

2 ANALISI DELLE CORRISPONDENZE Problema della riduzione delle dimensioni L ANALISI DELLE COMPONENTI PRINCIPALI per una matrice di dati quantitativi L ANALISI DELLE CORRISPONDENZE per una tabella di contingenza

3 RIEPILOGO DELLE CP Matrice nxp, con variabili tutte quantitative OBIETTIVO: Date p variabili (correlate) si vogliono ottenere k (k<<p) indicatori di sintesi (le CP) ortogonali (non correlati) VALIDITA DEL MODELLO: la quota (percentuale) di varianza totale spiegata deve essere elevata (>095 p soglia minima di accettabilità)

4 RAPPRESENTAZIONE CONGIUNTA DI VARIABILI E UNITA : IL BIPLOT Nel caso di CP estratte: Rappresentazione nel piano cartesiano dei p vettori (recce) corrispondenti alle variabili Rappresentazione nel piano cartesiano degli n punti corrispondenti ai punteggi (scores) delle unità

5 SCOPI DELL ANALISI DELLE CORRISPONDENZE Studio congiunto di righe e colonne d una tabella di contingenza r x c con variabili nominali o ordinali (con numero di righe e colonne elevato) Condizione necessaria: esistenza di associazione signiicativa tra le variabili Relazioni tra trasormazioni delle righe e della colonne della tabella: proili riga e proili colonna

6 Esempio Analisi della tabella di contingenza tra proessione e tipo di acquisto prevalente per un campione di clienti di un centro commerciale (ile corrispxlsx)

7

8 MASSE E PROFILI Masse = requenze relative marginali: i = n i / n (r= vettore che contiene le masse di riga) j = n j / n (c= vettore che contiene le masse di colonna) Proilo della riga i-esima: vettore di ij / i matrice dei proili riga (ProileRows) Proilo della colonna j-esima: vettore di ij / j matrice dei proili colonna (ProileCols)

9 V File di Excel Nella matrice dei proili riga le masse di colonna ( j ) sono interpretabili come «il proilo medio di riga» r i= 1 ij i i = j = 1,, In termini matriciali = ProileRows *c j c

10 V File di Excel Nella matrice dei proili colonna le masse di riga ( i ) sono interpretabili come «il proilo medio di colonna» i c = ij j = 1,, c j j= 1 j

11 PROFILI COLONNA La massa dei proili colonna indica che la maggior parte degli acquisti eettuati nel centro commerciale dal campione in esame, viene eettuata quotidianamente, con una percentuale del 415%, mentre il tipo di acquisto che pesa meno è rierito agli acquisti in occasione di ricorrenze, che mostra una massa pari all 85%

12 Proili riga e colonna L analisi dei proili riga può essere considerata come lo studio di r punti in uno spazio a c-1 dimensioni L analisi dei proili colonna può essere visto come lo studio di c punti in uno spazio a r-1 dimensioni

13 Matrici Dr e Dc DD rr = matrice diagonale di dimensione rr rr contenente le masse di riga rr ii lungo la diagonale principale DD cc = matrice diagonale di dimensione c cc contenente le masse di colonna cc ii lungo la diagonale principale

14 Output ACP Analogamente a quanto prodotto dall analisi in componenti principali, l analisi delle corrispondenze ornisce: autovalori, che sono il quadrato di valori singolari (la cui somma è chiamata inerzia ); percentuale di varianza spiegata (detta percentuale di inerzia spiegata ); actor loadings (correlazione tra i proili di riga e colonna con gli assi principali); scores dei proili di riga e colonna sugli assi principali; comunalità (percentuale di inerzia spiegata dai proili riga e proili colonna)

15 PRINCIPI FONDAMENTALI L operazione di centratura non a altro che rimuovere i centroidi delle righe e delle colonne e deve essere interpretata alla stregua dell operazione di calcolo degli scostamenti dalla media aritmetica per un insieme di variabili quantitative ij i Le requenze relative marginali di riga (colonna) possono essere interpretate come i centroidi (proili medi) di colonna (riga) j

16 PRINCIPI FONDAMENTALI Centratura e normalizzazione della tabella di contingenza di dimensioni r x c (p 74): S = [ ] s ij = ij i i j j S = D 1/ ( P rc' ) D 1/ r c

17 Relazione tra la matrice S e l indice Χ /nn S = [ ] s ij = ij i i j j χ = r c i= 1 j= 1 ( * n n ) ij n * ij ij r c χ = n i= 1 j= 1 ( * ) ij * ij ij Dato che * = i j i j La somma dei quadrati degli elementi della matrice S =Χ /nn

18 INERZIA V = min φ [( r 1),( c 1) ] 0 1

19 Il massimo valore che può assumere l inerzia è dato da min(r-1,c-1) Nella nostra tabella 13 x 4 che stiamo analizzando, il valore massimo possibile dell inerzia è uguale a 3

20 DISTANZA TRA PROFILI Per studiare le relazioni congiunte tra proili riga e colonna è necessario introdurre una distanza tra le due nuvole di punti La distanza euclidea tra i proili riga (colonna) non è soddisacente poiché attribuisce un peso uguale a tutte le colonne (righe) d E ( i, i * ) c n = n ij n j = 1 i i i n * * j

21 Metrica (distanza) del chi-quadrato Si vuole invece attribuire un peso rilevante alle colonne in cui vi è una grande distanza tra due punti riga, anche se il totale di colonna è piccolo Tra due proili riga: ormula (76) d χ ( i, i * ) c = n n n n ij n j = 1 j i i i n * * j

22 Metrica (distanza) del chi-quadrato Tra due proili colonna: ormula (77), ), ( 1 * * * = = j ij j ij i r i n n n n n n j j d χ

23 Distanza dal proilo medio (di riga) Distanza (con la metrica del chi-quadrato) di ogni proilo di riga dal proilo medio (ponderato) di riga misura di quanto i proili individuali si scostano dal proilo medio 1 1 ), ( = = = = = = j i ij j c j i j i i ij j c j i ij i ij j c j n n n n n n i i d χ

24 Nel nostro esempio i proili riga che si discostano di più dalla media sono Imprenditore commerciante e studente

25 Distanza dal proilo medio (di riga) Una media ponderata di scostamenti al quadrato dalla media, rappresenta ondamentalmente la varianza totale della tabella di contingenza inerzia r = (massa di riga i ) i= 1 [ ] r [ ] χ d ( i, i) = d ( i, i) i = χ χ i= 1 n Inerzia totale = misura del grado di dispersione attorno al proilo medio

26 Distanza dal proilo medio (di colonna) Tutto quello che abbiamo visto prima per le righe vale anche per le colonne V Implementazione ile Excel Inerzia totale = misura del grado di dispersione attorno al proilo medio

27 Obiettivo dell analisi S = [ ] s ij = ij i i j j S 1/ 1/ = D ( P rc' ) D r c l nostro obiettivo è cercare la matrice X che rende minima la somma dei quadrati della matrice S-X, in simboli min X S - X

28 Obiettivo dell analisi Dato che la somma dei quadrati della matrice S (inerzia totale), può essere scritta in unzione della matrice di corrispondenza P come media ponderata nelle metriche deinite da unzioni delle matrici D r e D c occorre generalizzare la scomposizione in valori singolari al caso in cui le righe e le colonne della matrice presentino un diverso peso

29 Passi della procedura Svd di D -1/ (P rc' ) D -1/ = r c S S k = γ υ h= 1 h h v ' h, Coordinate di riga y = D ( r ) 1/ h r γ u Coordinate di colonna y = D h ( c ) 1/ h c h γ h v h

30 BONTA DELL ANALISI Contributo della i-esima componente all inerzia totale: (λ i / inerzia) 100 Le prime due componenti devono spiegare una percentuale elevata dell inerzia

31 INTERPRETAZIONE DEL RIASSUNTO DEI PROFILI RIGA Masse (di riga) Punteggio (scores) dei proili (saranno rappresentati nel biplot) Contributo di ogni riga all inerzia totale Contributo del punto all inerzia della dimensione (servono per interpretare gli assi) PUNTI DOMINANTI Contributo della dimensione all inerzia del punto = quota di spiegazione dell inerzia del punto passando dallo spazio originario a R

32 Varianza ponderata della dimensione h-esima coincide con l autovalore h-esimo = inerzia della dimensione h-esima λ h = r i= 1 ( ( r) ) ( ( c) ) ih i = y jh j y j= 1 c Il contributo di ogni punto (riga) all inerzia della dimensione h-esima è dato da ( r) ( y ih ) i I contributi più alti vengono λh chiamati punti dominanti

33 Varianza ponderata della dimensione h-esima coincide con l autovalore h-esimo = inerzia della dimensione h-esima y ( r ) = D 1/ h r γ h u h

34 Contributo dei punti all inerzia delle dimensioni analizzate Totale dei contributi delle dimensioni all inerzia del punto (=distanza al quadrato del punto dal proilo medio) comunalità ( ( r) ) yih = cos ω d i

35 Contributo dei punti all inerzia delle dimensioni analizzate ( ( r) ) yih = cos ω d i Contributo per una dimensione alto l angolo tra il vettore del punto e l asse è piccolo il punto è situato nella direzione dell asse alta correlazione con la dimensione

36 Interpretazione degli assi Contributo colonna j- Contributo colonna esima all'asse 1 j-esima all'asse Last minute Giornaliero Ricorrenze Settimanale Asse orizzontale: dimensione associata ad un tipo di acquisto non pianiicato Asse verticale: acquisti con cadenza ragionata

37 ESEMPI DI ANALISI DELLE CORRISPONDENZE

38

39 Il oglio "dati" contiene le risposte da un questionario riguardante la marca di dentiricio utilizzata dai rispondenti appartenenti a 4 regioni italiane Un campione casuale di 1576 individui ha risposto alla seguente domanda Quale tipo di dentiricio utilizzi (DENTIFRICIO)? Marca commerciale (A) Marca industriale (B) Il primo che mi capita è indierente (C) 1) Calcolare la tabella di contingenza tra le variabili DENTIFRICIO (righe) e REGIONE (colonne) ) Calcolare la tabella delle requenze teoriche nell'ipotesi di indipendenza tra le variabili: "tipo di dentiricio utilizzato" e "regione di residenza" 3) Calcolare il valore del test chi quadrato ed il relativo p-value Commentare il risultato ottenuto Qual è il valore del test chi quadrato che ci attendiamo nell'ipotesi di indipendenza stocastica dei due enomeni 4) Calcolare i proili riga 5) Qual è il proilo riga che si discosta maggiormente dal proilo medio? 6) Eettuare la scomposizione in valori singolari della matrice S 7) Discutere la quota di varianza spiegata dalle prime due dimensioni latenti 8) Trovare le coordinate dei punti riga e colonna da rappresentare nel graico 9) Discutere il primo asse principale dei punti riga 10) Rappresentare simultaneamente gli scores dei punti riga e dei punti colonna e commentare il tipo di dentiricio utilizzato prevalentemente dai residenti in Liguria

40 Dati di partenza e tabella di contingenza

41 Graico delle corrispondenze I liguri utilizzano prevalentemente dentiricio di marca commerciale

42 Esempio da CORBELLINI A, RIANI M, DONATINI A (008) Multivariate Data Analysis Techniques to Detect Early Warnings o Elderly Frailty STATISTICA APPLICATA vol 0, pp PDF Campione di 374 anziani della provincia di Parma Obiettivo: analizzare le relazione tra la variazione dello stato di salute e il grado di «isolamento» dell anziano

43 Tabella di contingenza di partenza Improved Stable Slightly worse Serious deteriorat ion RowTotal Absent Low Medium High ColTotal

44 Analisi preliminare

45

46 Asymmetric correspondence analysis: proile coordinates plot

47

48