Risultato di una rilevazione statistica effettuata su n unità statistiche con riferimento a p fenomeni (detti anche caratteri, variabili)

Transcript

1 LA MATRICE DEI DATI Risultato di una rilevazione statistica effettuata su n unità statistiche con riferimento a p fenomeni (detti anche caratteri, variabili) Esempi di: unità variabili individui Reddito, sesso, titolo di studio imprese Fatturato, addetti, ragione sociale comuni Ampiezza dem., regione, presenza di stazione ferr..

2 Questionario - Indagine su reddito, consumo e fruizione dei quotidiani in Emilia Romagna Tipo di variabile I caratteri (variabili) possono essere o qualitativi (sconnessi o ordinali) o quantitativi (discreti o continui) Fenomeno indagato VARIABILI Possibili risposte MODALITA. sesso maschio femmina 2. età (in anni compiuti) Quantitativo 3. titolo di studio elementare media inferiore diploma laurea dottorato TIPO DI VARIABILE Qualitativo sconnesso (dicotomico) Qualitativo ordinabile (politomico) 4. reddito mensile (in euro) Quantitativo 5. consumo mensile (in euro) Quantitativo 6. acquista almeno un quotidiano al giorno? si no Qualitativo sconnesso (dicotomico) 2

3 Si possono codificare le modalità di variabili qualitative: Sesso M=0; F= Titolo di studio Elem.=, Media inf.=2, Media sup.=3, Laurea=4, Dottorato=5 Acquisto quotidiano SI=; NO=0 Matrice dei dati X= Dimensioni 0 x 6 N. B. : le variabili quantitative non sono espresse nella stessa unità di misura (anni, euro ) 3

4 MATRICE dei dati X, di dimensioni n x p ( n righe e p colonne) x xi xn x x x s is ns x p xip xnp Notiamo che i =,,n unità s=,,p variabili matrice X - unità x variabile Matrice composta da n vettori riga: ad ogni riga, x i, corrisponde una unità (elemento del campione o della popolazione studiata) e la riga i-esima fornisce le modalità osservate dei p caratteri per l unità statistica i-sima; p vettori colonna: ad ogni colonna corrisponde un carattere, una variabile, e la colonna s-esima X fornisce la distribuzione delle modalità della variabile s fra le n unità statistiche; s l elemento x is all interno della matrice rappresenta il valore del carattere s nella i-esima unità statistica. 4

5 Con riferimento alla matrice dei dati possiamo analizzare: un singolo fenomeno (analisi di tipo unidimensionale, riferita alla singola variabile) attraverso l'uso di medie, indici di variabilità, ecc.): Qual è l'età media con riferimento alle 0 unità in oggetto? E quale il consumo medio mensile? due fenomeni e la relazione che li lega (analisi di tipo bidimensionale): Che relazione c'è tra età e consumo? una pluralità di fenomeni (analisi multidimensionale o multivariata generalizzazione di quella bidim.) Ci occuperemo dell'analisi MULTIDIMENSIONALE DEI DATI i cui obiettivi si possono sintetizzare nei seguenti punti: sintesi delle relazioni tra le p variabili analisi della dipendenza lineare e non lineare di una variabile rispetto a p covariate misura della diversità/somiglianza tra le n unità statistiche, con riferimento ai p fenomeni indagati classificazione delle unità in gruppi omogenei ricerca di regole discriminanti tra due o più gruppi, sulla base di una pluralità di fenomeni 5

6 RAPPRESENTAZIONE GRAFICA DELLE UNITA' secondo le VARIABILI (quantitative) Supponiamo di aver osservato il reddito e il consumo di 3 unità statistiche (in euro): unità Reddito mens. Consumo mens X= x Media Possiamo rappresentare le 3 unità statistiche in R 2 : consumo reddito 6

7 Per p variabili: SPAZIO DELLE UNITA nella matrice unità x variabile, i vettori riga di dimensione p possono essere rappresentati in R p (spazio a p dimensioni, delle unità o degli individui) Due o più unità saranno tanto più simili, in relazione alle variabili considerate, quanto più sono vicine nello spazio delle unità. Possiamo individuare il vettore delle medie delle p variabili detto centroide (o baricentro): [ x,, ] x =, x s, x p nell'esempio: x = [ 07, 767] consumo reddito 7

8 LA MATRICE DEGLI SCOSTAMENTI (O SCARTI) DALLA MEDIA variabile X s, di tipo quantitativo, consideriamo gli scarti dalla media: ~ x = x x X = per i =,, n s=,, p ~ [ ] is is s Nell'esempio: unità Scarto riferito al Reddito mens. Scarto riferito al Consumo mens = = = = = = 33 x~ is Matrice X ~ degli scarti dalla media: L'impiego di X ~ equivale a considerare in R p un nuovo sistema di assi cartesiani, uguale a quello dei dati originari se non per l'origine che, in tale nuovo sistema, è nel centroide: la nuvola di punti presenta il medesimo aspetto, è l'origine degli assi che si sposta nel punto che ha come coordinate le medie delle p variabili 8

9 LA MATRICE DEGLI SCARTI STANDARDIZZATI Per ogni variabile, consideriamo gli scarti standardizzati, cioè gli scarti dalla media in rapporto allo scarto quadratico medio: z is x x σ is s is = = per i =,, n s ~ x σ s Matrice degli scarti standardizzati: [ ] Z = i=,, n s=,, p z is Caratteristiche delle p variabili considerate nella matrice Z (p scostamenti standardizzati), cioè dei vettori colonna z s: sono numeri puri, cioè non hanno unità di misura e non risentono dell'ordine medio di grandezza della variabile originaria hanno media pari a 0 e varianza pari ad 9

10 Perché consideriamo la matrice degli scarti standardizzati? Essa consente di analizzare congiuntamente variabili che hanno, in origine, diversa unità di misura e/o diverso ordine medio di grandezza/variabilità trasformandole in variabili che non hanno unità di misura e stesso ordine medio di grandezza/var.. sono confrontabili,5 Matrice Z riferita all'esempio precedente: scost. stand. consumo 0,5 0-0,5 - -,5 -,5 - -0,5 0 0,5,5 scost. stand. reddito 0

11 LA MATRICE DI COVARIANZA E LA MATRICE DI CORRELAZIONE Misura la relazione lineare tra due variabili di tipo quantitativo Consideriamo due generici vettori colonna della matrice X, x s ed x k (di dim. n x), che contengono i valori delle p variabili, con riferimento ad n unità. I dati sono rappresentati dalle coppie di valori is ik Si definiscono gli scarti dalle rispettive medie s is s ( x, x ) i =,, n ɶ xɶ k = xik xɶ k x = ( x x) ( ) Se a valori di x k maggiori (minori) della media corrispondono valori di x s maggiori (minori) della media, allora si dice che tra le due variabili esiste una relazione diretta la maggior parte degli scarti x~ k e x~ s ha lo stesso segno concordanza tra le var. Se a valori di x k maggiori (minori) della media corrispondono valori di x h minori (maggiori) della media, allora si dice che tra le due variabili esiste una relazione inversa la maggior parte degli scarti x~ k e x~ s ha segno opposto discordanza tra le var.

12 Una misura sintetica della relazione LINEARE tra le due variabili è la covarianza (media aritmetica dei prodotti degli scarti) s = cov( X, X ) = ( x x )( x x ) sk s k n n i= is s ik k (la troveremo indicata anche come σ sk ) Si noti che n s k = var( X ) = ( x x ) n (la troveremo indicata anche come σ k ) La COVARIANZA: k ik k i= è positiva se a valori crescenti di X s si associano valori crescenti di X k (analogamente se a valori decrescenti di X s si associano valori decrescenti di X k ). è negativa se a valori crescenti di X s si associano valori decrescenti di X k (e viceversa). cresce in valore assoluto quanto più è forte la relazione lineare tra le variabili. è tanto più piccola e vicina allo zero in assenza di una relazione lineare tra le due variabili. 2

13 Esempio di relazione non lineare non individuabile attraverso la Covarianza: (,3) (2,2) (3,) (4,) (5,2) (6,3) Cov(X s, X k )=0!!! Cov( X s, X k ) 0, non consente di stabilire l entità del legame (la covarianza non è un numero puro): per ottenere un indice normalizzato occorre rapportare la covarianza al suo massimo E noto che: cov 2 ( X, X ) s k var( X ) var( X cov( X, X ) var( X )var( X ) s k s k s k ) 3

14 quindi possiamo definire il coefficiente di correlazione (lineare) cov( X s, X k) corr( X s, X k) = corr( X s, X k) var( X s)var( X k) ssk r sk = r sk s s s k rsk r=- : i dati sono allineati su una retta con coefficiente angolare negativo (perfetta rel. lineare inversa) r sk = : i dati sono perfettamente allineati su una retta con coefficiente angolare positivo (perfetta rel. lineare diretta) r sk =0 : non c è associazione lineare tra le due variabili -< r sk <0 : esiste associazione (lineare) negativa tra le due variabili, cioè al crescere dell una decresce l altra; 0< r sk <: esiste associazione (lineare) positiva, cioè al crescere dell una cresce anche l altra; 4

15 Si noti che: Cov( Z, Z ) Corr ( X, X ) s k s k Correlazione spuria: può manifestarsi tra variabili per cui r 0 ma non vi è una effettiva relazione Con riferimento alla matrice X dei dati originari, consideriamo la covarianza tra tutte le possibili coppie di variabili (in numero pari a p x p): ( X s X k ) ssk Cov =, per s,k =,, p e il coefficiente di correlazione tra tutte le possibili coppie di variabili: ( X s X k ) rsk Corr =, per s, k =,, p 5

16 LA MATRICE DI COVARIANZA Possiamo riorganizzare le p x p covarianze nella matrice di covarianza: S X 2 s s2 s k s p 2 s2 s2 = 2 sk sk 2 sp sp è una matrice quadrata di dim. p x p s, k k, s, è una matrice simmetrica in quanto Cov( x x ) = Cov( x x ) s k sulla diagonale principale ha le varianze in quanto Cov( x x ) = Var( x ) s s, la matrice di covarianza può essere ottenuta in funzione della matrice degli scarti dalla media: ~ ~ S X = X X n s s 6

17 LA MATRICE DI CORRELAZIONE R r = r2 r k r p r2 = rs rss = rsk rp rpp = è una matrice quadrata di dim. p x p è una matrice simmetrica in quanto rsk = rks s, k sulla diagonale principale ha valori pari ad La matrice di correlazione può essere ottenuta in funzione della matrice degli scarti standardizzati: R = Z n Z 7

18 Strumento molto importante dell'analisi multidimensionale dei dati: pone in luce le relazioni lineari tra tutte le coppie di variabili. Più in dettaglio tale matrice ci indica: quali coppie di variabili forniscono all'incirca le medesime informazioni ( r sk ), in tal caso la considerazione di entrambe le variabili potrebbe portare ad una ridondanza di informazioni oppure una di queste due variabili potrebbe risultare utile per "prevedere" l'altra (analisi di regressione) quali coppie di variabili non sono correlate linearmente ( r sk 0) - caso in cui le due variabili portano informazioni diverse 8

19 Esempio Consideriamo i dati relativi alle variabili quantitative Età, Reddito e Consumo riferite all esempio precedente: Matrice dei dati (0 x 3) X= Matrice di Covarianza (3 x 3) Matrice di Correlazione (3 x 3) ,67-0,072 S = R= 0,67 0, ,072 0,596 9

20 ETÀ REDDITO CONSUMO 20

21 LA MATRICE DELLE DISTANZE/DISSOMIGLIANZE Consideriamo il concetto di prossimità/diversità tra unità statistiche prossimità = somiglianza = similarità (tuttavia, quest'ultimo termine ha un significato ben preciso ) diversità = dissomiglianza = dissimilarità La prossimità viene definita tra coppie di individui matrice di dim. n x n Indici di prossimità: distanze per variabili quantitative similarità per variabili qualitative 2

22 distanza La distanza tra due generiche unità statistiche i e j sarà, in generale, calcolata con riferimento a due vettori riga della matrice X, x i e x j : d ( x, x ) = d per i, j = n i j ij,, MATRICE DELLE DISTANZE di dim. n x n: D = d = d 2 di dn 0 d 2 0 d j d ij d n 0 ma non abbiamo ancora definito d ij.. 22

23 Alcuni tipi di distanza LA DISTANZA EUCLIDEA Consideriamo il reddito ed il consumo mensile con riferimento ai primi 2 individui (esempio ): (050, 800) (000, 900) ( x js, x jk ) ( x is, xik ) Xk consumo xik xjk xis xjs Xs reddito 23

24 Distanza euclidea tra i due individui, con riferimento a due variabili, reddito e consumo: ( ) 2 + ( ) 2 =,8 2 2dij = ( xis x js ) + ( xik x jk ) 2 Con riferimento a p variabili: p 2d = ( x ij s= is x js ) 2 Con riferimento alle variabili Età, Reddito e Consumo (Esempio ): Matrice delle distanze Distanza euclidea Questa è una matrice di dissimilarità Attenzione!!! Questa matrice presenta un problema: le variabili non sono espresse nella stessa unità di misura le distanze calcolate risentono di tale problema. 24

25 LA DISTANZA DI MINKOWSKI Definizione più generale, distanza di ordine q: q d ij p = xis x s= js q q q Attenzione: le somme considerate, e, quindi, le relative distanze, hanno senso solo se tutte le variabili sono espresse nella stessa unità di misura Anche in tal caso, tuttavia, le distanze considerate non sono del tutto appropriate per misurare la diversità tra le unità in quanto esse risultano influenzate dai caratteri con più elevato ordine di grandezza e maggiore variabilità (che presentano differenze preponderanti rispetto alle altre) Ad esempio X = ( ) X2 = ( ) d 2 2 =((45-43)2 +( ) 2 ) /2 =5000 il peso di X sul calcolo di d è trascurabile! Come superare tale problema? 25

26 Ad esempio, calcolando le distanze con riferimento agli scarti standardizzati Z: Cas o Matrice delle distanze ,44 2,8 2,77 2,54 4,5,93 2,72 2,59,5,44 2,58 2,73 2,69 3,95,65 2,64 2,27,95 2,8 2,58 3,27 2,43,45,94 2,08,75,78 2,77 2,73 3,27 2,56 3,8 2,58,44 3,2 3,03 2,54 2,69 2,43 2,56 3,05 2,34,65 2,87 2,37 4,5 3,95,45 3,8 3,05 3,30 2,48,97 3,20,93,65,94 2,58 2,34 3,30 2,9,67,52 2,72 2,64 2,08,44,65 2,48 2,9 2,28 2,46 2,59 2,27,75 3,2 2,87,97,67 2,28,57,5,95,78 3,03 2,37 3,20,52 2,46,57 Questa è una matrice di dissimilarità Distanza euclidea anche se la standardizzazione attenua le differenze 26

27 Distanza di Mahalanobis Consente di eliminare la correlazione tra le variabili: M d ij = [( ) ( )] x x S x x 2 i j i j coincide con la dist. euclidea su var. stand. incorrelate Le distanze ponderate Nel caso in cui si voglia attribuire diversa importanza ad ogni variabile (anche se la determinazione dei pesi lascia ampi margini alla soggettività). Distanza di MINKOWSKI PONDERATA Definizione più generale, distanza di ordine q: q q = p q q d ij xis x js ws in cui w s è il peso attribuito alla variabile s-sima s= 27

28 RELAZIONE TRA ) DISTANZA EUCLIDEA CALCOLATA TRA LE SINGOLE OSSERVAZIONI ED IL PUNTO MEDIO E 2) DEVIANZA (NUMERATORE DELLA VARIANZA) Con riferimento alle p variabili (s=,,p) consideriamo i valori medi x s (vettore dei valori medi): x = ( x x,, ), 2,, x s x p centroide M(X 2 ) M(X ) 28

29 Somma delle Devianze riferite alle p variabili = somma delle distanze euclidee al quadrato tra le singole osservazioni ed il centroide x: p n s= i= n p ( x x ) = ( x x ) = d ( i,x ) is s i= s = is s n 2 i= INDICI DI SIMILARITA' S ij Per fenomeni dicotomici (.=presenza, 0=assenza ) Supponiamo di considerare p caratteri dicotomici. La misura della similarità tra due unità statistiche i e j si basa sulla seguente tabella i \ j 0 tot a = n. di fenomeni presenti contemp. nelle 2 unità (co-presenze) a b a+b d = numero di fenomeni assenti in entrambe le unità (co-assenze) 0 c d c+d b = numero di fenomeni presenti in i ma non in j tot a+c b+d p c = numero di fenomeni presenti in j ma non in i a e d segnalano similarità (anche se a concorre maggiormente a definire la similarità) b e c segnalano dissimilarità 29

30 Esempio Con riferimento a due città osserviamo la presenza dell'aeroporto (AP), della stazione ferroviaria (SF), dell'ingresso in autostrada (IA), del porto (P) -- Si noti che sono possibili più risposte.(simile a più variabili di tipo dicotomico) AP SF IA P Città 0 0 Città 2 0 c b a c Città \ città 2 0 tot tot 3 4 alcuni indici a Indice di similarità di Russel e Rao: S ij = = / 4 p 30

31 a Indice di similarità di Jaccard 2 S ij = = / 4 a + b + c (usato se le co-assenze sono ritenute poco significative) PER FENOMENI POLITOMICI (AD ES.: TITOLO DI STUDIO) E' necessario innanzitutto passare ad una codifica di tipo disgiuntivo di ognuna delle variabili qualitative. In questo caso le co-assenze non hanno nessun significato e quindi gli indici da impiegare sono quelli che valutano la similarità sono in funzione delle co-presenze (I. di Jaccard) Ci sono alcuni indici che valutano la somiglianza con riferimento a variabili quantitative e qualitative considerate congiuntamente 3