Esplorazione grafica di dati multivariati. N. Del Buono

Transcript

1 Esplorazione grafica di dati multivariati N. Del Buono

2 Scatterplot Scatterplot permette di individuare graficamente le possibili associazioni tra due variabili Variabile descrittiva (explanatory variable) Variabile suscettibile (response variable) Associazione positiva trend in salita Associazione negativa trend in discesa Nessun trend mancanza di associazione

3 Scatterplot Un insiemedidatimultivariaticon piùdidue variabili gli scatter plot possono essere ottenuti da ciascuna coppia di variabili Si ottiene cosi la matrice degli scatterplot matrice simmetrica pxp di scatterplot bivariati le p righe e p colonne corrispondono a ciascuna variabile Lo scatterplot è simmetrico rispetto la diagonale, quindi nella cella ij la variabile j è disegnata rispetto la variabile i. La stessa variabile compare nella cella ji in cui gli assi x ed y sono scambiati

4 Esempio di utilizzo del toolbox Scatterplot: IRIS data L esempio riguarda la classificazione di tre tipi di fiori iris: Setosa, Versicolor, Virginica. Iris Setosa Iris Versicolor Iris Virginica

5 Esempio di utilizzo del toolbox Scatterplot: IRIS data Il dataset è costituito da 150 esempi di iris catalogati in base ad una analisi di 4 attributi (variabili di input): Lunghezza e larghezza dei sepali (elementi costitutivi del calice del fiore) Lunghezza e larghezza dei petali (elemento costitutivo della corolla del fiore). Ogni campione del data set è un vettore di 5 dimensioni (4 variabili continue, 1 categorica): Esempio di pattern (campione): attributi dei fiori (input) classe (output) Iris-virginica

6 Scatterplot: IRIS data Esempio di scatterplot bivariato (lungh. Sepali, lungh. Petali)

7 Scatterplot matrix: IRIS data

8 Box-and-Whisker Plots (boxplot) Un metodo per rappresentare un insieme di dati multivariati è quello di utilizzare un box-and-whisker plot. Box-and-whisker plots sono utili per interpretare la possibile distribuzione dei dati. I grafici Box-and-whisker utilizzano : Mediana : separa i dati in due parti uguali Quartili: separano i dati in 4 parti uguali primo quartile la mediana della parte inferiore dei dati Secondo quartile equivalente alla mediana Terzo quartile la mediana della parte superiore dei dati

9 Costruire un box-and-whisker plot Variabile: punteggi studenti dati: 80, 75, 90, 95, 65, 65, 80, 85, 70, 100 Ordinare i dati in ordine crescente Determinare il primo quartile, la mediana, il terzo quartile, il più grande ed il più piccolo valore: mediana = 80 primo quartile = 70 terzo quartile = 90 Valore minimo = 65 Valore massimo = 100

10 Costruire un box-and-whisker plot 65, 65, 70, 75,80, 80, 85, 90, 95,100 Primo quartile Mediana (secondo quartile) Terzo quartile

11 Outlier: Casi Speciali

12 Box-and-whisker plot: IRIS data

13 Co-plot Un grafici di tipo conditioning (coplot) è un metodo di visualizzazione grafica che permette di evidenziare come una response variable dipende da una explanatory variable date altre variabili descrittive. Coplot sono formati da un insieme di scatter plot di una variabile rispetto una singola variabile descrittiva Ciascun scatterplot corrisponde ad un particolare range di valori di una seconda variabile descrittiva

14 Co-plot I grafici sono organizzati in diversi modi Frequentemente si visualizzano utilizzando: Given panels: intervalli di variabilità della variabile descrittiva condizionata Dependence panels: scatterplot bivariati della variabile suscettibile rispetto le restanti variabili descrittive

15 Co-plot e diagrammi di Trellis I co-plot sono degli esempi di visualizzazioni grafiche più generali note come diagrammi di Trellis. Diagrammi (o grafici) di Trellis permettono di esaminare visualmente l esistenza di strutture nei dati mediante l utilizzo di grafici 1D,2D o 3D. I diagrammi di Trellis permettono di visualizzare le relazioni all interno di larghi dataset distinguendo diversi gruppi.

16 Diagrammi di Trellis Multipanel conditioning Visualizzazione del cambiamento delle relazioni tra due variabili in funzione di una o più variabili condizionate Rappresentazione di diversi tipi di grafici in un range di valori relativo alle variabili selezionate.

17 Diagramma di Trellis: Iris Data Esempio di diagramma di Trellis Grafico 3D lunghezza dei sepali (asse x), larghezza dei sepali (asse y) larghezza dei petali (asse z) Condizionato alla: Lunghezza dei petali Specie di fiore

18 Diagramma di Trellis: Iris Data setosa setosa Petal L.: [ ] Petal L.: [ ] versicolor versicolor Petal L.: [ ] Petal L.: [ ]

19 Analisi delle componenti principali (Applicazione al dataset degli Iris)

20 Principal component analysis (PCA) L idea principale su cui si basa l PCA è quella di rappresentare un insieme di dati multivariati con un numero inferiore di variabili non correlate che siano ottenute da una particolare combinazione lineare delle variabili originali e che riassumano le caratteristiche dei dati La riduzione di dimensionalità genera inevitabilmente una perdita di informazioni Generalmente si associa tale perdita con il rumore racchiuso nei dati il cui contenuto informativo è trascurabile Il metodo PCA cerca di proiettare dei dati multidimensionali in uno spazio di dimensione minore conservando al massimo la variazione dei dati originali

21 Quando utilizzare la PCA PCA è utilizzata in più modi all interno di un processo di data mining: Può costituire (in alcuni casi) una tecnica di data-mining; È utilizzata come metodo di interpretazione e visualizzazione grafica (specialmente se si riduce la dimensionalità a 2 o 3) per scoprire ed evidenziare strutture nei dati; Utilizzata nella fase di pre-processing per trasformare i dati originali in nuovi dati di input per altre tecniche di datamining Il numero delle variabili descrittive (explanatory) è elevato rispetto al numero dei campioni. Le variabili descrittive sono altamente correlate. PCA è una tecnica per ridurre la dimensionalità dei dati

22 Matrici di Covarianza e Correlazione Sia X la matrice dei dati strutturati di dimensione nxp X = x... x 11 n x x 1p... np La matrice di Covarianza è data da: S = n 1 1 X T X = n i= 1 n i = 1 x i1... x ip x x i1 i n i = 1 n i= 1 x... x i1 ip x x ip ip = s... s 11 p s... s 1 p pp

23 Matrici di Covarianza e Correlazione La matrice di Correlazione: s1 p 1... s11s pp 1/ 2 1/ 2 R = = ( diag ( S)) S( diag ( S)) s p s11s pp La matrice di correlazione si ottiene dalla matrice di covarianza normalizzata tramite I sui elementi diagonali Le matrici S ed R sono simmetriche definite non-negative

24 PCA: Iris dataset cov (X) = [ ] corrcoeff (X) = [ ]

25 PCA: Iris dataset [PC, LATENT, EXPLAINED] = pcacov (S) PC componenti principali (autovettori di S) LATENT autovalori di S EXPLAINED percentuale della varianza totale Matrice di covarinza dei dati autovalori % % % % percentuale della varianza

26 PCA: Iris dataset scree plot