Riduzione di dimensionalità

Transcript

1 Riduzione di dimensionalità SCUOLA DI SPECIALIZZAZIONE IN FISICA MEDICA Corso di Sistemi di Elaborazione dell Informazione Prof. Giuseppe Boccignone Dipartimento di Informatica Università di Milano Modelli per la riduzione di dimensionalità

2 Dimensionality reduction Analisi per componenti principali Principal Component Analysis (PCA) Trovare un piccolo numero (dimensione) di direzioni che spiega le correlazioni nei dati di input: lo spazio latente Si possono rappresentare i dati proiettandoli su tali direzioni I dati sono continui, il mapping tra lo spazio latente e lo spazio dei dati osservati è lineare Utile per:

3 Analisi per componenti principali //Descrizione intuitiva N vettori di dati di dimensionalità D:, Spazio di proiezione (latente) di dimensionalità k<<d Si cercano le direzioni ortogonali di massima varianza Analisi per componenti principali //Descrizione intuitiva N vettori di dati di dimensionalità D:, Spazio di proiezione (latente) di dimensionalità k<<d Si cercano le direzioni ortogonali di massima varianza La struttura dei vettori è rappresentata nella matrice di covarianza empirica Le direzioni cercate sono gli autovettori di C

4 Esempio Analisi per componenti principali //Descrizione intuitiva Si selezionano gli autovettori di C Si proiettano i vettori di input nel sottospazio: Si puo ricostruire x usando K autovettori

5 Analisi per componenti principali //Descrizione intuitiva Analisi per componenti principali //Descrizione intuitiva Calcolo della base Proiezione e ricostruzione

6 Esempio: PCA Analisi per componenti principali //Esempi Dati input D= Autovettori (K=48)

7 Analisi per componenti principali //Esempi K=10 K=100 PCA (1) //Direzione di massima varianza Consideriamo il mapping dallo spazio latente x a y Trovare w in maniera da massimizzare var(y) sotto il vincolo Si può dimostrare che w* è autovettore di C

8 PCA (2) //Minimizzazione dell errore di ricostruzione Consideriamo il mapping dallo spazio latente x a y Vogliamo minimizzare l errore quadratico di ricostruzione Risolvendo per alfa e sostituendo Con il vincolo Modelli a variabili latenti lineari //PCA probabilistica (PPCA) Si utilizza un modello generativo

9 Modelli a variabili latenti lineari //PCA probabilistica (PPCA) Si utilizza un modello generativo Modelli a variabili latenti lineari //PCA probabilistica (PPCA) Stima di ML: Expectation-Maximization

10 Modelli a variabili latenti non lineari //ICA: Independent Component Analysis Noto anche come Blind Source Separation o Blind Signal Separation Modelli a variabili latenti non lineari //ICA: Independent Component Analysis

11 Esempio: demixing con ICA (fastica) Modelli a variabili latenti non lineari //ICA: intuizione Noto anche come Blind Source Separation o Blind Signal Separation Supponiamo di avere due segnali 1D (rappresentati in 2D) z_1 z_2

12 Modelli a variabili latenti non lineari //ICA: intuizione Noto anche come Blind Source Separation o Blind Signal Separation Mixiamo le due sorgenti 1D (rappresentati in 2D) x_1 x_2 Modelli a variabili latenti non lineari //ICA: intuizione Noto anche come Blind Source Separation o Blind Signal Separation Mixiamo le due sorgenti 1D (rappresentati in 2D) e otteniamo i segnali x_1 x_2

13 Modelli a variabili latenti non lineari //ICA: intuizione Noto anche come Blind Source Separation o Blind Signal Separation Decorrelazione dei segnali sbiancando white_x_1 white_x_2 Modelli a variabili latenti non lineari //ICA: intuizione Noto anche come Blind Source Separation o Blind Signal Separation Gaussianità dei dati sbiancati (teorema del limite centrale) white_x_1 white_x_2

14 Modelli a variabili latenti non lineari //ICA: intuizione Noto anche come Blind Source Separation o Blind Signal Separation ICA ruota i dati decollati in maniera tale da minimizzare la Gaussianità ICA_z_1 ICA_z_2 Modelli a variabili latenti non lineari //ICA: formalmente. Noto anche come Blind Source Separation o Blind Signal Separation Si utilizza un modello generativo o più semplicemente mixing matrix #sorgenti = #sensori

15 Modelli a variabili latenti non lineari //ICA: formalmente. Modelli a variabili latenti non lineari //ICA: formalmente.

16 Modelli a variabili latenti non lineari //ICA: Independent Component Analysis Noto anche come Blind Source Separation o Blind Signal Separation Modelli a variabili latenti non lineari //ICA: Independent Component Analysis Si utilizza un modello generativo BSS = stimare mixing matrix #sorgenti = #sensori

17 Modelli a variabili latenti non lineari //ICA: Independent Component Analysis Si utilizza un modello generativo BSS = stimare mixing matrix #sorgenti = #sensori PCA ICA Modelli a variabili latenti non lineari //ICA: Independent Component Analysis ICA PCA

18 Modelli a variabili latenti non lineari //ICA: Independent Component Analysis Modelli a variabili latenti non lineari //ICA: Stima di massima verosimiglianza log-likelihood

19 Modelli a variabili latenti non lineari //ICA: Stima di massima verosimiglianza log-likelihood Dati sbiancati: ortogonale Modelli a variabili latenti non lineari //ICA: fastica Minimizzo sotto il vincolo che sia ortonormale Minimizzo funzione obiettivo Newton-Raphson fastica

20 Modelli a variabili latenti non lineari //ICA: Stima di massima verosimiglianza Minimizzo sotto il vincolo che sia ortonormale Minimizzo funzione obiettivo distribuzione di Laplace distribuzione logistica Modelli a variabili latenti non lineari //ICA: Applicazioni

21 Modelli a variabili latenti non lineari //ICA: Applicazioni Modelli a variabili latenti non lineari //ICA: Applicazioni