Riduzione di dimensionalità SCUOLA DI SPECIALIZZAZIONE IN FISICA MEDICA Corso di Sistemi di Elaborazione dell Informazione Prof. Giuseppe Boccignone Dipartimento di Informatica Università di Milano boccignone@di.unimi.it http://boccignone.di.unimi.it/fismed_2015.html Modelli per la riduzione di dimensionalità
Dimensionality reduction Analisi per componenti principali Principal Component Analysis (PCA) Trovare un piccolo numero (dimensione) di direzioni che spiega le correlazioni nei dati di input: lo spazio latente Si possono rappresentare i dati proiettandoli su tali direzioni I dati sono continui, il mapping tra lo spazio latente e lo spazio dei dati osservati è lineare Utile per:
Analisi per componenti principali //Descrizione intuitiva N vettori di dati di dimensionalità D:, Spazio di proiezione (latente) di dimensionalità k<<d Si cercano le direzioni ortogonali di massima varianza Analisi per componenti principali //Descrizione intuitiva N vettori di dati di dimensionalità D:, Spazio di proiezione (latente) di dimensionalità k<<d Si cercano le direzioni ortogonali di massima varianza La struttura dei vettori è rappresentata nella matrice di covarianza empirica Le direzioni cercate sono gli autovettori di C
Esempio Analisi per componenti principali //Descrizione intuitiva Si selezionano gli autovettori di C Si proiettano i vettori di input nel sottospazio: Si puo ricostruire x usando K autovettori
Analisi per componenti principali //Descrizione intuitiva Analisi per componenti principali //Descrizione intuitiva Calcolo della base Proiezione e ricostruzione
Esempio: PCA Analisi per componenti principali //Esempi Dati input D= Autovettori (K=48)
Analisi per componenti principali //Esempi K=10 K=100 PCA (1) //Direzione di massima varianza Consideriamo il mapping dallo spazio latente x a y Trovare w in maniera da massimizzare var(y) sotto il vincolo Si può dimostrare che w* è autovettore di C
PCA (2) //Minimizzazione dell errore di ricostruzione Consideriamo il mapping dallo spazio latente x a y Vogliamo minimizzare l errore quadratico di ricostruzione Risolvendo per alfa e sostituendo Con il vincolo Modelli a variabili latenti lineari //PCA probabilistica (PPCA) Si utilizza un modello generativo
Modelli a variabili latenti lineari //PCA probabilistica (PPCA) Si utilizza un modello generativo Modelli a variabili latenti lineari //PCA probabilistica (PPCA) Stima di ML: Expectation-Maximization
Modelli a variabili latenti non lineari //ICA: Independent Component Analysis Noto anche come Blind Source Separation o Blind Signal Separation Modelli a variabili latenti non lineari //ICA: Independent Component Analysis
Esempio: demixing con ICA (fastica) Modelli a variabili latenti non lineari //ICA: intuizione Noto anche come Blind Source Separation o Blind Signal Separation Supponiamo di avere due segnali 1D (rappresentati in 2D) z_1 z_2
Modelli a variabili latenti non lineari //ICA: intuizione Noto anche come Blind Source Separation o Blind Signal Separation Mixiamo le due sorgenti 1D (rappresentati in 2D) x_1 x_2 Modelli a variabili latenti non lineari //ICA: intuizione Noto anche come Blind Source Separation o Blind Signal Separation Mixiamo le due sorgenti 1D (rappresentati in 2D) e otteniamo i segnali x_1 x_2
Modelli a variabili latenti non lineari //ICA: intuizione Noto anche come Blind Source Separation o Blind Signal Separation Decorrelazione dei segnali sbiancando white_x_1 white_x_2 Modelli a variabili latenti non lineari //ICA: intuizione Noto anche come Blind Source Separation o Blind Signal Separation Gaussianità dei dati sbiancati (teorema del limite centrale) white_x_1 white_x_2
Modelli a variabili latenti non lineari //ICA: intuizione Noto anche come Blind Source Separation o Blind Signal Separation ICA ruota i dati decollati in maniera tale da minimizzare la Gaussianità ICA_z_1 ICA_z_2 Modelli a variabili latenti non lineari //ICA: formalmente. Noto anche come Blind Source Separation o Blind Signal Separation Si utilizza un modello generativo o più semplicemente mixing matrix #sorgenti = #sensori
Modelli a variabili latenti non lineari //ICA: formalmente. Modelli a variabili latenti non lineari //ICA: formalmente.
Modelli a variabili latenti non lineari //ICA: Independent Component Analysis Noto anche come Blind Source Separation o Blind Signal Separation Modelli a variabili latenti non lineari //ICA: Independent Component Analysis Si utilizza un modello generativo BSS = stimare mixing matrix #sorgenti = #sensori
Modelli a variabili latenti non lineari //ICA: Independent Component Analysis Si utilizza un modello generativo BSS = stimare mixing matrix #sorgenti = #sensori PCA ICA Modelli a variabili latenti non lineari //ICA: Independent Component Analysis ICA PCA
Modelli a variabili latenti non lineari //ICA: Independent Component Analysis Modelli a variabili latenti non lineari //ICA: Stima di massima verosimiglianza log-likelihood
Modelli a variabili latenti non lineari //ICA: Stima di massima verosimiglianza log-likelihood Dati sbiancati: ortogonale Modelli a variabili latenti non lineari //ICA: fastica Minimizzo sotto il vincolo che sia ortonormale Minimizzo funzione obiettivo Newton-Raphson fastica
Modelli a variabili latenti non lineari //ICA: Stima di massima verosimiglianza Minimizzo sotto il vincolo che sia ortonormale Minimizzo funzione obiettivo distribuzione di Laplace distribuzione logistica Modelli a variabili latenti non lineari //ICA: Applicazioni
Modelli a variabili latenti non lineari //ICA: Applicazioni Modelli a variabili latenti non lineari //ICA: Applicazioni