Principal. component analysis. Dai volti agli spettri di galassie



Documenti analoghi
Analisi delle componenti principali

Esercizi su Autovalori e Autovettori

Analisi delle componenti principali

Spettroscopia ottica di sorgenti celesti ignote

Probablità, Statistica e Processi Stocastici

Apprendimento Automatico (Feature Selection e Kernel Learning)

Applicazioni della SVD

/05/2014 Riconoscimento facciale 1

Esplorazione grafica di dati multivariati. N. Del Buono

Astrofisica Generale Mod.B

Esercitazione ENS su processi casuali (13 e 14 Maggio 2008)

Istruzioni per l analisi in componenti principali con R

Scopo dello studio. Metodi

Astrofisica Generale Mod.B

L A B C di R. Stefano Leonardi c Dipartimento di Scienze Ambientali Università di Parma Parma, 9 febbraio 2010

Il Modello della Analisi Fattoriale Esplorativa e i Metodi di Classificazione Automatica (Analisi di Raggruppamento)

Tecniche Biometriche Combinate nei Processi di elearning ed evoting

/05/2013 Riconoscimento facciale 1

Computazione per l interazione naturale: modelli a variabili latenti (clustering e riduzione di dimensionalità)

ANALISI MULTIDIMENSIONALE DEI DATI (AMD)

Classificazione delle coniche.

Università degli Studi di Bergamo Modulo di Geometria e Algebra Lineare (nuovo programma) 2 settembre 2013 Tema A

STATISTICA MULTIVARIATA SSD MAT/06

UNIVERSITÀ DEGLI STUDI DI FIRENZE. Registro dell'insegnamento

Metodi per la riduzione della dimensionalità. Strumenti quantitativi per la gestione

Università degli Studi di Bergamo Modulo di Geometria e Algebra Lineare (vecchio programma) 2 settembre 2013 Tema A

Riconoscimento automatico di oggetti (Pattern Recognition)

Rappresentazione dei dati multivariati

Analisi delle corrispondenze

Computazione per l interazione naturale: Richiami di algebra lineare

ANALISI DI SERIE TEMPORALI CAOTICHE (1)

ESERCIZIO 1. Vengono riportati di seguito i risultati di un analisi discriminante.

Spettro della galassia di Seyfert NGC 4151

Università degli Studi di Bergamo Corso integrato di Analisi 1 (Geometria e Algebra Lineare) 3 settembre 2009 Tema A

Statistica multivariata 27/09/2016. D.Rodi, 2016

Matematica II, aa

SISTEMI INFORMATIVI GEOGRAFICI IN GEO- LOGIA

Basi e trasformate veloci

Fondamenti di Automatica - Ingegneria Gestionale (H-PO) Prof. Silvia Strada Prima prova in itinere del 25 Novembre 2016 Tempo a disposizione: 1.30 h.

Analisi della correlazione canonica

Richiami. Esercizio 1.1. La radiazione elettromagnetica del corpo nero ha la seguente densità di energia per unità di frequenza

Analisi delle Componenti Principali con R

La matrice delle correlazioni è la seguente:

Argomenti trattati nella settimana novembre Il libro cui faccio riferimento, se non specificato altrimenti, è Lang, Algebra lineare

Dif: Diversity in Faces. Gruppo composto da: Rrokaj Andrea e Piccoli Andrea

Autovalori ed autovettori di un endomorfismo

UTILIZZO DELL ANALISI DELLE COMPONENTI PRINCIPALI (PCA) DI DATI HVSR FINALIZZATO ALLA ZONAZIONE SISMICA

CHEMIOMETRIA. CONFRONTO CON VALORE ATTESO (test d ipotesi) CONFRONTO DI VALORI MISURATI (test d ipotesi) CONFRONTO DI RIPRODUCIBILITA (test d ipotesi)

62 CAPITOLO 3. STATISTICA DESCRITTIVA

PCA: Applicazioni Analisi Esplorativa

Università di Modena e Reggio Emilia Facoltà di Scienze MM.FF.NN. PROVA DI ALGEBRA LINEARE (esercitazione del 18 gennaio 2011)

Alcuni concetti geometrici

mercoledì 13 febbraio 2013 Universo Primitivo Adriano Fontana INAF - Osservatorio Astronomico di Roma Università La Sapienza - Roma

Riduzione di dimensionalità

Alfonso Iodice D Enza

SISTEMI INFORMATIVI GEOGRAFICI IN GEO- LOGIA

PROGRAMMA DEL CORSO DI GEOMETRIA E ALGEBRA. A.A

FONDAMENTI DI ALGEBRA LINEARE E GEOMETRIA INGEGNERIA INDUSTRIALE 27 GENNAIO 2014

Laboratorio di Matematica Computazionale

Analisi in Componenti Principali (ACP)

Corso di Laurea in Informatica Calcolo delle Probabilità e Statistica (269AA) A.A. 2016/17 - Prova del

Pre-elaborazione dei dati (Data pre-processing)

Computazione per l interazione naturale: fondamenti probabilistici (2)

METODI DI CLASSIFICAZIONE. Federico Marini

Geometria Appello I Sessione Invernale Corso di laurea in fisica A.A 2018/2019 Canali A C, L Pa, Pb Z

Analisi delle corrispondenze

REGISTRO DELLE LEZIONI

PROGRAMMA DEL CORSO DI GEOMETRIA E ALGEBRA. A.A

INGEGNERIA EDILE ARCHITETTURA ELEMENTI DI ALGEBRA LINEARE E GEOMETRIA 17 SETTEMBRE 2012

ANALISI MULTIVARIATA. Federico Marini

C.da Di Dio - Villaggio S. Agata Messina Italy P.I c.f AMBIENTE STATISTICO. Release /03/2018.

Capitolo 8 Forme quadratiche e loro applicazioni Esercizi svolti Tutorato di geometria e algebra lineare. Marco Robutti

Computazione per l interazione naturale: processi gaussiani

Varianza totale e generalizzata Analisi Esplorativa

I mostri del cielo incontri con la ricerca

Prova Esame 10 gennaio 08 Risposte agli esercizi d esame. Esercizio 1

Funzione d onda dello stato fondamentale (trascurando l interazione elettrone-elettrone)

AUTOVALORI, AUTOVETTORI, AUTOSPAZI

Corso di Geometria BIAR, BSIR Esercizi 3: soluzioni

Magnitudini e Diagramma H-R Giuseppe Cutispoto

Analisi Discriminante Canonica con R

Statistica multivariata Donata Rodi 21/11/2016

Alcuni concetti. Unità

Operazioni su vettori e matrici

Olimpiadi Italiane di Astronomia MAGNITUDINI

Caso di A non regolare

La statistica multivariata

Fisher Linear discriminant analysis (pag 228)

Misure su pianeti extrasolari e blazars all'oarpaf. Chiara Righi Università degli studi di Genova 24 Settembre 2015

Esercitazione di Matematica Computazionale del 16/12/2008

Sistema DANTE. Scheda prodotto SISTEMA DANTE

CARATTERISTICHE DELLE STELLE

Esame di FONDAMENTI DI AUTOMATICA (9 crediti) SOLUZIONE

Esercizi vari sulle schede di statistica

ha come obiettivo quello di costruire a partire da A una matrice U, m n, che abbia il

Figura 3.1: spettro elettromagnetico

3. Vettori, Spazi Vettoriali e Matrici

RM Formazione dell immagine

Transcript:

Principal component analysis Dai volti agli spettri di galassie

SCOPO: PCA for beginners Ridurre il numero di variabili all interno di una collezione di oggetti per descriverli piu facilmente, sulla base delle caratteristiche ricorrenti.

PCA for beginners Caso bidimensionale:

PCA for beginners Caso bidimensionale:

Caso bidimensionale: PCA for beginners come ottengo le principal components?

Caso bidimensionale: PCA for beginners 1. sottraggo la media

Caso bidimensionale: PCA for beginners 2. Calcolo la matrice di covarianza 3. Ricavo gli autovettori e gli autovalori. La prima componente e l autovettore legato all autovalore piu alto

Caso N-dimensionale: PCA for beginners Ora posso proiettare i miei punti sulla nuova base, formata dai 2 autovettori. Ci sono applicazioni N- dimensionali, in cui le prime 3 o 4 componenti sono molto piu significative delle altre N-4.

Caso N-dimensionale: PCA for beginners Posso descrivere tutto il set N-dimensionale avvalendomi solo di poche componenti. Es. Ogni oggetto nel campione potra essere descritto come combinazione lineare di pochi autovettori, tramite opportuni coefficienti.

UN PAIO DI APPLICAZIONI 1. Riconoscimento facciale

COMPUTER VISION I volti hanno in comune molte caratteristiche (2 occhi, naso, bocca ) Tramite la PCA si possono ottenere degli autovettori per un insieme di volti, chiamati eigenfaces I volti devono essere fotografati con le stesse condizioni di luce e devono essere posizionati con le caratteristiche fisiognomiche allineate il piu possibile tra loro. Ogni riga della mia matrice rappresentera un immagine La matrice di covarianza avra la dimensione della singola immagine, e cosi gli autovettori

COMPUTER VISION I volti hanno in comune molte caratteristiche (2 occhi, naso, bocca ) Tramite la PCA si possono ottenere degli autovettori per un insieme di volti, chiamati eigenfaces I volti devono essere fotografati con le stesse condizioni di luce e devono essere posizionati con le caratteristiche fisiognomiche allineate il piu possibile tra loro. Ogni riga della mia matrice rappresentera un immagine La matrice di covarianza avra la dimensione della singola immagine, e cosi gli autovettori

COMPUTER VISION eigenfaces Ognuno dei volti del campione potra essere descritto come es. 75%eigenface1 + 5%eigenface2 + 10%eigenface3 +. E ricostruito tramite un opportuna combinazione

COMPUTER VISION Se uso poche autofacce, posso ricostruire uno dei volti di partenza in modo sempre piu preciso all aumentare delle immagini di partenza

COMPUTER VISION Se uso poche autofacce, posso ricostruire uno dei volti di partenza in modo sempre piu preciso all aumentare delle immagini di partenza

COMPUTER VISION Se uso poche autofacce, posso ricostruire uno dei volti di partenza in modo sempre piu preciso all aumentare delle immagini di partenza

COMPUTER VISION Se uso poche autofacce, posso ricostruire uno dei volti di partenza in modo sempre piu preciso all aumentare delle immagini di partenza

COMPUTER VISION: face recognition Tramite le autofacce si puo far riconoscere una fisionomia a una macchina CREAZIONE DEL DATABASE 1. Creo un database di foto

COMPUTER VISION: face recognition Tramite le autofacce si puo far riconoscere una fisionomia a una macchina CREAZIONE DEL DATABASE 1. Creo un database di foto 2. Calcolo le autofacce principali

COMPUTER VISION: face recognition Tramite le autofacce si puo far riconoscere una fisionomia a una macchina CREAZIONE DEL DATABASE 1. Creo un database di foto 2. Calcolo le autofacce principali

COMPUTER VISION: face recognition Tramite le autofacce si puo far riconoscere una fisionomia a una macchina CREAZIONE DEL DATABASE 1. Creo un database di foto 2. Calcolo le autofacce principali (in generale una quarantina)

COMPUTER VISION: face recognition Tramite le autofacce si puo far riconoscere una fisionomia a una macchina CREAZIONE DEL DATABASE 1. Creo un database di foto 2. Calcolo le autofacce principali 3. Calcolo i coefficienti della combinazione lineare per ogni foto nel database

COMPUTER VISION: face recognition Tramite le autofacce si puo far riconoscere una fisionomia a una macchina RICONOSCIMENTO 1. Modifico la foto da riconoscere 2. Ne calcolo i coefficienti sulla base delle autofacce 3. Confronto i coefficienti ottenuti con quelli registrati nel database

UN PAIO DI APPLICAZIONI 1. Riconoscimento facciale

UN PAIO DI APPLICAZIONI 1. Riconoscimento facciale 2. Astrofisica

ASTROFISICA: gli spettri Gli spettri elettromagnetici delle galassie (o delle stelle) hanno diverse caratteristiche ma sono accomunati dallo stesso processo generativo. Dagli anni 50 la PCA si applica con successo a 1. classificazione di spettri stellari o galattici 2. ricostruzione di porzioni di spettro danneggiate dal rumore o assenti per questioni di redshift 3. pulizia statistica degli spettri dal rumore

ASTROFISICA: gli spettri Spettri in una survey portati a rest frame e normalizzati Matrice dei dati: spettri sulle righe Ogni spettro rappresenta una diversa realizzazione per le diverse lunghezze d onda in un range prestabilito

ASTROFISICA: gli spettri Matrice di covarianza Autovettori o autospettri Con cui posso descrivere tutta la survey. Quanti sono? Me ne bastano pochi?

ASTROFISICA: gli Autospettri VIPERS: redshift survey appena conclusa a ESO VLT, circa 100000 spettri a 0.5 < z < 1. ( (www.vipers.inaf.it) eigenspectra

ASTROFISICA: gli Autospettri VIPERS: redshift survey appena conclusa a ESO VLT, circa 100000 spettri a 0.5 < z < 1. ( (www.vipers.inaf.it) 3 autospettri!!!! 90% della survey No rumore eigenspectra

ASTROFISICA: gli Autospettri Ogni spettro puo essere descritto tramite 3 coefficienti Posso usare questa combinazione lineare per: 1.RIPARARE GLI SPETTRI DOVE NON HO SEGNALE 3.0 10 18 2.5 2.0 flux 1.5 1.0 0.5 original 0.0 3500 4000 4500 5000 5500 wavelength

ASTROFISICA: gli Autospettri Ogni spettro puo essere descritto tramite 3 coefficienti Posso usare questa combinazione lineare per: 1.RIPARARE GLI SPETTRI DOVE NON HO SEGNALE 0.040 3.0 10 18 normalized flux flux 0.035 2.5 0.030 2.0 0.025 1.5 0.020 1.0 0.015 0.010 0.5 repaired original 0.005 3500 4000 4500 5000 5500 wavelength

ASTROFISICA: gli Autospettri Ogni spettro puo essere descritto tramite 3 coefficienti Posso usare questa combinazione lineare per: 2.RIPULIRE STATISTICAMENTE GLI SPETTRI DAL RUMORE 0.040 3.0 10 18 normalized flux flux 0.035 2.5 0.030 2.0 0.025 1.5 0.020 1.0 0.015 0.010 0.5 repaired projected original 0.005 3500 4000 4500 5000 5500 wavelength

ASTROFISICA: gli Autospettri Ogni spettro puo essere descritto tramite 3 coefficienti Posso usare questa combinazione lineare per: 3.CLASSIFICARE GLI SPETTRI

ASTROFISICA: gli Autospettri Ogni spettro puo essere descritto tramite 3 coefficienti Posso usare questa combinazione lineare per: 3.CLASSIFICARE GLI SPETTRI Coefficienti della Combinazione lineare in coordinate sferiche

ASTROFISICA: gli Autospettri nota bene Non sempre la fase di pulizia rispecchia la forma piu probabile dello spettro senza rumore, es. AGN 0.045 0.040 VIPERS original PCA projected relative flux 0.035 0.030 0.025 0.020 0.015 0.010 3500 4000 4500 5000 5500 wavelength [Å] I primi autospettri non contengo info sugli spettri rari.

ASTROFISICA: gli Autospettri nota bene Non sempre la fase di pulizia rispecchia la forma piu probabile dello spettro senza rumore, es. AGN 0.045 0.040 VIPERS original PCA projected relative flux 0.035 0.030 0.025 0.020 0.015 0.010 3500 4000 4500 5000 5500 wavelength [Å] I primi autospettri non contengo info sugli spettri rari. Sulla base del χ 2 del cleaning posso selezionare automaticamente gli AGN!!

ASTROFISICA: gli Autospettri di cielo Se invece creiamo la matrice dei dati lasciando gli spettri in observed frame: 1. il segnale dello spettro sara statisticamente smorzato 2. la componente di cielo sara dominante 3. gli autospettri rappresenteranno la componente di cielo Sky eigenspectra

ASTROFISICA: gli Autospettri di cielo Se invece creiamo la matrice dei dati lasciando gli spettri in observed frame: 1. il segnale dello spettro sara statisticamente smorzato 2. la componente di cielo sara dominante 3. gli autospettri rappresenteranno la componente di cielo Sky eigenspectra Anche in questo caso ne bastano 3!!

UN PAIO DI APPLICAZIONI 1. Riconoscimento facciale 2. Astrofisica

UN PAIO DI APPLICAZIONI 1. Riconoscimento facciale 2. Astrofisica 3. Altre applicazioni

ALTRE APPLICAZIONI!! Neuroscienza Biologia Farmacia Agricoltura Ecologia Salute Architettura Finanza Taxonomia

ALTRE APPLICAZIONI!! Neuroscienza Biologia Farmacia Agricoltura Ecologia Salute Architettura Finanza Taxonomia GRAZIE!