Percezione e riconoscimento di oggetti

Transcript

1 Percezione e riconoscimento di oggetti Corso di Principi e Modelli della Percezione Prof. Giuseppe Boccignone Dipartimento di Scienze dell Informazione Università di Milano [email protected] Percezione e riconoscimento di oggetti Trovare i bordi Processi di Integrazione e di segmentazione basati sulla texture Assegnazione figura-sfondo Bordi, parti, e interezza delle immagini Riconoscimento di oggetti

2 Percezione e riconoscimento di oggetti //cosa vedete? Percezione e riconoscimento di oggetti //cosa vedete?

3 Percezione e riconoscimento di oggetti //cosa vedete? Percezione e riconoscimento di oggetti //cosa vedete? Perché le cose appaiono come appaiono? La risposta del REALISTA INGENUO è: vedo le cose così perché sono così. Per il REALISTA CRITICO, invece, la percezione è una costruzione attiva alla quale contribuiscono: a) l ambiente fisico (stimoli); b) il sistema percettivo.

4 Percezione e riconoscimento di oggetti //cosa vedete? Percezione e riconoscimento di oggetti //cosa vedete?

5 Percezione e riconoscimento di oggetti //cosa vedete? Percezione e riconoscimento di oggetti //cosa vedete?

6 Percezione e riconoscimento di oggetti //cosa vedete? Percezione e riconoscimento di oggetti //cosa vedete?

7 Percezione e riconoscimento di oggetti //cosa vedete? Percezione e riconoscimento di oggetti //Il paradigma di Marr Stadi di elaborazioni: 1.Determinare le caratteristiche dell immagine ( Lowlevel vision ) 2.Raggruppare le caratteristiche analizzate sopra in oggetti ( Middle vision ) 3.Elaborazione delle rappresentazioni ( High-level vision )

8 Percezione e riconoscimento di oggetti //Il paradigma di Marr High-level Mid-level Low-level Percezione e riconoscimento di oggetti //Il paradigma di Marr

9 Percezione e riconoscimento di oggetti //Visione di basso livello Stadi di elaborazioni: 1.Determinare le caratteristiche dell immagine ( Lowlevel vision ) 2.Raggruppare le caratteristiche analizzate sopra in oggetti ( Middle vision ) 3.Elaborazione delle rappresentazioni ( High-level vision ) Percezione e riconoscimento di oggetti //rilevare i bordi (edges) Cellula semplice

10 Percezione e riconoscimento di oggetti //rilevare i bordi (edges) Caratteristiche non accidentali (ben strutturate) producono indizi sulla struttura di un oggetto Percezione e riconoscimento di oggetti //rilevare i bordi Non così semplice per un calcolatore... Photoshop: find edges

11 Percezione e riconoscimento di oggetti //rilevare i bordi Il triangolo di Kanizsa: //dove sono i bordi per il realista ingenuo?

12 Percezione e riconoscimento di oggetti //rilevare i bordi: i bordi di Kanizsa Percezione e riconoscimento di oggetti //rilevare i bordi: i bordi di Kanizsa

13 Percezione e riconoscimento di oggetti //Visione di medio livello Stadi di elaborazioni: 1.Determinare le caratteristiche dell immagine ( Lowlevel vision ) 2.Raggruppare le caratteristiche analizzate sopra in oggetti ( Middle vision ) 3.Elaborazione delle rappresentazioni ( High-level vision ) Percezione e riconoscimento di oggetti //Visione di medio livello: segmentazione Come si discerne l oggetto che deve essere riconosciuto dal suo sfondo?

14 Percezione e riconoscimento di oggetti //Visione di medio livello: segmentazione La figura qui è marrone o bianca? Il riconoscimento degli oggetti parte prima che l assegnazione figura/sfondo sia finita Percezione e riconoscimento di oggetti //Visione di medio livello: segmentazione Quali cerchi sono figure e quali sono aperture?

15 La psicologia della Gestalt Wertheimer, Köhler, Koffka (1920s 1950s); Palmer and Rock (1990s) Il movimento gestaltico era una risposta alle precedenti teoria della scuola psicologica strutturalista il tutto è più della somma delle singole parti La psicologia della Gestalt //principi fondamentali Principio Pregnanza Prossimità Similarità Chiusura Buona continuità Destino comune Familiarità Definizione dei contorni Ogni configurazione di stimoli è percepita in modo tale che la struttura risultante sia la più semplice possibile. Tendenza degli oggetti vicini ad essere raggruppati insieme in una unità percettiva. Se diversi stimoli sono presentati insieme, c è una tendenza a percepire la forma in modo che gli stimoli simili siano raggruppati insieme. Tendenza ad unire i bordi che sono molto vicini l uno all altro. Gli elementi vicini sono raggruppati insieme quando sono potenzialmente connessi da una linea continua dritta o curva. Gli elementi che si muovono nella stessa direzione sembrano essere raggruppati insieme. Gli elementi hanno una maggiore probabilità di raggrupparsi se i gruppi appaiono familiari o hanno un significato.

16 La psicologia della Gestalt //dai bordi ai contorni: uso dell occlusione La psicologia della Gestalt //Segmentazione della tessitura 1. Si raggruppano insieme gli elementi che sono simili

17 La psicologia della Gestalt //Segmentazione della tessitura 2. Si raggruppano insieme gli elementi prossimali cioè fra loro vicini La psicologia della Gestalt //Segmentazione della tessitura Legge dell esperienza o della familiarità

18 La psicologia della Gestalt //Parallelismo e simmetria Principi di raggruppamento di minor rilievo: si raggruppano insieme gli elementi paralleli e quelli simmetrici La psicologia della Gestalt //Principi di raggruppamento dinamico Destino comune: si raggruppano insieme gli elementi che si muovono nella stessa direzione

19 La psicologia della Gestalt //Principi di raggruppamento dinamico Destino comune: si raggruppano insieme gli elementi che si muovono nella stessa direzione La psicologia della Gestalt //Principi di raggruppamento dinamico Destino comune: si raggruppano insieme gli elementi che si muovono nella stessa direzione

20 La psicologia della Gestalt //Principi di raggruppamento dinamico Sincronia: si raggruppano insieme gli elementi che subiscono un cambiamento allo stesso momento La psicologia della Gestalt //Principi di raggruppamento dinamico

21 La psicologia della Gestalt //Principi di raggruppamento dinamico La psicologia della Gestalt //Principi di raggruppamento dinamico

22 Mimetizzazione: sfrutta i principi della Gestalt Viene prima il tutto o le parti? Effetto della superiorità del contesto globale (Navon, 1977)

23 Percezione e riconoscimento di oggetti //Visione di alto livello Stadi di elaborazioni: 1.Determinare le caratteristiche dell immagine ( Lowlevel vision ) 2.Raggruppare le caratteristiche analizzate sopra in oggetti ( Middle vision ) 3.Elaborazione delle rappresentazioni ( High-level vision )

24 Percezione e riconoscimento di oggetti //Visione di alto livello: il riconoscimento Template matching ingenuo Percezione e riconoscimento di oggetti //Visione di alto livello: il riconoscimento Template matching ingenuo Problema: quanti template?

25 Percezione e riconoscimento di oggetti //Visione di alto livello: il riconoscimento (2D) Template matching: uso di template locali a diversi livelli Percezione e riconoscimento di oggetti //Visione di alto livello: il riconoscimento (3D) Geoni di Biederman

26 Percezione e riconoscimento di oggetti //Visione di alto livello: il riconoscimento (3D) Rappresentare la struttura di un oggetto, non come appare da un certo punto di vista Riconoscimento attraverso le componenti (RBC; Biederman, 1987) Percezione e riconoscimento di oggetti //Visione di alto livello: il riconoscimento (3D)

27 Percezione e riconoscimento di oggetti //Visione di alto livello: il riconoscimento (3D) RBC predice l invarianza del punto di vista Molti studi empirici comunque hanno mostrato l effetto del punto di vista Il riconoscimento dipende dal punto di vista. Percezione e riconoscimento di oggetti //Visione di alto livello: la categorizzazione Quale definizione salta alla mente prima? Il livello di entrata

28 Percezione e riconoscimento di oggetti //Visione di alto livello: la categorizzazione Che cosa sono questi? 1. Livello di entrata: sono uccelli 2. Livello subordinato: passero/struzzo 3. Livello superordinato: animali (Kosslyn 1984)

29 Come mettere insieme il tutto? //modelli fenomenologici: Pandemonium Oliver Selfridge (1959) Un modello base per il riconoscimento delle lettere I demoni rappresentano in maniera sommariai neuroni; Ogni livello rappresenta un diversa area corticale Perception by committee Come mettere insieme il tutto? //modelli fenomenologici: Pandemonium

30 Come mettere insieme il tutto? //oggetti nel cervello Sistema Che Cosa : identificazione delgi oggetti (corteccia IT) Sistema dove/come : localizzazione spaziale degli oggetti/ loro manipolazione (corteccia parietale) Come mettere insieme il tutto? //oggetti nel cervello V1 > 1 gradi 2 V4 4 gradi 2 PIT 16 gradi 2 AIT 150 gradi 2

31 Come mettere insieme il tutto? //oggetti nel cervello: riconoscimento di volti Analisi Speciali potrebbero essere coinvolti nell identificazione di facce Prosopagnosia: Disturbo selettivo per il riconoscimento di facce Come mettere insieme il tutto? //oggetti nel cervello: riconoscimento di volti Può un singolo neurone essere responsabile del riconoscimento di nostra nonna?

32 Come mettere insieme il tutto? //oggetti nel cervello: riconoscimento di volti Sono localizzate in IT, sui bordi e sulle pareti di STS. Lo stimolo ottimale non può essere decomposto in forme più semplici. Le cellule che rispondono alle facce non rispondano a qualsiasi altro tipo di stimolo (tessitura, reticoli, barre e bordi di vari colori). Rispondono ad una varietà di facce: reali, modelli di plastica e immagini video di facce umane e di scimmie Come mettere insieme il tutto? //oggetti nel cervello: riconoscimento di volti Le cellule per le facce rispondere a immagini di facce filtrati passa-basso o passa-alto, e dopo l alterazione del colore, o contrasto. Rispondono anche a una faccia a disegno a linee.

33 Come mettere insieme il tutto? //oggetti nel cervello: riconoscimento di volti Detezione di volti nel Giro Fusiforme Volti invertiti

34 Volti invertiti Volti invertiti

35 Volti invertiti Cosa c è di strano in questa figura? Volti invertiti

36 Volti invertiti Come mettere insieme il tutto? //oggetti nel cervello: riconoscimento di volti La cellula della nonna? Unità all apice della piramide dell elaborazione visiva. Diversi problemi: Il numero degli oggetti è immenso, più grande del numero dei neuroni disponibili. Ci sarebbe bisogno tenere cellule inutilizzate riserva per codificare i nuovi oggetti nel futuro. Il problema dell accesso rapido.

37 Come mettere insieme il tutto? //oggetti nel cervello: riconoscimento di volti Sebbene singole cellule rispondano differentemente a diverse facce, non c è alcuna evidenza che una cellula risponda esclusivamente ad un particolare volto. Le cellule selettive per le facce sembrano costituire una rete distribuita per la codifica dei volti. Sommario I processi precoci estraggano le caratteristiche salienti ( feature ) dall input visivo, successivamente i processi del livello medio organizza le informazioni delle feature in regioni, superfici e oggetti. Commissioni percettive perception committees è una metafora importante: vari processi lavorano indipendentemente, raggiungendo una conclusione (percezione) unica. Esistano processi che dividono l immagine in regioni simile, seguendo leggi specifiche come quelle della Gestalt.

38 Sommario Altri processi determinano la regione figura dallo sfondo, con leggi simili. Ci sono tanti problemi da risolvere, tipo associare la regione di occlusione ai vari oggetti, e associare i contorni che si sovrappongono. Modelli che utilizzano template si propongono di trovare una chiave per aprire il lucchetto delle associazioni: si pone il problemi di troppe chiavi. Modelli strutturali (tipo il RBC di Biederman) propongano che gli oggetti sono riconosciuti dalla relazione fra le singole parti, e sono viewpoint independent (in contradizione a molte evidenze sperimentali). Le facce sono un caso speciale: sembra che ci sia una regione cerebrale dedicata alla loro analisi. Percezione oggetti //modelli computazionali e ambiguità Stesso oggetto, immagini diverse Oggetti diversi, immagini uguali Stesso materiale, immagini diverse Materiali diversi, immagini uguali

39 Percezione oggetti //modelli computazionali Bayesiani Percezione oggetti //modelli computazionali Bayesiani

40 Percezione oggetti //modelli computazionali Bayesiani Percezione oggetti //modelli computazionali Bayesiani

41 Percezione oggetti //modelli computazionali Bayesiani Percezione oggetti //modelli computazionali Bayesiani

42 Percezione oggetti //modelli computazionali Bayesiani Percezione oggetti //modelli computazionali Bayesiani (Yuille)

43 Percezione oggetti //modelli computazionali Bayesiani (Perona) Percezione oggetti //modelli computazionali Bayesiani (Perona) Collocazione Scala Apparenza

44 Percezione oggetti //modelli computazionali Bayesiani (Perona) Collocazione Scala Percezione oggetti //modelli computazionali Bayesiani (Perona) Apparenza

45 Percezione oggetti //modelli computazionali Bayesiani (Perona) Apparenza Percezione oggetti //modelli computazionali Bayesiani (Perona) Apparenza