Percezione e riconoscimento di oggetti

Transcript

1 Percezione e riconoscimento di oggetti Corso di Principi e Modelli della Percezione Prof. Giuseppe Boccignone Dipartimento di Scienze dell Informazione Università di Milano [email protected] Percezione e riconoscimento di oggetti Trovare i bordi Processi di Integrazione e di segmentazione basati sulla texture Assegnazione figura-sfondo Bordi, parti, e interezza delle immagini Riconoscimento di oggetti

2 Percezione e riconoscimento di oggetti //cosa vedete? Percezione e riconoscimento di oggetti //cosa vedete?

3 Percezione e riconoscimento di oggetti //cosa vedete? Percezione e riconoscimento di oggetti //cosa vedete? Perché le cose appaiono come appaiono? La risposta del REALISTA INGENUO è: vedo le cose così perché sono così. Per il REALISTA CRITICO, invece, la percezione è una costruzione attiva alla quale contribuiscono: a) l ambiente fisico (stimoli); b) il sistema percettivo.

4 Percezione oggetti //ambiguità Stesso oggetto, immagini diverse Oggetti diversi, immagini uguali Stesso materiale, immagini diverse Materiali diversi, immagini uguali Percezione e riconoscimento di oggetti //cosa vedete?

8 Percezione e riconoscimento di oggetti //Il paradigma di Marr Stadi di elaborazioni: 1.Determinare le caratteristiche dell immagine ( Lowlevel vision ) 2.Raggruppare le caratteristiche analizzate sopra in oggetti ( Middle vision ) 3.Elaborazione delle rappresentazioni ( High-level vision ) Percezione e riconoscimento di oggetti //Il paradigma di Marr High-level Mid-level Low-level

9 Percezione e riconoscimento di oggetti //Il paradigma di Marr Percezione e riconoscimento di oggetti //Visione di basso livello Stadi di elaborazioni: 1.Determinare le caratteristiche dell immagine ( Lowlevel vision ) 2.Raggruppare le caratteristiche analizzate sopra in oggetti ( Middle vision ) 3.Elaborazione delle rappresentazioni ( High-level vision )

10 Percezione e riconoscimento di oggetti //rilevare i bordi (edges) Cellula semplice Percezione e riconoscimento di oggetti //rilevare i bordi (edges) Caratteristiche non accidentali (ben strutturate) producono indizi sulla struttura di un oggetto

11 Percezione e riconoscimento di oggetti //rilevare i bordi Non così semplice per un calcolatore... Photoshop: find edges Percezione e riconoscimento di oggetti //rilevare i bordi

12 Il triangolo di Kanizsa: //dove sono i bordi per il realista ingenuo? Percezione e riconoscimento di oggetti //rilevare i bordi: i bordi di Kanizsa

13 Percezione e riconoscimento di oggetti //rilevare i bordi: i bordi di Kanizsa Percezione e riconoscimento di oggetti //Visione di medio livello Stadi di elaborazioni: 1.Determinare le caratteristiche dell immagine ( Lowlevel vision ) 2.Raggruppare le caratteristiche analizzate sopra in oggetti ( Middle vision ) 3.Elaborazione delle rappresentazioni ( High-level vision )

14 Percezione e riconoscimento di oggetti //Visione di medio livello: segmentazione Come si discerne l oggetto che deve essere riconosciuto dal suo sfondo? Percezione e riconoscimento di oggetti //Visione di medio livello: segmentazione La figura qui è marrone o bianca? Il riconoscimento degli oggetti parte prima che l assegnazione figura/sfondo sia finita

15 Percezione e riconoscimento di oggetti //Visione di medio livello: segmentazione Quali cerchi sono figure e quali sono aperture? La psicologia della Gestalt Wertheimer, Köhler, Koffka (1920s 1950s); Palmer and Rock (1990s) Il movimento gestaltico era una risposta alle precedenti teoria della scuola psicologica strutturalista il tutto è più della somma delle singole parti

16 La psicologia della Gestalt //principi fondamentali Principio Pregnanza Prossimità Similarità Chiusura Buona continuità Destino comune Familiarità Definizione dei contorni Ogni configurazione di stimoli è percepita in modo tale che la struttura risultante sia la più semplice possibile. Tendenza degli oggetti vicini ad essere raggruppati insieme in una unità percettiva. Se diversi stimoli sono presentati insieme, c è una tendenza a percepire la forma in modo che gli stimoli simili siano raggruppati insieme. Tendenza ad unire i bordi che sono molto vicini l uno all altro. Gli elementi vicini sono raggruppati insieme quando sono potenzialmente connessi da una linea continua dritta o curva. Gli elementi che si muovono nella stessa direzione sembrano essere raggruppati insieme. Gli elementi hanno una maggiore probabilità di raggrupparsi se i gruppi appaiono familiari o hanno un significato. La psicologia della Gestalt //dai bordi ai contorni: uso dell occlusione

17 La psicologia della Gestalt //Segmentazione della tessitura 1. Si raggruppano insieme gli elementi che sono simili La psicologia della Gestalt //Segmentazione della tessitura 2. Si raggruppano insieme gli elementi prossimali cioè fra loro vicini

18 La psicologia della Gestalt //Segmentazione della tessitura Legge dell esperienza o della familiarità La psicologia della Gestalt //Parallelismo e simmetria Principi di raggruppamento di minor rilievo: si raggruppano insieme gli elementi paralleli e quelli simmetrici

19 La psicologia della Gestalt //Principi di raggruppamento dinamico Destino comune: si raggruppano insieme gli elementi che si muovono nella stessa direzione La psicologia della Gestalt //Principi di raggruppamento dinamico Destino comune: si raggruppano insieme gli elementi che si muovono nella stessa direzione

20 La psicologia della Gestalt //Principi di raggruppamento dinamico Destino comune: si raggruppano insieme gli elementi che si muovono nella stessa direzione La psicologia della Gestalt //Principi di raggruppamento dinamico Sincronia: si raggruppano insieme gli elementi che subiscono un cambiamento allo stesso momento

21 La psicologia della Gestalt //Principi di raggruppamento dinamico La psicologia della Gestalt //Principi di raggruppamento dinamico

22 La psicologia della Gestalt //Principi di raggruppamento dinamico Mimetizzazione: sfrutta i principi della Gestalt

23 Viene prima il tutto o le parti? Effetto della superiorità del contesto globale (Navon, 1977)

24 Percezione e riconoscimento di oggetti //Visione di alto livello Stadi di elaborazioni: 1.Determinare le caratteristiche dell immagine ( Lowlevel vision ) 2.Raggruppare le caratteristiche analizzate sopra in oggetti ( Middle vision ) 3.Elaborazione delle rappresentazioni ( High-level vision ) Percezione e riconoscimento di oggetti //Visione di alto livello: il riconoscimento Template matching ingenuo

25 Percezione e riconoscimento di oggetti //Visione di alto livello: il riconoscimento Template matching ingenuo Problema: quanti template? Percezione e riconoscimento di oggetti //Visione di alto livello: il riconoscimento (2D) Template matching: uso di template locali a diversi livelli

26 Percezione e riconoscimento di oggetti //Visione di alto livello: il riconoscimento (3D) Geoni di Biederman Percezione e riconoscimento di oggetti //Visione di alto livello: il riconoscimento (3D) Rappresentare la struttura di un oggetto, non come appare da un certo punto di vista Riconoscimento attraverso le componenti (RBC; Biederman, 1987)

27 Percezione e riconoscimento di oggetti //Visione di alto livello: il riconoscimento (3D) Percezione e riconoscimento di oggetti //Visione di alto livello: il riconoscimento (3D) RBC predice l invarianza del punto di vista Molti studi empirici comunque hanno mostrato l effetto del punto di vista Il riconoscimento dipende dal punto di vista.

28 Come mettere insieme il tutto? //oggetti nel cervello Sistema Che Cosa : identificazione delgi oggetti (corteccia IT) Sistema dove/come : localizzazione spaziale degli oggetti/ loro manipolazione (corteccia parietale) Come mettere insieme il tutto? //oggetti nel cervello V1 > 1 gradi 2 V4 4 gradi 2 PIT 16 gradi 2 AIT 150 gradi 2

29 Come mettere insieme il tutto? //oggetti nel cervello: riconoscimento di volti Detezione di volti nel Giro Fusiforme Come mettere insieme il tutto? //oggetti nel cervello: riconoscimento di volti Può un singolo neurone essere responsabile del riconoscimento di nostra nonna?

30 Come mettere insieme il tutto? //oggetti nel cervello: riconoscimento di volti Sono localizzate in IT, sui bordi e sulle pareti di STS. Lo stimolo ottimale non può essere decomposto in forme più semplici. Le cellule che rispondono alle facce non rispondano a qualsiasi altro tipo di stimolo (tessitura, reticoli, barre e bordi di vari colori). Rispondono ad una varietà di facce: reali, modelli di plastica e immagini video di facce umane e di scimmie Come mettere insieme il tutto? //oggetti nel cervello: riconoscimento di volti Le cellule per le facce rispondere a immagini di facce filtrati passa-basso o passa-alto, e dopo l alterazione del colore, o contrasto. Rispondono anche a una faccia a disegno a linee.

31 Volti invertiti Volti invertiti

32 Volti invertiti Volti invertiti Cosa c è di strano in questa figura?

33 Volti invertiti Volti invertiti

34 Come mettere insieme il tutto? //oggetti nel cervello: riconoscimento di corpi Studi sul macaco: alcuni neuroni nel IT rispondono selettivamente alle forme dei corpi Closely neighbouring regions of the superior temporal sulcus (STS) in the macaque are selectively activated in functional MRI by images of faces (left), as compared with bodies, fruits, artefactual objects and hands. This is also true for images of bodies (right), as compared with faces, fruits, artefactual objects and hands. Come mettere insieme il tutto? //oggetti nel cervello: riconoscimento di corpi Studi sul macaco: alcuni neuroni nel IT rispondono selettivamente alle forme dei corpi Spike histograms and schematic stimuli from an investigation of a hand-selective neuron. This neuron seems to be selectively tuned to the general form of the hand. The response to faces is low, ruling out a general response to all biological stimuli. The response to hand-like geometric stimuli is also low, demonstrating the specificity of the response to realistic hand shapes.

35 Come mettere insieme il tutto? //oggetti nel cervello: riconoscimento di corpi Dai recording intracraniali di soggetti umani con epilessia Pre-surgical intracranial recordings from a patient with epilepsy reveal an electrode at the approximate location of the extrastriate body area EBA (electrode 15; indicated by the yellow box) that is body-selective (red line) from 190 ms poststimulus, relative to faces (blue line), tools (green line) and animals (black line) Come mettere insieme il tutto? //oggetti nel cervello: riconoscimento di corpi Regioni body- and face-selective: dati da fmri The extrastriate body area (EBA; shown here in the right hemisphere of six subjects) is found in the posterior inferior temporal sulcus. X values indicate Talairach coordinates for each slice plane

36 Come mettere insieme il tutto? //oggetti nel cervello: riconoscimento di corpi Regioni body- and face-selective: dati umani da fmri - fusiform body area (FBA) - fusiform face area (FFA) - extended body area (EBA) - occipital face area (OFA) Come mettere insieme il tutto? //oggetti nel cervello: riconoscimento di corpi Regioni body- and face-selective: dati umani da fmri Responses of the functionally defined EBA to various stimuli, indicating the body selective response of this region.

37 Sommario I processi precoci estraggano le caratteristiche salienti ( feature ) dall input visivo, successivamente i processi del livello medio organizza le informazioni delle feature in regioni, superfici e oggetti. Esistano processi che dividono l immagine in regioni simile, seguendo leggi specifiche come quelle della Gestalt. Sommario Altri processi determinano la regione figura dallo sfondo, con leggi simili. Ci sono tanti problemi da risolvere, tipo associare la regione di occlusione ai vari oggetti, e associare i contorni che si sovrappongono. Modelli che utilizzano template si propongono di trovare una chiave per aprire il lucchetto delle associazioni: si pone il problemi di troppe chiavi. Modelli strutturali (tipo il RBC di Biederman) propongano che gli oggetti sono riconosciuti dalla relazione fra le singole parti, e sono viewpoint independent (in contraddizione con molte evidenze sperimentali). Le facce e i corpi sono un caso speciale: sembra che ci siano regioni cerebrale dedicata alla loro analisi.

38 Percezione oggetti //modelli computazionali e ambiguità Stesso oggetto, immagini diverse Oggetti diversi, immagini uguali Stesso materiale, immagini diverse Materiali diversi, immagini uguali Percezione oggetti //modelli computazionali Bayesiani

39 Percezione oggetti //modelli computazionali Bayesiani Percezione oggetti //modelli computazionali Bayesiani

40 Percezione oggetti //modelli computazionali Bayesiani Percezione oggetti //modelli computazionali Bayesiani

41 Percezione oggetti //modelli computazionali Bayesiani Percezione oggetti //il neurone della nonna La cellula della nonna? Unità all apice della piramide dell elaborazione visiva. Diversi problemi: Il numero degli oggetti è immenso, più grande del numero dei neuroni disponibili. Ci sarebbe bisogno tenere cellule inutilizzate riserva per codificare i nuovi oggetti nel futuro. Il problema dell accesso rapido. Sebbene singole cellule rispondano differentemente a diverse facce, non c è alcuna evidenza che una cellula risponda esclusivamente ad un particolare volto. Le cellule selettive per le facce sembrano costituire una rete distribuita per la codifica dei volti.

42 Percezione e riconoscimento di oggetti //Visione di alto livello: la categorizzazione Quale definizione salta alla mente prima? Il livello di entrata Percezione e riconoscimento di oggetti //Visione di alto livello: la categorizzazione Che cosa sono questi? 1. Livello di entrata: sono uccelli 2. Livello subordinato: passero/struzzo 3. Livello superordinato: animali (Kosslyn 1984)

43 Percezione e riconoscimento di oggetti //Visione di alto livello: la categorizzazione Percezione oggetti //modelli computazionali Bayesiani (Perona)

44 Percezione oggetti //modelli computazionali Bayesiani (Perona) Collocazione Scala Apparenza Features allocazione feature su parti oggetto h vettore di ipotesi feat 1 feat 4 feat feat 7 Parte 1 Parte 2 Parte 3 Parte P Percezione oggetti //modelli computazionali Bayesiani (Perona) Collocazione Scala

45 Percezione oggetti //modelli computazionali Bayesiani (Perona) Apparenza h vettore di ipotesi feat 1 feat 4 feat feat 7 Parte 1 Parte 2 Parte 3 Parte P Percezione oggetti //modelli computazionali Bayesiani (Perona) Apparenza h vettore di ipotesi feat 1 feat 4 feat feat 7 Parte 1 Parte 2 Parte 3 Parte P

46 Percezione oggetti //modelli computazionali Bayesiani (Perona) Apparenza h vettore di ipotesi feat 1 feat 4 feat feat 7 Parte 1 Parte 2 Parte 3 Parte P