Modelli computazionali di attenzione visiva

Transcript

1 Modelli computazionali di attenzione visiva Corso di Interazione Naturale Prof. Giuseppe Boccignone Dipartimento di Informatica Università di Milano boccignone.di.unimi.it/in_2015.html Interazione fra organismi //tecnologie A. Vinciarelli, M. Pantic, H. Bourlard, Social Signal Processing: Survey of an Emerging Domain, Image and Vision Computing (2008)

2 Modelli nelle scienze cognitive e nella percezione //livelli di spiegazione Modello teorico Qual è il goal della computazione? Livello psicologico / comportamentale Livelli di spiegazione secondo Marr Quale rappresentazione e quale algoritmo? Come realizzarla fisicamente? Livello neurofisiologico Modelli di attenzione visiva //livelli di spiegazione Qual è il goal della computazione? Quale rappresentazione e quale algoritmo? Come realizzarla fisicamente?

3 Modelli di attenzione visiva //livelli di spiegazione che cosa guardo Qual è il goal della computazione? come guardo Quale rappresentazione e quale algoritmo? Come realizzarla fisicamente? Modelli di attenzione visiva //livelli di spiegazione che cosa guardo Qual è il goal della computazione? come guardo Quale rappresentazione e quale algoritmo? Come realizzarla fisicamente?

4 Un semplice modello computazionale //Itti e Koch Nella sua formulazione originale è un modello bottom-up: ha alla base il concetto di salienza degli stimoli fisici Basato sul modello psicologico della Treisman (FIT) Modelli di attenzione visiva //livelli di spiegazione guardo i punti salienti Qual è il goal della computazione? scelgo il più saliente Quale rappresentazione e quale algoritmo? Come realizzarla fisicamente?

5 Modelli di attenzione visiva //livelli di spiegazione guardo i punti salienti Qual è il goal della computazione? scelgo il più saliente Quale rappresentazione e quale algoritmo? Come realizzarla fisicamente? Un semplice modello computazionale //Itti e Koch: algoritmo Mappe di cospicuità colore Color C-map Mappa di salienza S orientazione intensità Brightness C-map Orientation C-map Final C-map arg max S massimi della Mappa di salienza visitati in ordine decrescente + Inibizione

6 Modelli di attenzione visiva //livelli di spiegazione guardo i punti salienti Qual è il goal della computazione? scelgo il più saliente Quale rappresentazione e quale algoritmo? Come realizzarla fisicamente? Un semplice modello computazionale //Itti e Koch: implementazione neurale Mappa di salienza Color C-map Brightness C-map Orientation C-map Mappe di cospicuità

7 Un semplice modello computazionale //Itti e Koch: implementazione neurale Mappe di cospicuità Color C-map Mappa di salienza Brightness C-map Final C-map Orientation C-map Selezione con una rete di neuroni WTA (Winner Take All) Un semplice modello computazionale //Itti e Koch

8 Un semplice modello computazionale //Itti e Koch Free Matlab Code: - toolbox ufficiale: - diverse versioni: Modelli di attenzione visiva //livelli di spiegazione che cosa guardo Qual è il goal della computazione? come guardo Quale rappresentazione e quale algoritmo? Come realizzarla fisicamente?

9 What gets selected? Object Based Attention O Craven et al. (1999) What gets selected? Object Based Attention Summing up: Importance of 'object-based' processes in dynamic tasks Center-of-mass capture of attention Physical constraints: objects vs. substances Dynamic tuning of the Focus of Attention (FOA)

10 Towards event-based attention People walking together People fighting t i t j t k t m Towards event-based attention Nearly all of the work on attention concerns static objects, or moving objects Attention may also interact directly with information which is inherently dynamic, e.g. stereotypical motions

11 Livello di spiegazione psicologico //rappresentazione dinamica di scene (Rensink) Modelling visual attention

12 Modelling visual attention Object-based saliency Feature-based saliency Fusion Modelling visual attention: Vision as an inference process Object-based saliency p(z t x t, O) p(x t, O) Feature-based saliency 1 p(z t O) p(x t z t, O) Fusion x FOA t = arg max x t p(x t z t, O)

13 Towards event-based attention Objects Objects Proto-Objects Towards event-based attention Objects Objects Proto-Objects

14 Towards event-based attention Objects Objects Proto-Objects Towards event-based attention Objects Objects Proto-Objects

15 Towards event-based attention: may not be hierarchical Objects Proto-Objects Towards event-based attention: may not be hierarchical Objects Proto-Objects

16 Towards event-based attention: a Bayesian model object appearance (bounding box dim) object location (center of mass) O t = {r t, A t, O} object label Observed (spatio-temporal) features x n,t = {x col n,t, x vel n,t, x space n,t } color velocity coordinates Towards event-based attention: a Bayesian model Observed (coarse) velocity features arg max p(x vel t arg max p( xl t t x vel t, Gaussian x L t r, x L t t ) x L t r )p(x vel t ) Gaussian x n,t = {x col n,t, x vel n,t, x space n,t } velocity Simoncelli s OF

17 Towards event-based attention: a Bayesian model object appearance (bounding box dim) object location (center of mass) O t = {r t, A t, O} object label observations x n,t = {x col n,t, x vel n,t, x space n,t } Eye-movements and visual attention Object-based saliency p(x t O t ) p(o t ) Feature-based saliency 1 p(x t ) p(o t x t ) Fusion Ô t = arg max O t p(o t x t )

18 Towards event-based attention: a Bayesian model Objects/Groups of Objects features (e.g., velocity) Focus based on appearance & objects p(o t x t ) p(x t r t,a t,o)p(r t, A t,o) p(x t ) Low-level saliency & proto-object segmentation A Bayesian model: proto-objects & saliency p(o t x t ) p(x t r t,a t,o)p(r t, A t,o) p(x t ) Expectation- Maximization Low-level saliency & proto-object segmentation

19 A Bayesian model: saliency Feature-based saliency 1 p(x t ) A Bayesian model: feature likelihood given proto-objects Objects/Groups of Objects features (e.g., velocity) p(o t x t ) p(x t r t,a t,o)p(r t, A t,o) p(x t ) p(x t r t, A t, O) = 1) significant mean velocity exp{(xvel n,t P n exp{(xvel n,t µ vel k )2 } µ vel k )2 2) large spatial support, with respect to spatiotemporal blobs that have non null velocity but tiny space/time support

20 A Bayesian model: feature likelihood given proto-objects p(x t r t, A t, O) = exp{(xvel n,t P n exp{(xvel n,t µ vel k )2 } µ vel k )2 A Bayesian model: fixation probability Focus based on appearance & objects p(o t x t ) p(x t r t,a t,o)p(r t, A t,o) p(x t ) p(r t A t, O) =w i N (r t ; µ Ri, R i ), r t R i (width, height) of region Ri importance weight of region Ri w i = R i /M R

21 A Bayesian model: fixation probability p(r t A t, O) =w i N (r t ; µ Ri, R i ), r t R i A Bayesian model: inference p(o t x t ) p(x t r t,a t,o)p(r t, A t,o) p(x t )

22 A Bayesian model: gaze selection Ô t = arg max O t p(o t x t ) The final picture Object-based saliency Feature-based saliency Fusion

23 More examples from: BEHAVE Interactions Test Case Scenarios More examples from: BEHAVE Interactions Test Case Scenarios

24 More examples from: BEHAVE Interactions Test Case Scenarios Example 1 (unconstrained) Average eye-tracked (36 observers) Bayesian Model

25 Example 2 Video Example 1 No 2 task (unconstrained) Average eye-tracked (36 observers) Bayesian Model

26 Example 2 (constrained) Average eye-tracked (36 observers) Bayesian Model Situating vision in the world

27 Situating vision in the world Situating vision in the world

28 Situating vision in the world Modelli di attenzione visiva //livelli di spiegazione che cosa guardo Qual è il goal della computazione? come guardo Quale rappresentazione e quale algoritmo? Come realizzarla fisicamente?

29 Modelli di attenzione visiva //livelli di spiegazione: problema della variabilità che cosa guardo Qual è il goal della computazione? come guardo Quale rappresentazione e quale algoritmo? Come realizzarla fisicamente? Modelli di attenzione visiva //livelli di spiegazione: problema della variabilità

30 Modelli di attenzione visiva //livelli di spiegazione: problema della variabilità Modelli di attenzione visiva //livelli di spiegazione: problema della variabilità

31 Modelli di attenzione visiva //livelli di spiegazione: problema della variabilità Modelli di attenzione visiva //livelli di spiegazione: problema della variabilità

32 Modelli di attenzione visiva //livelli di spiegazione: problema della variabilità Modelli di attenzione visiva //livelli di spiegazione: problema della variabilità random walk Browniano volo di Levy

33 Modelli di attenzione visiva //livelli di spiegazione: problema della variabilità che cosa guardo Qual è il goal della computazione? Quale rappresentazione e quale algoritmo? come guardo simulazione Monte Carlo con accettazione Metropolis Come realizzarla fisicamente? Modelli di attenzione visiva //livelli di spiegazione: problema della variabilità

34 Modelli di attenzione visiva //livelli di spiegazione: problema della variabilità Free Matlab Code: - toolbox ufficiale su Matlab Central: Modelli di attenzione visiva //livelli di spiegazione: problema della variabilità Caratterizzazione di pazienti autistici Experimental heat maps: TDs (left) and ASDs (right) T is a sort of "attentional temperature, which seems to be able to describe the transition from TDs to ASDs visual behavior 1000 points generated by the model for T=10 (left) and T=100 (right) placed over a stimulus.

35 //the icub Modelli di attenzione visiva //livelli di spiegazione: problema della variabilità Apprendimento stocastico nei robot

36 Matlab simulation code: Ecological sampling: //data analysis

37 Ecological sampling of gaze shifts Task Action Perception Image Ecological sampling of gaze shifts //unfolding the action-perception loop

38 Ecological sampling of gaze shifts //sampling the action-perception loop Sampling the natural habitat Sampling the appropriate motor behavior Sampling where to look next Ecological sampling of gaze shifts //sampling the natural habitat Sampling the saliency Sampling patches......and their parametric descriptions

39 Ecological sampling of gaze shifts //sampling the natural habitat Sampling preys from patches (food items / Interest Points) Ecological sampling of gaze shifts //sampling the motor behavior Motor action determines the choice of oculomotor behavior Markov assumption oculomotor choice action oculomotor choice prior

40 Ecological sampling of gaze shifts //sampling the motor behavior Motor action determines the choice of oculomotor behavior Markov assumption oculomotor prior prior hyperparameters oculomotor choice sampling Ecological sampling of gaze shifts //sampling the motor behavior Motor action determines the choice of oculomotor behavior Markov assumption prior hyperparameters

41 Ecological sampling of gaze shifts //sampling the motor behavior Taking into account the complexity of the landscape in natural habitats no cues some cues too many cues Ecological sampling of gaze shifts //sampling the motor behavior Motor action determines the choice of oculomotor behavior Markov assumption

42 Ecological sampling of gaze shifts //sampling the motor behavior no cues some cues too many cues Ecological sampling of gaze shifts //sampling where to look next Motor action determines the choice of oculomotor behavior Sampling the next FOA Langevin - Smoluchowski

43 Ecological sampling of gaze shifts //sampling where to look next Motor action determines the choice of alpha stable parameters Sampling the next FOA Ecological sampling of gaze shifts //sampling where to look next no cues #Levy flights > #Gaussian flights some cues #Gaussian flights > #Levy flights too many cues #Levy flights > #Gaussian flights

44 Ecological sampling of gaze shifts Task Action Perception Image Ecological sampling of gaze shifts //accounting for task

45 Ecological sampling of gaze shifts //accounting for task Ecological sampling of gaze shifts //accounting for task There are multiple levels of representation

46 Ecological sampling of gaze shifts //accounting for task every gaze shift is a decision