Espressione e comunicazione delle emozioni Corso di Modelli di Computazione Affettiva Prof. Giuseppe Boccignone Dipartimento di Informatica Università di Milano boccignone@di.unimi.it Giuseppe.Boccignone@unimi.it http://boccignone.di.unimi.it/compaff2016.html Comunicazione non verbale //Darwin: l ipotesi evolutiva Le espressioni facciali sono elementi di una risposta coordinata ad un evento emotigeno che coinvolge più sistemi di risposta (Emotion Package): vocalizzazioni posture gesti risposte autonomiche
Comunicazione non verbale //forme Visiva Cinesica: gesti, movimenti del corpo, mimica, sguardo, espressione facciale Prossemica Spazio, distanza, territorio Apparenza fisica: Altezza, attrattività, età, accessori Uditiva vocalizzazioni, espressioni paraverbali Invisibile: olfattiva, tattile Comunicazione non verbale //esempio: flirting (Givens, 1983 & Perper, 1985) Attention getting phase Recognition phase Keeping time phase (mirroring)
Comunicazione non verbale //tassonomie Emblemi Illustratori Regolatori Manipolatori Affettivi DeMeuse (1987) P. Ekman and W.V. Friesen (1969) Esprimere emozioni: //Teoria Neuro-culturale di Ekman (e Izard)
Esprimere emozioni: //Teoria Neuro-culturale di Ekman (e Izard) Esprimere emozioni: //Teoria Neuro-culturale di Ekman (e Izard)
Esprimere emozioni: //Teoria Neuro-culturale di Ekman (e Izard) Cinque assunzioni: Alcune espressioni facciali sono dei markers universali e affidabili di stati emotivi attivati Espressioni facciali discrete corrispondono a esperienze soggettive (discrete) Le espressioni facciali discrete sono parte di un package emotivo di risposta Le espressioni facciali discrete sono giudicate affidabili in culture diverse Le espressioni facciali discrete svolgono una funzione di comunicazione interpersonale e di regolazione sociale. Esprimere emozioni: //universalità della muscolatura di controllo Più di 40 muscoli indipendenti Parte superiore controllata anche da regioni sub-corticali Maggior parte delle innervazioni dal VII nervo craniale Parte inferiore controllata soprattutto dalla corteccia motoria
Esprimere emozioni: //Teoria Neuro-culturale di Ekman (e Izard) Esprimere emozioni: //Teoria Neuro-culturale di Ekman (e Izard)
Esprimere emozioni: //Teoria Neuro-culturale di Ekman (e Izard) Ipotesi di Darwin Moduli cablati Esprimere emozioni: //espressioni facciali primarie: Paul Ekman Universalita` delle espressioni facciali (Eckman, 1971;1992; 1993) Ci sono prove di alcuni segnali distintivi universali almeno per le emozioni di paura, sorpresa, disgusto, gioia, rabbia, tristezza, disprezzo Distinzione fra espressioni autentiche e fasulle (Eckman, 1985) Microespressioni (0,05 s), FACS Coinvolgimento di muscoli diversi Il feedback facciale
Esprimere emozioni: //espressioni facciali primarie: Paul Ekman Universalita` delle espressioni facciali Tratti simili sugli scimpanzè E stato messo a punto un sistema di ChimpFACS che codificano le AU degli scimpanzè (Vick eyt al. 2007) Esprimere emozioni: //espressioni facciali primarie: Paul Ekman Stato soggettivo e espressione Distinzione di Duchenne sul sorriso
Esprimere emozioni: //espressioni facciali primarie: Paul Ekman Stato soggettivo e espressione Distinzione di Duchenne sul sorriso Distinzione fra espressioni autentiche e fasulle (Eckman, 1985) Microespressioni (0,05 s) Coinvolgimento di muscoli diversi Esprimere emozioni: //espressioni facciali primarie: Paul Ekman Stato soggettivo e espressione Distinzione di Duchenne sul sorriso Distinzione fra espressioni autentiche e fasulle (Eckman, 1985) Microespressioni (0,05 s) Coinvolgimento di muscoli diversi
Esprimere emozioni: //espressioni facciali primarie: Paul Ekman Ekman ha studiato l espressione delle emozioni in diverse culture, e ha messo a punto un sistema per la codifica delle espressioni facciali. 1. Ekman, Sorenson, & Friesen, (1969) Studio del riconoscimento di espressioni facciali in diversi popoli 2. Ekman & Friesen, (1971) Studio in Nuova Guinea con tribù non esposte ai media e volti occidentali. 3. Richiesta di simulazioni poi mostrate a Nord-occidentali 4. Filmati di Americani e Giapponesi mentre guardano da soli film fortemente emotigeni: analisi dei movimenti facciali
Esprimere emozioni: //espressioni facciali primarie: Paul Ekman Misurazione delle espressioni facciali Il FACS (Facial Action Coding System) è un sistema a base anatomica, che divide il viso in unità muscolari dette AU (action units). L EMFACS è un sistema derivato, che utilizza le AU distintive per ricostruire il significato emotivo di un espressione. Attualmente il FACS è il sistema di codifica di riferimento, per la sua capacità di codificare praticamente tutti i possibili movimenti del viso Esprimere emozioni: //espressioni facciali primarie: Paul Ekman Misurazione delle espressioni facciali Esempio: espressione di paura
Esprimere emozioni: //espressioni facciali primarie: Paul Ekman Esprimere emozioni: //espressioni facciali primarie: Paul Ekman
Esprimere emozioni: //espressioni facciali primarie: Paul Ekman Esprimere emozioni: //espressioni facciali primarie: Paul Ekman
Esprimere emozioni: //espressioni facciali e segnali fisiologici Esprimere emozioni: //espressioni facciali e segnali fisiologici
Tesi dell universalità: sintesi
Regolare le espressioni: //espressioni facciali primarie: Paul Ekman Evento Stato emotivo interno Priming reaction Espressione visibile Regolare le espressioni: //espressioni facciali primarie: Paul Ekman Le espressioni facciali possono essere modulate in funzione delle regole sociali e culturali di appartenenza: display rules Deamplificate Neutralizzate Mascherate (mostrandole con altre emozioni) Amplificate Simulate Esperimento di Ekman con Giapponesi e Americani al cinema in presenza di un controllore
Regolare le espressioni: //espressioni facciali primarie: David Matsumoto Regolare le espressioni: //espressioni facciali primarie: David Matsumoto
Regolare le espressioni: //espressioni facciali primarie: David Matsumoto felicità Regolare le espressioni: //espressioni facciali primarie: David Matsumoto orgoglio imbarazzo
Regolare le espressioni: //espressioni facciali primarie: David Matsumoto Stato esterno sociale / contestuale (osservabile) Cultura Display rule Stato interno individuo (nascosto) Evento Stato emotivo interno Priming reaction Espressione visibile Stato esterno individuo (osservabile) Cultura & Contesto Stato esterno sociale /contestuale (osservabile) Cultura & contesto Display rule Stato interno individuo (nascosto) Stato emotivo interno Priming reaction Stato esterno individuo (osservabile)
Test Face detection tracking Head/ body detection/ tracking Estrazione features Estrazione features Riconoscimento espressione facciale Riconoscimento espressione posturale Riconoscimento emozione Training Test Face detection tracking Head/ body detection/ tracking Estrazione features Estrazione features Riconoscimento espressione facciale Riconoscimento espressione posturale Riconoscimento emozione Training
Test Cultura & Contesto Face detection tracking Head/ body detection/ tracking Estrazione features Estrazione features Riconoscimento display facciale Riconoscimento display posturale Riconoscimento emozione Training Cultura & Contesto Esprimere emozioni: //la critica di Russell a Ekman Attacco alla Teoria Neuro-culturale dell Universalità di Ekman (e Izard) The universality thesis is ambiguous in yet another way. Four related propositions can be distinguished: (a) universality of facial movements: specific patterns of facial muscle movement occur in all human beings (b) expressiveness of facial movements: certain facial patterns are manifestations of the same emotions in all human beings (c) universality of attribution: observers everywhere attribute the same emotional meaning to those facial patterns (in a commonly seen phrase, those facial patterns have universal signal value), (d) correctness of attributions: observers are correct in the emotions they (consensually) attribute to those facial patterns
Esprimere emozioni: //la critica di Russell a Ekman Emozione, espressione e labelling dell emozione non vanno confusi When we say that someone is afraid, we combine in one word a series of consecutive events dependent on one another. To know the meaning of the word fear is to know that sequence. It is to know a script (Abelson, 1981) in which events unfold in a certain order. The concept the script specifies the prototypical elements, their order, and their causal connections: context, appraisal of the context, physiological reactions, feelings, vocal expressions, facial expressions, actions, and consequences. (Russell & Bullock, 1986,p. 336) The presence or absence of anger, as commonly understood, cannot be indexed by the presence or absence of any single feature, such as a particular facial expression. There is no one-to-one correspondence between an emotion word and a facial expression Esprimere emozioni: //la critica di Russell a Ekman I dati aggregati nè smentiscono nè convalidano l ipotesi di Ekman e Izard Escludono solo che l assegnazione sia random, oppure Che ci sia un accoppiamento arbitrario
Esprimere emozioni: //la critica di Russell a Ekman Ipotesi alternativa compatibile con i dati: Universalità minimale Esprimere emozioni: //la critica di Russell a Ekman Rilevanza ecologica: data una certa cultura, qual è il grado di correlazione tra uno stato emotivo e l espressione facciale mostrata? quante volte una persona felice sorride? Che cosa determina il link fra emozione e espressione facciale studi di Fridlund: un fattore chiave è la motivazione sociale studio di Fernandez-Dols & Ruiz-Belda sui vincitori di medaglia d oro alle Olimpiadi
Critiche alla teoria di Ekman //Il problema del contesto Critiche alla teoria di Ekman //Il problema del contesto
Esprimere emozioni: //la critica di Russell a Ekman Altre questioni prettamente tecniche: questionari forced-choice test statistici di rilevanza dei dati progetto dell esperimento in modalità within-subject Oltre il volto: espressione dell emozione mediante il corpo body expression of fear Activation shown is in response to the fearful bodies (yellow) in the fusiform face area (FFA). No activation is seen for the neutral bodies (blue). neutral body posture
Oltre il volto: espressione dell emozione mediante il corpo Emotional Body Language: Elaboriamo l espressione dei corpi altrattanto velocemente di come elaboriamo le espressioni facciali Conseguenze: EBL influenza l analisi dell espressione del volto,... anche quando l attenzione è concentrata sul volto Oltre il volto: espressione dell emozione mediante il corpo EBL influenza la percezione dell espressione: Participants had to judge the expression of faces that were accompanied by either a congruent or incongruent bodily expression. Categorization of facial expressions in the presence of an incongruent body emotion significantly reduces accuracy and increases observers reaction times
Espressione dell emozione con il corpo //Coulson: How Well Do Bodies Communicate Emotion? Espressione dell emozione con il corpo //Coulson: How Well Do Bodies Communicate Emotion?
Espressione dell emozione con il corpo //Coulson: How Well Do Bodies Communicate Emotion? Espressione dell emozione con il corpo //Coulson: How Well Do Bodies Communicate Emotion?
Espressione dell emozione con il corpo //Coulson: How Well Do Bodies Communicate Emotion? Espressione dell emozione con il corpo //Coulson: How Well Do Bodies Communicate Emotion?
Espressione dell emozione con il corpo //Coulson: How Well Do Bodies Communicate Emotion? Espressione dell emozione con il corpo //Coulson: How Well Do Bodies Communicate Emotion? Risultati complessi. Disgusto difficilmente attribuito a una postura. Rabbia, tristezza, felicità, attribuiti a molte posture. Tasso di concordanza confrontabile con quello ottanuto su espressioni facciali statiche Sorpresa e felicità confuse