Emozioni e risposte corporee: misurazione dell attività autonomica

Transcript

1 Emozioni e risposte corporee: misurazione dell attività autonomica Corso di Modelli di Computazione Affettiva Prof. Giuseppe Boccignone Dipartimento di Informatica Università di Milano boccignone@di.unimi.it Giuseppe.Boccignone@unimi.it

2 //struttura e regolazione: da SNC a SNA Corteccia Sistema limbico e ipotalamico Tronco //misurazione dell attività Segnali che si manifestano come variazioni di campo elettrico

3 //misurazione dell attività Segnali che si manifestano come variazioni di campo elettrico //misurazione dell attività Segnali che si manifestano come variazioni di impedenza

4 //misurazione dell attività Segnali meccanici Segnali biomagnetici //misurazione dell attività Electrocardiogram: measure the average action potential on the skin Heart rate variability (HRV) refers to the oscillation of the interval between consecutive heartbeats Respiration: RSP belt used to capture the breathing activity of the subjects. It can be worn either thoracically or abdominally over clothing. The amount of stretch in the elastic is measured as a voltage change and recorded. The rate of RSP and depth of breath are the most common measures of RSP Skin Conductivity sensor measures the skin s ability to conduct electricity Electromyogram measures muscle activity by detecting surface voltages that occur when a muscle is contracted.

5 //misurazione dell attività: sensoristica //misurazione dell attività: sensoristica

6 //misurazione dell attività: obiettivi //misurazione dell attività cardiaca

7 //misurazione dell attività cardiaca QRS waveform in an ECG signal. Usual lengths: P-wave ( s), QRS ( s), PR-interval ( s), and QTc-interval //misurazione dell attività cardiaca Elettrocardiogramma (ECG): registrazione grafica dell'attività elettrica del cuore prodotta dalla polarizzazione e depolarizzazione delle cellule cardiache

8 //misurazione dell attività cardiaca Il tracciato ECG è formato da "onde": Onda P: ha piccole dimensioni prodotta dalla depolarizzazione degli atri Complesso QRS: insieme di tre onde prodotte dalla depolarizzazione dei ventricoli Onda T: onda di piccole dimensioni prodotta dalla ripolarizzazione dei ventricoli Onda U: onda di piccole dimensioni prodotta dalla ripolarizzazione dei muscoli papillari //misurazione dell attività cardiaca

9 //misurazione dell attività cardiaca onda di depolarizzazione -> contrazione onda di ripolarizzazione -> rilassamento //misurazione dell attività cardiaca Gli impulsi nel miocardio generano differenze di potenziale che variano nello spazio nel tempo e che possono essere registrate tramite degli elettrodi posti sulla superficie corporea formando delle derivazioni

10 //misurazione dell attività cardiaca //misurazione dell attività cardiaca

11 //misurazione dell attività: Heart Rate Variability QRS waveform in an ECG signal. Usual lengths: P-wave ( s), QRS ( s), PR-interval ( s), and QTc-interval Raw ECG signal with RSP (respiration) artifacts Detrended signal Detected RR interbeats Interpolated HRV time series using RR intervals //misurazione dell attività: Heart Rate Variability

12 //misurazione dell attività: Heart Rate Variability a marker of excitation and intrinsic in sympathetic activation marker of inhibition and quiet and linked to vagal predominance //misurazione dell attività: Heart Rate Variability The Pulse and Oxygen in Blood Sensor (SPO2) allows you to measure the amount of Oxygen dissolved in blood. Blood volume pulse (BVP): measures indirectly the heart rate. The underlying technique of this sensor Photoplethysmography sends infrared light with a specific wave length (990nm) and measures the reflected amount of light. The rest of the light will be absorbed by the hemoglobin in the blood. With this measurement you can indirectly calculate the heart rate with alternating vasodilatation and vasoconstrictions. This signal correlates highly with the heart rate measured via ECG

13 //misurazione dell attività elettrodermica (EDA) //misurazione dell attività elettrodermica (EDA) L EDA si riferisce a tutti i fenomeni elettrici della pelle, attivi e passivi. EDL (electrodermal level): livello tonico (attività nel lungo termine): legata ad attività sudoripara, temperatura EDR (electrodermal response): livello fasico (attività nel breve periodo, stimolo-relata) : legata alle emozioni e al livello di arousal

14 //misurazione dell attività elettrodermica (EDA) Indici: SR (Skin resistance): resistenza della pelle al passaggio di una corrente continua: SRL (Skin resistance level): livello tonico SRR (Skin resistance response): livello fasico SC (Skin conductance): conduttanza della pelle al passaggio di una corrente continua: SCL (Skin conductance level): livello tonico SCR (Skin conductance response): livello fasico //misurazione dell attività elettrodermica (EDA) La Skin conductance: Si misura in microsiemens (μs) con un dispositivo dotato di due elettrodi da applicare sulla pelle Varia con il livello di umidità della pelle Poiché le ghiandole sudoripare eccrine sono innervate dal sistema nervoso simpatico, la SC è un buon indice di arousal e viene considerata la misura d elezione dell orienting response le ghiandole eccrine sono presenti un tutta la superficie del corpo ma in una densità maggiore nei palmi delle mani e nelle piante dei piedi

15 //misurazione dell attività elettrodermica (EDA) La Skin conductance: Si misura in microsiemens (μs) con un dispositivo dotato di due elettrodi da applicare sulla pelle Varia con il livello di umidità della pelle Poiché le ghiandole sudoripare eccrine sono innervate dal sistema nervoso simpatico, la SC è un buon indice di arousal e viene considerata la misura d elezione dell orienting response le ghiandole eccrine sono presenti un tutta la superficie del corpo ma in una densità maggiore nei palmi delle mani e nelle piante dei piedi //misurazione dell attività elettrodermica (EDA)

16 //misurazione dell attività elettrodermica (EDA) L'EDA aumenta: In risposta ad un evento improvviso (Orienting response) Con l'aumentare del carico di lavoro mentale In corrispondenza di stati emotivi sia positivi che negativi (arousal) //misurazione dell attività elettrodermica

17 //misurazione dell attività respiratoria La frequenza respiratoria: Si misura in numero di respiri al minuto Si misura con un sensore (stretch sensor) applicato ad una fascia toracica o maglia: l allungamento elastica è misurata come una variazione di tensione Aumenta con il carico di lavoro (anche mentale) Riflette stati emotivi dicotomici: calmaeccitamento, rilassamento-tensione //misurazione dell attività respiratoria

18 //misurazione dell attività respiratoria //misurazione dell attività respiratoria

19 //misurazione dell attività muscolare Elettromiografia: Tecnica per registrare il potenziale elettrico generato dalle cellule dei muscoli scheletrici (e mimici del volto). Si distinguono: Intramuscolar EMG: richiede l'inserimento di elettrodi a spillo nel tessuto muscolare. Permette il monitoraggio dell'attività anche di poche fibre muscolari. Surface EMG (semg): richiede l'applicazione di elettrodi sulla pelle. Permette il monitoraggio dell'attività generale del muscolo. //misurazione dell attività muscolare

20 //misurazione dell attività muscolare Emozioni di base: GIOIA: (Orbicularis oculi + Zygomaticus major) SORPRESA: (Frontalis + Levator palpebrae superioris) PAURA: (Frontalis + Corrugator supercilii + Levator Palpebrae superioris) RABBIA: (Corrugator supercilii + Levator palpebrae Superioris + Orbicularis oculi) TRISTEZZA: (Frontalis + Corrugator supercilii + Depressor anguli oris) DISGUSTO: (Levator labii superioris + Levator labii Superioris alaeque nasi) //misurazione dell attività muscolare Emozioni di base:

21 //misurazione dell attività muscolare Emozioni di base: //misurazione dell attività muscolare Emozioni di base:

22 //misurazione dell attività muscolare Emozioni di base: //misurazione dell attività muscolare Emozioni di base:

23 Sistema nervoso autonomo //misurazione dell attività muscolare Emozioni di base: Sistema nervoso autonomo //misurazione dell attività muscolare Startle response:

24 //misurazione dell attività muscolare L'attività del corrugator supercilii e del muscolo trapezio: la loro tensione aumenta con lo stress //misurazione dell attività muscolare

25 //integrazione dei sensori //integrazione dei sensori e-health Sensor Shield V2.0 for Arduino, Raspberry Pi and Intel Galileo

26 //integrazione dei sensori //dataset disponibili Dataset disponibili su web:

27 Dataset disponibili su web: DEAP Dataset disponibili su web: DEAP

28 Dataset disponibili su web: DEAP Dataset disponibili su web: DEAP

29 Dataset disponibili su web: DEAP Dataset disponibili su web: DEAP

30 Dataset disponibili su web: DEAP Dataset disponibili su web: DEAP

31 Dataset disponibili su web: DEAP Dataset disponibili su web: MAHANOB-HCI

32 Dataset disponibili su web: MAHANOB-HCI per il tagging Dataset disponibili su web: MAHANOB-HCI per il tagging

33 Dataset disponibili su web: MAHANOB-HCI per il tagging Dataset disponibili su web: MAHANOB-HCI per il tagging

34 Dataset disponibili su web: MAHANOB-HCI per il tagging Dataset disponibili su web: MAHANOB-HCI per il tagging

35 Fearful disgusting