Linguaggio e Movimenti Oculari

Transcript

1

2 Durante la lettura il nostro occhio non esplora il testo con un movimento armonico e continuo Procede con una serie di rapidissimi salti da una posizione all altra chiamati saccadi che durano circa 20-35msec. Tra due saccadi il nostro occhio è relativamente fermo per intervalli di msec circa chiamati fissazioni L informazione testuale viene registrata durante questi intervalli. La maggior parte delle malformazioni primitive riguarda gli arti inferiori. * * * * * * *

3 STUDI PIONIERISTICI Nel 1879 Emilie Javal osserva che gli occhi del lettore non si muovono uniformemente sulla pagina ma fanno una serie di piccole pause prima di giungere alla fine della linea. Landolt (1891): la lettura di un testo non in madrelingua richiede un numero maggiore di pause Dodge(1900): durante i rapidi movimenti oculari il soggetto non acquisisce nuova informazione visiva. Huey(1920): prima registrazione dei movimenti oculari di un lettore.

4 STUDI PIONIERISTICI Judd (anni 30) sviluppa la eye movement camera che fotografa con elevata frequenza i movimenti dell occhio. Fotografa un raggio di luce riflesso da uno specchio sulla cornea del soggetto e dalla cornea in un film attraverso una lente

5 STUDI PIONIERISTICI Buswell (1935) sviluppa il sistema di Judd. Experimental study of the eye-voice span in reading. In lettura movimenti e pause e regressioni sono in funzione del grado scolastico di istruzione

6 NUOVA ERA Metà anni 70: Sviluppo dei sistemi di elaborazione elettronica di dati; possibilità di analisi di grosse mole di dati: Esplosione dell impiego della tecnica di registrazione dei movimenti oculari nello studio dei processi psicologici di lettura (vedi Rayner 1998) studio dell influenza del contesto extralinguistico nel processamento del linguaggio Roadside joggers endure sweat, pain and angry drivers in the name of fitness. * * * * * * * * *

7 Paragone: un show di diapositive Vediamo una diapositiva per circa 250msec che ci mostra una porzione di testo Abbiamo un buco di circa 25msec Vediamo la prossima diapositiva per altri 250msec che ci mostra un altra porzione di testo PERCHE PROCEDIAMO PER SALTI?

8 OCCHIO E VISIONE

9 FOVEA PARAFOVEA FOVEA PERIFERIA La fovea, parte centrale dell area visiva, ha la maggior capacità di discriminare piccoli dettagli. Facciamo rapidi movimenti per portare parti di testo non ancora processate nella regione foveale per un processamento dettagliato

10 CIÒ È TIPICO NELLA LETTURA La maggior parte delle malformazioni primitive riguarda gli arti inferiori.

11 MA ANCHE NELL`ESPLORAZIONE SPAZIALE MA ANCHE NELL ESPLORAZIONE SPAZIALE

12 LETTURA E MOVIMENTI OCUARI ALCUNI FATTI DI BASE

13 LETTURA E MOVIMENTI OCUARI FOVEA Fovea: parte centrale dell area visiva, ha la maggior capacità di discriminare piccoli dettagli, 2 gradi di angolo visivo attorno al centro della fissazione (in normali condizioni di lettura 3, 4 caratteri) Paravovea: 5 gradi di angolo visivo attorno alla circonferenza della fovea, bassa capacità di disciminare dettagli, ma possibilità di ricavare informazioni utili; per es lunghezza della parola Periferia, bassissima risoluzione. Si ricavano informazioni quali fine della linea e aspetto del testo

14 Finestra Percettiva: Linguaggio e Movimenti Oculari LETTURA E MOVIMENTI OCUARI Quanto è grande la porzione di testo dalla quale possiamo ricavare informazioni utili? Lettori di sistemi alfabetici (Italiano, Inglese, Tedesco, etc) 3,4 caratteri a sinistra, 14,15 caratteri a destra. In sistemi di scrittura destra verso sinistra (Ebraico) l assimmetria è invertita Quanto è grande lo spazio di riconoscimento di una parola? Generalmente 7/8 caratteri alla destra del punto di fissazione

15 Finestra Percettiva: Linguaggio e Movimenti Oculari LETTURA E MOVIMENTI OCUARI Esperimenti con tecniche di Eye-contingent display change (McConkie and Rayner (1975)) Si interfaccia la macchina che registra i movimenti oculari con un computer che presenta lo stimolo Lo stimolo viene variato in dipendenza del punto di fissazione del soggetto

16 Finestra Percettiva: Linguaggio e Movimenti Oculari LETTURA E MOVIMENTI OCUARI during a saccade because the eyes are moving so testo normale * xxxxxx x xxxcade because the xxxx xxx xxxxxx xx * xxxxxx x xxxxxxx xxxxxse the eyes are mxxxxx xx * moving window Assunzione: quando la finestra ha ampiazza uguale alla finestra percettiva non si trova differenza nelle due condizioni. Viene variata l ampiezza della finestra sino a quando si trovano differenze

17 LETTURA E MOVIMENTI OCUARI Misurazione dei tempi di processamento di uno stimolo: Parametri per parole: - Durata della prima fissazione sulla parola - Gaze duration: somma di fissazioni consecutive su una parola prima di compiere una saccade - Tempo totale di fissazione: somma di tutte le gaze durations Parametri per regioni: - First pass reading time: prima fissazione sulla regione sommata a tutte le fissazioni consecutive sulla regione prima di uscire dalla regione. - Second pass reading time: tempo di rilettura sulla regione - Total reading time: somma di first pass e second pass reading time - Regression: rilettura dell area

18 TECNICA Il laboratorio di eye-tracking del dipartimento di psicologia

21 TECNICA Linguaggio e Movimenti Oculari

23 TECNICA Linguaggio e Movimenti Oculari La macchina (ALS.5000) registra sino a 240 Hz: Matrice di dati grezzi

24 TECNICA Linguaggio e Movimenti Oculari Sappiamo ogni 4 millisec dove è il punto di fissazione del soggetto sulla scena. Lettura registrazione analisi Gli studenti hanno contestato il ministro per le scelte di politica estera Gli studenti ha contestato il ministro per le scelte di politica estera Nelle Regioni Misuriamo: First pass Regressions Gaze time

26 TECNICA Linguaggio e Movimenti Oculari Sappiamo ogni 4 millisec dove è il punto di fissazione del soggetto sulla scena Esplorazione spaziale Registrazione Analisi

27 Studio dei movimenti oculari e Modelli di parsing: Garden Path theory (Frazier (1979), Frazier and Rayner(1982)) Strategie di tipo sintattico, guidate da LC e MA In caso di ambiguità è prodotta la struttura che soddisfa maggiormente LC e MA Procede serialmente; se la struttura prodotta è incompatibile con il resto della frase viene rivista Referential Theory (Crain and Steedman (1985)) In caso di ambiguità sono prodotte tutte le strutture sintattice in parallelo Integra informazioni semantiche, pragmatiche, contestuali selezionanado la struttura piu adeguata per quelle informazioni Il contesto referenziale elimina la struttura non rilevante

28 Garden Path Theory Linguaggio e Movimenti Oculari CASO DI ENUNCIATI LOCALMENTE AMBIGUI: (1) The horse raced past the barn fell (2) Mentre la vecchia rammendava il calzino cadde In (1) raced può essere verbo principale o participio di una frase relativa ridotta sino a quando non incontriamo fell; a questo punto può solo essere participio di una frase relativa ridotta In (2) il calzino può essere complemento di rammendare o soggetto della frase principale sino a quando non incontriamo cadde; a questo punto può solo essere soggetto della frase principale

29 Garden Path Theory Linguaggio e Movimenti Oculari Le strategie di parsing sono di tipo sintattico, guidate da LC e MA (1) The horse raced past the barn fell in (1) il parser genera una struttura dove raced è il verbo principale, ad un primo stadio, guidato da MA e LC Quando il parser incontra fell, deve rivedere la struttura generata

30 Garden Path Theory Linguaggio e Movimenti Oculari Le strategie di parsing sono di tipo sintattico, guidate da LC e MA (2) Mentre la vecchia rammendava il calzino cadde In (2) il parser genera una struttura dove il calzino è complemento di rammendare. Quando il parser incontra rammendava, deve rivedere la struttura generata Vi sono una serie di esperimenti di eye tracking che supportano tale ipotesi (Frazier and Reyner 1982)

31 Rayner and Frazier (1982): Paragonano first fixation and gaze time della regione disambiguante (1) Since Jay always jogs a mile and a half this seems a short distance to him (2) Since Jay always jogs a mile and a half seems a very short distance to him Reading time maggiore in (2) che in (1) In (2) la first fixation è più lunga che in (1) nella regione disambiguante

32 Referential Theory Linguaggio e Movimenti Oculari Un contesto semantico appropriato può eliminare il fenomeno di garden path Tanenhaus et al (1995) : Informazione contestuale determina un referente del discorso che è impiegato nelle strategie di parsing in strutture sintatticamente ambigue

33 Trueswell et al (1999) : Studio online sulle capacità di processamento linguistico nei bambini (1) Put the frog on the napkin in the box (1) Put the frog on the napkin in the box (2) Put the frog that s on the napkin in the box Fig 1 articolo

34 Trueswell et al (1999) : Bambini 5 anni Apri 5yr2a.mov (filmato) ambiguous 2 ref 5 anni Apri 5yr2u.mov (filmato) unambiguous 2 ref 5 anni

35 Trueswell et al (1999) : Adulti Apri adult2a.mov.mov (filmato) ambiguous 2 ref adulti Apri adult2u.mov.mov (filmato) unambiguous 2 ref adulti

36 Trueswell et al (1999) : Linguaggio e Movimenti Oculari Inserisci fig 2 articolo Inserisci fig 3 articolo

37 Trueswell et al (1999) : Linguaggio e Movimenti Oculari Riassunto general discussion dell articolo

38 Lo studio dei movimenti oculari è in espansione nelle scienze della comunicazione Aiuto ai disabili Web design Spot pubblicitari Comportamento del consumatore Incremento die processi di formazione e produzione nell industria

39 APPLICAZIONI AUSILIO DISABILI

43 APPLICAZIONI WEB DESIGN

44 Heat map

45 APPLICAZIONI COMPORTAMENTO DEL CONSUMATORE

46 Incremento die processi di formazione e produzione nell industria

47 APPLICAZIONI Linguaggio e Movimenti Oculari STUDI PUBBLICITARI

48 APPLICAZIONI Linguaggio e Movimenti Oculari Spot televisivi:< filmato spot della pepsi con eye gaze

49