POLITECNICO DI TORINO. III Facoltà di Ingegneria. Tesi di Laurea

Transcript

1 POLITECNICO DI TORINO III Facoltà di Ingegneria Corso di laurea in Ingegneria Informatica Tesi di Laurea Progetto e ottimizzazione di algoritmi di riconoscimento di forme per il gaze tracking Relatori: Ing. Fulvio Corno Ing. Laura Farinetti Candidato: Emiliano Castellina Luglio 2005

2 Indice generale Indice delle Figure 5 Indice delle Tabelle 8 Introduzione 10 CAPITOLO 1 Gaze tracking Introduzione Cos'è l'eye tracking? Storia dell'eye tracking Possibili applicazioni dell eye-tracking Ergonomia Studio sulla percezione visiva Utilizzo del computer in ambienti di lavoro Disabili motori gravi Head tracking Obbiettivo e struttura della tesi 21 CAPITOLO 2 Sistemi di Gaze tracking Introduzione Cattura delle immagini API per l'acquisizione di immagini Riconoscimento della forma Determinazione del punto fissato (gaze detection) Alcuni sistemi di eye-tracking esistenti Mytobii Eyegaze System Quick Gaze II EagleEyes 38 CAPITOLO 3 Active shape model Introduzione Modello di distribuzione dei punti Picchettatura del training set Allineamento del training set Cattura delle statistiche di un insieme di forme allineate Ricerca delle forme nelle immagini Calcolo dello spostamento indicato per ogni punto del modello Calcolo dei cambiamenti nella posizione e nei parametri della forma Aggiornamento della posizione e dei parametri della forma 50

3 3.4 Implementazione dell'algoritmo 50 CAPITOLO 4 Analisi di fattibilità Introduzione Cattura delle immagini Problematiche nell utilizzo di ASM Difficoltà nel produrre un modello Calcolo della complessità computazionale Determinazione punto fissato (Gaze detection) Fase di addestramento Utilizzo dei pesi del modello Utilizzo dell'indice delle immagini Classificatore senza addestramento 73 CAPITOLO 5 Progettazione del sistema Struttura generale del sistema Programma di Training Cattura di una collezione di immagini Picchettatura delle forme Generazione del modello e delle matrici associative Funzionalità aggiuntive Programma di gaze tracking Scelta dell'utente Scelta del modello e della matrice associativa Gaze tracking AGestione dispositivo di input BRicerca della forma Determinazione del punto fissato ADeterminazione del punto fissato (eye tracking) BDeterminazione del punto fissato (head tracking) Applicazioni AApplicazione - Impostazione BApplicazione Rettangoli CApplicazione Editor di testi Database Scelta del Database Struttura del database 104 CAPITOLO 6 Verifiche sperimentali Introduzione Parametri ottimali di funzionamento 113

4 6.2.1 Numero immagini del training set Prestazioni del sistema Memoria occupata sul disco fisso Utilizzo della memoria RAM Utilizzo del processore 118 CAPITOLO 7 Conclusione e sviluppi futuri Possibili sviluppi futuri Modifiche al programma di training Database centralizzato Utilizzo di due webcam 123 BIBLIOGRAFIA 124 APPENDICE A Anatomia e movimenti dell'occhio 125 Anatomia dell'occhio umano 125 Movimenti oculari 125 APPENDICE B Guida al programma di training 127 Creare un nuovo Training set e catturare una collezione di immagini 127 Creare un nuovo Training Set 127 Catturare un collezione di immagini 127 Creare un nuovo path 127 Eseguire la cattura 128 Caricare una collezione di immagini 128 Catturare una singola immagine da webcam 129 Posizionare i picchetti 129 Occhio 131 Testa 131 Generare il modello matematico e matrici associative 132 Gestire i Training Set 132 Caricare Training set 132 Inserire nuove forme 133 Visualizzare/Eliminare le forme inserite 133 Visualizzare modello 133 Gestione Database 134 Compattare Database 134 Esportare TrainingSet 134 Importare TrainingSet 134 APPENDICE C Guida al programma di gaze tracking 135 Considerazioni sulla webcam 135 Gestione utenti 135 Scelta del Training e Modello 135

5 Provare il modello 136 Eye-tracking 137 Finestra "Touch Image" 137 Come utilizzare le Applicazioni con l'eye-tracking 137 Impostazioni - Options 137 Applicazioni 138 Mouse Move 138 APPENDICE D Esempio di codice 139

6 Indice delle Figure Figura 1.1: esempio di eye tracking 13 Figura 1.2: esempio di eye tracker indossabile 15 Figura 1.3: esempio delle zone osservate con maggior frequenza in una pagina web 17 Figura 2.1: ausilio informatico 24 Figura 2.2: schema sistema gaze-tracking 24 Figura 2.3: Cattura delle immagini 25 Figura 2.4: Riconoscimento della forma 27 Figura 2.5: filtro di Sobel 28 Figura 2.6 : determinazione punto fissato 30 Figura 2.7: immagine di Tobii 36 Figura 2.8: immagine di eyegaze 37 Figura 2.9: Quick Glace in configurazione portatile 38 Figura 3.1: immagini di occhio catturate da webcam 43 Figura 3.2: Picchetti occhi 43 Figura 3.3: Memorizzazione matrice colori 52 Figura 4.1: disposizione webcam Eye tracking 55 Figura 4.2: disposizione webcam Head tracking 55 Figura 4.3: immagine dell'occhio 57 Figura 4.4: posizione picchetti sull'occhio 57 Figura 4.5: immagine del volto 57 Figura 4.6: posizione dei picchetti sulla testa 57 Figura 4.7: fase di addestramento 61 Figura 4.8: variazione della forma del modello in relazione ai pesi 62 Figura 4.9: Verifica 1 e 2, griglia 64 Figura 4.10: Verifica 3 e 4, griglia 3x3 65 Figura 4.11: Verifica 5 e 6, griglia 2x3 65 Figura 4.12: Relazione tra pesi delle forme e zone osservate. Griglia 2x3 66 Figura 4.13: Relazione tra pesi delle forme e zone osservate. Griglia 3x3 66 Figura 4.14: andamento tasso di errore verifiche 5 e 6 67 Figura 4.15: andamento del tempo di classificazione nelle verifiche 5 e 6 68 Figura 4.16 : andamento tasso di errore Griglia 3x4 71 Figura 4.17 : andamento tasso di errore Griglia 3x3 71 Figura 4.18 : andamento tasso di errore Griglia 2x3 72 Figura 4.19: andamento del tempo di addestramento in funzione del numero di forme catturate per ogni zona 72 5

7 Figura 4.20: tasso di errori in funzione del parametro 73 Figura 4.22: andamento del tasso d'errore in funzione della differenza di posizione. Griglia 3x4 76 Figura 4.23 andamento del tasso d'errore in funzione della differenza di posizione. Griglia 3x3 77 Figura 4.24 andamento del tasso d'errore in funzione della differenza di posizione. Griglia 4x4 77 Figura 4.25:andamento del tasso d'errore in funzione di F, Griglia 3x4, Differenza di posizione 0,5 cm 78 Figura 4.26:andamento del tasso d'errore in funzione di F, Griglia 3x3, Differenza di posizione 0,5 cm 78 Figura 4.27:andamento del tasso d'errore in funzione di F, Griglia 2x3, Differenza di posizione 0,5 cm 79 Figura 5.1: applicazione di training 81 Figura 5.2: Applicazione di Gaze tracking 82 Figura 5.3: schema del funzionamento del programma di training 83 Figura 5.4: esempio di punti che costituiscono un PATH 84 Figura 5.5: zona intorno intorno all'occhio da selezionare 85 Figura 5.6: zona della testa da selezionare 85 Figura 5.7: ordine di posizionamento dei picchetti sull'occhio 86 Figura 5.8: ordine di posizionamento dei picchetti sulla testa 86 Figura 5.9: rappresentazione coordinate PUNTO 87 Figura 5.10 : esempio di variazione delle forme del modello della testa 88 Figura 5.11 : esempio di variazione delle forme del modello dell'occhio 88 Figura 5.12: intorno dei picchetti nelle differenti matrici associative 90 Figura 5.13: funzionalità applicativo di gaze tracking 91 Figura 5.14 : finestra di Scelta del modello 92 Figura 5.15 : schema componenti comuni tra head tracking e eya tracking 94 Figura 5.16: indicazione posizione occhio 96 Figura 5.17 indicazione posizione modello della testa 96 Figura 5.18: scambio messaggi eye tracking 97 Figura 5.19: finestra di confronto immagine (eye tracking) 97 Figura 5.21: picchetti utilizzati per il calcolo del punto medio 99 Figura 5.22: dominio di variabilità della posizione del punto medio 99 Figura 5.24: controllo movimento del mouse 100 Figura 5.25 scambio di messaggi tra sistema e applicazioni 102 Figura 5.26: layout applicazione - impostazione 103 Figura 5.27: Applicazione Editor di testo 104 Figura 5.28: schema delle relazioni tra le tabelle del database 106 Figura 6.1: numero forme riconosciute su numero di forme del training set 115 Figura 6.2: percentuale forme riconosciute su forme del training set 115 Figura 6.3: tempi di costruzione dei modelli in funzione del numero di immagini del training set 116 6

8 Figura 6.4: percorso di cattura A 117 Figura 6.5: percorso di cattura B 117 Figura 7.1 Tempi per l'utilizzo del sistema di gaze tracking 122 Figura A: morfologia dell'occhio 126 7

9 Indice delle Tabelle Tab. 2.1 CARATTERISTICHE TECNICHE Mytobii 36 Tab. 2.2: Caratteristiche tencniche Eyegaze System 37 Tab. 2.3: Caratteristiche tecniche Quick Glace II 38 Tab 2.4: Caratteristiche tecniche Eagle Eyes 39 Tab. 4.1: Verifica sperimentale 1 63 Tab. 4.2: Verifica sperimentale 2 63 Tab. 4.3: Verifica sperimentale 3 63 Tab. 4.4: Verifica sperimentale 4 63 Tab. 4.5: Verifica sperimentale 5 64 Tab. 4.6: Verifica sperimentale 6 64 Tab 4.7: Verifica sperimentale 7 69 Tab 4.8: Verifica sperimentale 8 70 Tab 4.9: Verifica sperimentale 9 70 Tab 4.10: Verifica sperimentale Tab 4.11: Verifica sperimentale Tab 4.12: Verifica sperimentale Tab. 4.13: Verifica sperimentale Tab. 4.14: Verifica sperimentale Tab. 4.15: Verifica sperimentale Tab. 4.16: Verifica sperimentale Tab. 4.17: Verifica sperimentale Tab. 4.18: Verifica sperimentale Tab. 5.1: Caratteristiche nell'intorno dei picchetti nelle differenti matrici associative 90 Tab. 5.2 : Tabella Archive 106 Tab. 5.3 : Tabella TrainingSet 107 Tab. 5.4 : Tabella SpotsInfo 108 Tab. 5.5 : Tabella Spots 108 Tab. 5.6 : Shapets 109 Tab. 5.7 : Tabella Matrix 109 Tab. 5.8: Tabella ImagesTs 110 Tab. 5.9: Tabella Collection 111 Tab. 5.10: Tabella ImaColl 111 Tab. 5.11: Tabella PathList 112 Tab. 6.1: Specifiche computer 114 Tab. 6.2: Specifiche webcam 114 8

10 Tab. 6.3: Caratteristiche dei TEST 117 Tab. 6.5: Utilizzo della Ram programma di training 118 Tab. 6.6: Utilizzo della Ram programma di training 119 Tab. 6.7: Utilizzo CPU programma di training 119 Tab. 6.8: Utilizzo CPU programma di gaze tracking 119 9

11 Introduzione Tutti i cittadini hanno pari dignità sociale e sono eguali davanti alla legge senza distinzione di sesso, di razza, di lingua, di religione, di opinioni politiche, di condizioni personali e sociali (art. 3 Costituzione della Repubblica Italiana) Il numero di disabili in Italia secondo le stime di un indagine dell ISTAT sulle salute del è di pari a circa il 5% della popolazione. La percentuale di popolazione invalida è in costante aumento nei paesi industrializzati essenzialmente per l'occorrenza di tre circostanze: l'aumento della vita media : incrementano le persone di età avanzata che sono maggiormente soggette a difficoltà sensoriali,motorie e psichiche; la diminuzione della mortalità infantile: grazie all'efficacia delle terapie mediche è possibile tenere in vita neonati con gravi malformazioni; l'aumento di incidenti non mortali della strada, lavorativi e domestici. 10

12 In questo contesto sono sempre più necessarie nuove tecnologie che permettano di fornire una vita più dignitosa e agevole alle persone disabili. L utilizzo del computer può essere d ausilio alle persone disabili permettendo di comunicare e interagire con l ambiente circostante. Sovente le periferiche di input come mouse e tastiera non sono utilizzabili da utenti disabili, per questo si è reso necessario lo studio di sistemi alternativi per l interazione tra uomo e computer. Il gaze tracking o tracciamento del punto fissato è una tecnica utilizzata per poter controllare il computer tramite la stima del punto osservato sullo schermo dall utente. Esso può basarsi sull analisi e l elaborazione dei movimenti della testa (head tracking) o degli occhi (eye tracking). Nel 2004 il politecnico di Torino è entrato a far parte di COGAIN, una rete di eccellenza per lo sviluppo e la ricerca di tecnologie per l'interazione fra utenti disabili e computer. COGAIN è un consorzio finanziato dall unione europea, costituito da ricercatori, imprese e associazioni di utenti,che ha come scopo il miglioramento della qualità della vita per le persone afflitte da disordini nel controllo motorio. L efficienza, il comfort e l'ergonomia delle tecnologie prodotte è garantita dal forte coinvolgimento delle comunità di utenti nel progetto. Nell ambito di questo consorzio il Politecnico di Torino ha progettato e sviluppato un proprio sistema di gaze tracking finalizzato all ausilio per le persone disabili. 11

13 CAPITOLO 1 Gaze tracking 1.1 Introduzione Per gaze tracking si intende l insieme delle tecnologie hardware e software atte a permettere l interazione tra utente e computer attraverso la cattura e l elaborazione del punto dello schermo osservato. Il gaze tracking si può ulteriormente distinguere in eye tracking ed head tracking a seconda che per il riconoscimento si analizzino gli occhi o la testa dell utente. Le tecniche di eye tracking hanno una diffusione maggiore sia per quanto riguarda il numero di sistemi commerciali esistenti sia per il numero di articoli pubblicati su algoritmi e studi teorici. Questo capitolo tratterà un introduzione all eye tracking di cui si illustreranno la storia e gli ambiti di utilizzo. Un breve paragrafo sarà dedicato all head tracking e ai suo campi di applicazione. 12

14 CAPITOLO 1 Gaze tracking Una volta introdotti i sistemi e le metodologie di gaze tracking verranno descritti gli obbiettivi e la struttura della presente tesi. 1.2 Cos'è l'eye tracking? Per eye tracking o tracciamento oculare si intende la tecnica utilizzata nelle scienze cognitive, in psicologia, nell'interazione fra uomo e computer e in numerosi altri campi per catturare e registrare i movimenti degli occhi. Figura 1.1: esempio di eye tracking Nell'osservazione del contenuto di una schermata di computer gli occhi presentano due comportamenti tipici fondamentali: delle saccadi e delle fissazioni. Le saccadi sono i movimenti che sono volti a posizionare il contenuto dello schermo nella zona di maggior risoluzione dell'occhio. Sono i movimenti più rapidi che il corpo umano possa eseguire: possono superare i 400 gradi al secondo e hanno una durata che si aggira tra i 20 e 50 millisecondi. Le fissazioni sono soste del movimento oculare su singoli elementi interessanti. Questa pause( della durata media di un quarto di secondo) sono volte al recupero e all'analisi del contenuto fissato, il che permette di leggere un testo, interpretare un'immagine,ecc. I movimenti saccadici e le fissazioni si alternano in modo che l'occhio si muova da un punto all'altro dello schermo. La registrazione dell'alternanza tra movimenti saccadici e fissazioni è denominata scanpath. Attualmente sono disponibili quattro tecniche che permettono di registrare i dati relativi ai movimenti oculari: 1. l'elettrooculografia: per mezzo di elettrodi posti vicino agli occhi registra l'attività elettrica prodotta dalla loro rotazione. Le informazioni hanno un buon data-rate (elevati 13

15 CAPITOLO 1 Gaze tracking dati al secondo) ma sono poco precise sulla posizione dello sguardo. 2. La tecnica galvanometrica o della bobina sclerale : i movimenti oculari sono dedotti dalle variazioni del campo magnetico in cui il soggetto è immerso. Le variazioni sono dovute al fatto che sull'occhio del soggetto è posta una speciale lente a contatto contenente un filamento elettrico. La precisione dei dati è elevata ma questa tecnica è molto invasiva, quindi scarsamente usata. 3. La tecnica del riflesso corneale: inviando un piccolo fascio luminoso infrarosso al centro della pupilla, è possibile dedurre i movimenti dell'occhio dalle variazioni del riflesso rinviato. Maggiori dettagli su questa tecnica saranno esposti nella descrizione di alcuni sistemi commerciali di eye-tracking nel paragrafo Le tecniche di analisi dell'immagine: le immagini catturate in tempo reale vengono processate ed elaborate per stabilire il punto osservato. La precisione e le prestazioni sono dipendenti dalla risoluzione del dispositivo di cattura utilizzato e dalla capacità di elaborazione del computer sui cui è in funzione il sistema. Il sistema, oggetto di questa tesi, utilizza queste tecniche. 1.3 Storia dell'eye tracking Lo studio del movimento degli occhi precede la diffusione del computer di almeno 100 anni, un esempio di tali ricerche è Physiologie de la lecture et de l'écriture,scritto dall oftalmico francese Emile Javal nel I primi metodi per tracciare la posizione fissata dagli occhi erano piuttosto invasivi, richiedevano un contatto meccanico diretto con la cornea. Dodge e Cline nel 1901 svilupparono la prima tecnica precisa e non invasiva di tracciamento oculare usando la luce riflessa dalla cornea. Il loro sistema registrava su una lastra fotografica solamente la posizione orizzontale dell occhio e richiedeva che la testa del partecipante fosse senza movimento. Poco dopo, nel 1905 Judd,McAllister e Steel applicarono la tecnica cinematografica per registrare l aspetto temporale del movimento degli occhi in due dimensioni. La loro tecnica registrava il movimento di una piccola particella bianca inserita negli occhi dei partecipanti invece della luce riflessa direttamente dalla cornea. Queste e altre ricerche inerenti lo studio del movimento degli occhi fecero ulteriori progressi durante la prima metà del ventesimo secolo con la combinazione della tecnica cine- 14

16 CAPITOLO 1 Gaze tracking matografica e della riflessione della luce dalla cornea in diversi modi. Negli anni trenta, Miles Tinker e i suoi colleghi iniziarono ad applicare tecniche fotografiche allo studio del movimento degli occhi durante la lettura. Studiarono gli effetti sulla velocità di lettura e i differenti modelli di movimento oculare risultanti dalla variazione di carattere, dimensione di stampa e layout di un testo. Nel 1947 Paul Fitts e i suoi collaboratori iniziarono ad utilizzare la tecnica cinematografica per studiare il movimento degli occhi dei piloti al fine di comprendere come venivano osservati i controlli e gli strumenti nella cabina di pilotaggio durante la fase di atterraggio. Gli studi di Fitts rappresentano la prima applicazione di eye tracking per l ergonomia, ossia uno studio sistematico delle interazioni tra utenti e prodotto per migliorare la progettazione del prodotto. Nel 1948 Hartridge e Thompson inventarono il primo eye tracker che si posizionava sulla testa. Rozzo per gli attuali standard, questa innovazione servì a liberare i partecipanti agli studi dai costrittivi vincoli al movimento della testa. Negli anni sessanta Shackel, Mackworth & Thomas migliorarono il sistema di eye-tracking posizionato sulla testa rendendolo meno fastidioso e riducendo ulteriormente le restrizioni al movimento della testa. Figura 1.2: esempio di eye tracker indossabile La ricerca sul movimento oculare e sull eye tracking rifiorì negli anni settanta, con grandi progressi sia nella tecnologia di eye-tracking, sia nella teoria psicologica del legame tra i processi cognitivi e i modelli di movimento oculare. Molto del lavoro fu focalizzato sulla ricerca in psicologia e fisiologia nel comprendere come l occhio umano funzionasse e cosa potesse rivelare sui processi percettivi e cogniti- 15

17 CAPITOLO 1 Gaze tracking vi. Le pubblicazioni degli anni settanta riportano una stasi nell utilizzo dell eye-tracking per l ergonomia, probabilmente cioè fu dovuto alla difficoltà nelle raccolta e soprattutto nell analisi dei dati. Molti dei rilevanti lavori degli anni settanta riguardavano il miglioramento tecnico per aumentare l accuratezza e la precisione dei tracker. La scoperta che la riflessione multipla dall occhio potesse essere usata per dissociare la rotazione oculare dal movimento della testa incrementò la precisione del tracciamento e aprì la strada allo sviluppo di sistemi senza vincoli di movimento per i partecipanti. Nel 1974 due imprese belliche statunitensi in collaborazione con l esercito e la marina svilupparono ognuna un sistema automatico di eye tracking in tempo reale, utilizzando un minicomputer, Questi sistemi furono i precursori nell utilizzo di sistemi di eye tracking per l interazione uomo macchina in tempo reale. Negli anni ottanta con il diffondersi dei personal computer, i ricercatori iniziarono a studiare come l eye tracking potesse essere applicato alla interazione uomo computer. Dapprima fu utilizzato per lo studio dell ergonomia delle applicazione, in seguito per permettere l utilizzo del computer ad utenti disabili. 1.4 Possibili applicazioni dell eye-tracking In periodi recenti con l evoluzione della capacità elaborativi dei personal computer e il miglioramento continuo della tecnologia hardware relative all acquisizione di immagini l utilizzo dell eye-tracking si è potuto diffondere oltre l ambito accademico di ricerca in cui è stato sviluppato Ergonomia Uno dei campi di maggior utilizzo dei sistemi di eye-tracking è lo studio dell ergonomia dei prodotti per migliorarne la progettazione. Vengono condotti test statistici di osservazione su campioni rappresentativi di individui e grazie ai dati raccolti si ottimizza il layout del prodotto. 16

18 CAPITOLO 1 Gaze tracking Esempi di prodotti interessati da un analisi dell'ergonomia condotta con tracciamento oculare sono: applicativi informatici e siti web : si può ottenere un miglioramento dell interfaccia per agevolare l utilizzo dell applicativo sia da parte di utenti normodotati che da disabili. Grazie a questi studi è stato possibile determinare delle linee guida da rispettare per permettere l accessibilità di siti web per persone ipovedenti, come tipologia e dimensione dei caratteri da utilizzare e abbinamenti cromatici adatti. Un esempio di questo campo di applicazione è rappresentato in figura 1.3, in cui le zone più fissate di una pagina web sono evidenziate da una maggiore altezza in modalità tridimensionale. Figura 1.3: esempio delle zone osservate con maggior frequenza in una pagina web mezzi di trasporto: la posizioni dei controlli e dei comandi vengono progettate per minimizzare errori di lettura e migliorare la funzionalità. Questa tipologia di analisi è diffusa soprattutto in ambito aeronautico. Pubblicità: i marchi dei prodotti vengono posizionati per essere maggiormente visibili nei punti che dagli studi sono risultati più frequentemente fissati. In questo ambito si ha il più diffuso utilizzo dell eye-tracking Studio sulla percezione visiva I sistemi di tracciamento del movimento oculare vengono utilizzati, in ambito di ricerca in psicologia, per creare modelli che relazionano la posizione fissata da un soggetto alle facoltà di lettura, apprendimento e comprensione. Studi recenti dello psicologo inglese Richard Wiseman hanno dimostrato che una persona 17

19 CAPITOLO 1 Gaze tracking non vede in realtà l immagine fissata dagli occhi, ma una rielaborazione che il cervello fa di essa. In questa rielaborazione si ha una modifica dell immagine reale con l omissione di particolari superflui ed in attesi. Un esempio di tale rielaborazione selettiva del cervello si è risultato da un esperimento svolto su 10 piloti di aviazione civile. Il test consisteva nel far provare ai piloti con un simulatore di volo un atterraggio e di registrare i tramite tecniche di eye tracking la zona osservata in ogni momento. Durante il test il simulatore visualizzava improvvisamente sulla pista di atterraggio un aereo. Quattro dei dieci piloti, partecipanti al test, non si sono accorti di nulla e hanno proseguito la manovra di atterraggio. Le registrazioni effettuate dall'eye tracker hanno evidenziato che i piloti hanno fissato la zona in cui è apparso l'aereo, ma il cervello ha omesso tale informazione perché inattesa e non ritenuta possibile Utilizzo del computer in ambienti di lavoro Data l elevato costo dei dispositivi di eye-tracking il loro utilizzo è limitato al momento all ambiente militare. Un sistema di tracciamento oculare è utilizzato all interno dei caschi dei piloti di aviazione per interagire col computer di bordo e visualizzare informazioni. Esistono anche visori speciali utilizzati dall esercito collegati a computer indossabili, in questo caso l eye tracking è utilizzato come strumento di puntamento per selezionare le funzionalità del computer. In linea di massima un interfaccia di eye tracking è utilizzabile in tutti gli ambienti lavorativi in cui l operatore non ha la possibilità di utilizzare le mani per gestire e controllare un computer Disabili motori gravi Una delle applicazioni più utili dell eye tracking è dare la possibilità a persone affette da inabilità motorie gravi di utilizzare un personal computer. Il personal computer può eseguire programmi ad hoc che consentono all utente di comunicare e di interagire con l ambiente circostante. Esempi di patologie e disturbi in cui i sistemi di eye tracking possono essere strumenti efficaci sono: 18

20 CAPITOLO 1 Gaze tracking Sclerosi laterale amiotrofica (SLA): una malattia degenerativa che interessa un gruppo specifico di cellule del midollo spinale (il primo e il secondo motoneurone). Queste cellule nervose svolgono la funzione fondamentale di trasmettere ai muscoli i comandi per il movimento. La scomparsa dei motoneuroni causa una progressiva atrofia muscolare: i muscoli volontari non ricevono più i comandi provenienti del cervello e, nel tempo, si atrofizzano, portando a una paralisi progressiva dei quattro arti e dei muscoli deputati alla deglutizione e alla parola. Purtroppo non è stata ancora individuata una terapia in grado di sconfiggere questa patologia. Solo in una piccola percentuale di casi sono state riscontrate possibili cause di origine genetica, mentre perlopiù la causa scatenante della SLA è ignota. Il decorso medio è di circa tre anni; la morte è provocata quasi sempre per insufficienza respiratoria.. E conosciuta come morbo di Lou Gehrig, dal nome di un famoso giocatore di baseball a cui per primo fu diagnosticata. Lesioni del midollo spinale. Paralisi cerebrale. Sclerosi multipla: è una malattia autoimmunitaria provocata da una risposta anomala del sistema immunitario contro il sistema nervoso centrale. I sintomi della malattia dipendono dalla zona del sistema nervoso colpita, i più frequenti sono annebbiamento della vista, difficoltà di coordinazione dei movimenti, tremore, paralisi e spasticità muscolari. In alcuni pazienti la malattia alterna periodi di miglioramento con assenza dei sintomi e fasi acute di remissione. In altri pazienti la malattia progredisce portando a disabilità permanenti. Lesioni cerebrali. Distrofia muscolare: la malattia è dovuta alla mancanza di distrofina, una proteina che protegge i muscoli dai traumi durante la contrazione. E una malattia di origine genetica, dovuta ad un difetto del cromosoma X per questo colpisce praticamente solo maschi (infatti le donne hanno due cromosomi X ed è improbabile che entrambi siano danneggiati). Le forme più comuni sono quelle di Duchenne e quella di Becker, la prima evolve in una paralisi totale dei muscoli, mentre la seconda ha un andamento meno debilitante. 19

21 CAPITOLO 1 Gaze tracking Sono numerose le applicazioni progettate appositamente per facilitare la comunicazione delle persone disabili: si va dalla semplice rappresentazione di una tastiera su schermo collegata ad un sistema di sintesi vocali, all utilizzo di un complesso linguaggio simbolico per esprimere le necessità. Un altra interessante applicazione è l interazione tra sistemi di eye-tracking e casa domotica. Per casa domotica si intende un abitazione progettata o riadattata per essere controllabile tramite computer. Un utente disabile può quindi avere una notevole autonomia ed effettuare semplici azioni come accendere una luce,accendere il forno o aprire una porta senza l assistenza di altre persone. Nel computer che controlla l abitazione può essere implementato un sistema di gaze-tracking. 1.5 Head tracking Per head-tracking si intende un processo di analisi e di riconoscimento della testa dell utente al fine di effettuare un interazione con un sistema informatico. Esistono diversi sistemi di head-tracking,presenti in letteratura e in commercio, che possono essere raggruppati in base alla funzione svolta. Possiamo distinguere essenzialmente tre funzioni: Χ Il riconoscimento della posizione della testa: può avvenire come per l eye tracking sia attraverso dispositivi indossati dall utente (caschi e occhiali) sia tramite analisi dell immagine acquisite da dispositivi di cattura video. La determinazione della posizione della testa può essere utilizzata per la stima della zona o del punto dello schermo osservato dall utente. I campi di utilizzo di questi sistemi sono: Ludico: esistono in commercio molti dispositivi hardware(caschi e occhiali) che permettono di sostituire ai joystick il movimento della testa. Professionale: vi sono applicazioni e dispositivi che attraverso i movimenti della testa permettono il movimento in ambienti di realtà virtuale. Questi sistemi sono pochi e utilizzati soprattutto nelle progettazione o vendita di edifici. Ausilio per disabili: tipicamente le tecniche di head-tracking sono utilizzate dai 20

22 CAPITOLO 1 Gaze tracking sistemi di eye-tracking per il controllo degli errori o per migliorare l accuratezza della stima del punto osservato. Χ Il riconoscimento del volto: avviene tramite riconoscimento dell immagine acquisite da dispositivi di cattura. Questi strumenti sono utilizzati per l identificazione e l autenticazione degli utenti per l accesso a sistemi ad elevata sicurezza o per la ricerca di individui all interno di un database da parte delle forze dell ordine. Χ Il riconoscimento dell espressione del volto: questi sistemi sono utilizzati al momento sono in ambito di ricerca, hanno l intento di riconoscere lo stato d animo dell utente (allegria,tristezza,attenzione,noia, ) a partire dall analisi dell immagine del volto degli utenti. 1.6 Obbiettivo e struttura della tesi Lo scopo di questa tesi è l analisi e lo sviluppo di un sistema di gaze tracking per l ausilio alle persone con problemi motori gravi. Per realizzare questo progetto si è partiti da un sistema già esistente sviluppato nel corso di tesi precedenti. Un ostacolo alla diffusione dei dispositivi di gaze tracking commerciali descritti nei paragrafi precedenti è l elevato costo che non permette alla maggior parte delle persone di poterli utilizzare; solitamente i sistemi più accurati e all avanguardia sono acquistati da associazione e da ospedali e l utente per poterne usufruire deve essere portato in questi luoghi. Per dare la possibilità alla maggior parte degli utenti di accedere ad un ausilio informatico,indipendentemente dalle condizioni economiche, si è scelto di sviluppare un sistema che utilizzi dispositivi di cattura immagini a basso costo come semplici webcam. Mantenendo come principale vincolo progettuale il basso costo si sono dovute accettare delle limitazioni per quanto riguarda le prestazioni e l accuratezza del sistema. Si è progettata e ottimizzata l'integrazione nel sistema di gaze tracking di un particolare algoritmo di ricerca forme denominato active shape model. Il sistema sviluppato permette tramite head tracking di utilizzare i movimenti della testa per muovere il puntatore del mouse. Dopo un breve periodo di apprendimento l'utente è in grado di controllare con elevata precisione il puntatore, tanto da consentire di utilizzare senza alcuna modifica le normali applicazioni del sistema operativo. 21

23 CAPITOLO 1 Gaze tracking Per quanto riguarda l'eye tracking,a seconda delle condizioni di luce e del posizionamento dell'utente, il sistema riesce a determinare la zona fissata tra un minimo di quattro ad una massimo di sedici zone in cui può essere diviso lo schermo. Sono state sviluppate applicazioni specifiche per essere in grado di interagire con il sistema di eye tracking. Una particolarità di tali applicazione è la possibilità di modificare l'interfaccia in base alla precisione del sistema. La struttura della tesi rispecchia i diversi passi effettuati per realizzare il progetto; di seguito sono brevemente descritti i capitoli in cui è suddiviso il presente elaborato. Nel CAPITOLO DUE Sistemi di gaze tracking vengono descritte i diversi componenti che costituiscono un generico sistema di gaze tracking. Sono illustrati alcuni algoritmi e tecniche presenti in letteratura adatti a realizzare le funzioni di cattura immagine,riconoscimento forme e determinazione del punto fissato. Nel CAPITOLO TRE Active shape model viene descritto dettagliatamente l algoritmo di riconoscimento forme scelto per essere implementato all interno del sistema. Nel CAPITOLO QUATTRO Analisi di fattibilità viene proposta un analisi delle problematiche incontrate per la realizzazione del sistemo sia a livello teorico che a livello implementativo. Nel CAPITOLO CINQUE Progettazione del sistema vengono spiegate le soluzioni adottate per ovviare ai problemi riscontrati durante la fase di analisi. Nel CAPITOLO SEI Verifiche sperimentali vengono riportati i risultati delle verifiche sperimentali effettuate per la misurazione delle prestazioni e il controllo dell accuratezza del sistema. Nel CAPITOLO SETTE Conclusione e sviluppi futuri vengono elencati alcuni possibili sviluppi futuri che il progetto descritto in questa tesi potrà avere. 22

24 CAPITOLO 2 Sistemi di Gaze tracking 2.1 Introduzione Un ausilio informatico che utilizzi le tecniche di gaze tracking è caratterizzato da tre componenti: Χ Un sistema di elaborazione delle informazioni di input che fornisce le coordinate del punto o della zona fissati. Χ Uno strato applicativo che utilizza i dati sul punto fissato per svolgere una determinata funzione (sintesi vocale, azionare un dispositivo,...) Χ Uno stadio di uscita che è il risultato dell'esecuzione delle applicazioni. Uno schema della strutturazione di un ausilio informatico che utilizzi il gaze tracking è illustrato in figura 2.1. In questo capitolo sarà analizzato il principio di funzionamento del primo componente di dell'ausilio informatico descritto sopra, ossia un sistema di gaze tracking. 23

25 CAPITOLO 2 Sistemi di Gaze tracking Gaze tracking Applicazioni Output Applicazioni di sistema Figura 2.1: ausilio informatico Sarà descritto un generico sistema di riconoscimento del punto fissato basato su algoritmi di riconoscimento forme. Per ogni componente del sistema saranno descritte le diverse implementazioni presenti in letteratura. Ogni sistema complesso per poter essere efficientemente sviluppato, modificato e aggiornato deve avere un elevata modularità, ossia deve essere strutturato in modo tale da comprendere componenti il più possibile indipendenti. Ogni modulo può essere modificato e migliorato indipendentemente dagli altri, con l'accortezza però di mantenere invariate le interfacce di input e output con gli altri moduli. Una struttura esemplificativa di un sistema di tracciamento oculare è rappresentato dallo schema in figura 2.2. Figura 2.2: schema sistema gaze-tracking 2.2 Cattura delle immagini Lo scopo del primo blocco del sistema (fig. 2.3) è quello di acquisire immagini da un dispositivo di cattura video, come ad esempio una webcam, e fornirle in un formato specifico al blocco successivo. 24

26 CAPITOLO 2 Sistemi di Gaze tracking Figura 2.3: Cattura delle immagini Per permettere la comunicazione fra un sistema informatico e un dispositivo di cattura immagini sono possibili diverse alternative: L'implementazione di un driver a partire dalle specifiche tecniche che svolge solo le funzioni necessarie agli altri moduli del sistema. Il termine driver indica un'interfaccia di comunicazione fra periferico di acquisizione e sistema. Questa alternativa è la più complessa da attuare sia per la difficoltà nella programmazione a basso livello sia perché poche case produttrici forniscono le specifiche dettagliate dei propri dispositivi. Inoltre il funzionamento è indissolubilmente legato all'hardware quindi se si cambia il dispositivo si deve modificare quasi integralmente il codice del modulo. Per contro si ha un notevole aumento dell'efficienza del sistema, poiché si possono sviluppare solo le funzioni necessarie. Utilizzo dei driver forniti dalla casa produttrice del dispositivo di acquisizione: in questo caso si utilizzano le funzioni elementari fornite per costruire il modulo di acquisizione. Utilizzando questo metodo si ha una media complessità di progettazione ed implementazione poiché i driver forniti tipicamente svolgono funzioni elementari che non garantisco un livello di astrazione del dispositivo elevato, quindi si è ancora molto legati alla struttura dell'hardware utilizzato. Utilizzo di librerie per l'acquisizione di immagini: si utilizzano API (application programming interface) già sviluppate che astraggono totalmente il dispositivo di cattura e si occupano di interfacciarsi con l'hardware rendendo semplice lo sviluppo di applicazioni. Il vantaggio dell'utilizzo di librerie già sviluppate è senza dubbio la semplicità di sviluppo che consentono, d'altro canto però non forniscono un totale controllo del dispositivo e garantiscono prestazioni inferiori ai metodi precedentemente descritti. 25

27 CAPITOLO 2 Sistemi di Gaze tracking API per l'acquisizione di immagini Sono innumerevoli le librerie presenti in commercio per l'elaborazione e acquisizione di immagini, di seguito saranno brevemente descritte le librerie più utilizzate. Microsoft Video for Windows: è un API per la cattura ed elaborazione di video già introdotto nei sistemi Windows a 16 bit. Il numero di funzioni esportate è limitato e nonostante i parecchi anni passati dalla progettazione risulta di facile utilizzo. Questa API è già presente nei più diffusi ambienti di sviluppo, quindi non è necessario il pagamento di royalties aggiuntive per integrarlo nelle proprie applicazioni. Victor Image Processing: è un API prodotta dalla Catenary System che svolge funzioni di cattura,memorizzazione ed elaborazione di immagini. Ha il pregio di essere efficiente e veloce, ma ha il grave difetto di non permettere il passaggio dell'immagine acquisita direttamente in memoria. I precedenti lavori di tesi che utilizzano tale libreria per ovviare a questo hanno dovuto utilizzare una ram disk. Il costo per l'utilizzo della librerira è di circa 500 dollari. Intel Image Processing Library: è una API opensource che offre numerosissime funzioni di elaborazione e analisi dell'immagine. Esempi di alcune funzioni esportate sono: Conversione di formato. Applicazione di filtri. Trasformazioni: rotazioni,ridimensionamenti. Ricerca dei contorni. 2.3 Riconoscimento della forma Questo modulo ha come dati di ingresso l'immagine catturata e fornisce come output la forma trovata dopo l'analisi effettuata (figura 2.4). Figura 2.4: Riconoscimento della forma La maggior parte degli algoritmi di riconoscimento forme effettua come prima operazione sull'immagine l'applicazione di un filtro con lo scopo di enfatizzare i contorni delle imma- 26

28 CAPITOLO 2 Sistemi di Gaze tracking gini e ridurre i dati da analizzare. I contorni di un immagine sono determinati da zone ad elevata differenza d intensità, per rilevarli si analizzano i punti di discontinuità del gradiente. I principali algoritmi di rilevazione dei contorni presenti in letteratura sono i seguenti: Gradienti discreti e trasformata di Laplace (Roberts 1965, Prewitt 1970, Sobel 1970, Kirsh 1971): sono basati sulla ricerca degli zeri della trasformata di Laplace del gradiente dell immagine. Il gradiente è calcolato in due direzioni effettuando il prodotto di convoluzione fra l immagine e matrici diverse per ogni implementazione. Trasformata di Laplace della Gaussiana: sviluppato da Marr e Hildreth nel 1980 consiste nella ricerca degli zeri della trasformata di Laplace dell immagine a cui è applicata precedentemente una maschera Gaussiana. Il filtro gaussiano ha lo scopo di sfumare i contorni meno marcati dall immagine,così da evitare molti zeri della funzione trasformata dovuti ha piccole discontinuità di intensità. Canny Edge Detector: sviluppato da John Canny nel 1983, questo algoritmo dapprima massimizza il rapporto segnale rumore dell immagine poi minimizza le risposte dei singoli contorni evitando così falsi riconoscimenti. Dopo i suoi studi Canny ha trovato una funzione costituita dalla somma di quattro esponenziali che se applicata all immagine effettua le operazioni sopra descritte. Un esempio è rappresentato in figura 2.5 in cui è applicato il filtro di Sobel. Figura 2.5: filtro di Sobel Il passo successivo all'applicazione (o meno) di filtri è la ricerca vera e propria della forma che può essere basata su modelli statistici o funzioni matematiche predeterminati, oppure calcolati durante una fase di addestramento del sistema. Di seguito sono sinteticamente descritti alcuni algoritmi per la costruzioni di modelli per il 27

29 CAPITOLO 2 Sistemi di Gaze tracking riconoscimento forme. 1. Modelli artigianali : sono modelli flessibili costruiti dall unione di semplici sottocomponenti, come circonferenze, linee o archi che hanno determinati gradi di libertà nel posizionamento relativo e possibile di variazioni di scala e di orientamento. Quando si ricerca una forma nell immagine, si attiene prima una forma approssimata del modello che viene rifinita cambiando i diversi sottocomponenti uno alla volta. Questi modelli sono tipicamente utilizzate nella ricerca di forme in ambito medico come valvole cardiache e vertebre. 2. Modelli di serie di Fourier di forme: questi modelli utilizzano espansioni di funzioni trigonometriche. Le forme prodotte sono funzioni parametriche, alla variazione dei parametri si originano forme differenti. I modelli così generati sono quasi infinitamente deformabili, e non contengono informazioni a priori sulla forma. 3. Active shape model (ASM): utilizza un modello statistico deformabile dell oggetto da ricercare. Il modello è generato da un insieme di immagini campione in cui vengono identificati i punti significativi della forma dell oggetto, denominati picchetti. Nel modello viene anche memorizzato il valore del livello di grigio nell intorno di ogni picchetto. La ricerca della forma avviene iterando il processo di deformazione del modello fino ad ottenere una differenza minima fra i livelli di grigio memorizzati e quelli dell immagine analizzata. Maggiori dettagli su questo algoritmo verranno esposti nei capitoli successivi. 4. Active appearence model (AAM): anch esso utilizza un modello statistico deformabile dell oggetto da ricercare, ma si differenzia dall ASM nella memorizzazione dei livelli di grigio. In questo algoritmo viene generato sia un modello per la forma dell oggetto sia un modello per il livello di grigi (texture dell immagine). La ricerca della forma avviene tramite confronto tra l immagine analizzata e le immagini sintetizzate dalla deformazione del modello. Verifiche sperimentali hanno dimostrato che l active shape model è più veloce nella ricerca della forma, mentre l active appearence model ha una precisione maggiore e richiede un numero minore di punti per la costruzione del modello. 5. Snakes o contorni attivi: i contorni attivi sono curve definite all interno del dominio di un immagine, che possono essere modificate in base a vincoli interni alla curva stes- 28

30 CAPITOLO 2 Sistemi di Gaze tracking sa e vincoli esterni dovuti all immagine su cui sono applicate. I vincoli interni ed esterni sono definiti in modo tale da conformare la curva al contorno della forma da ricercare. Vi sono due tipi di algoritmo per contorni attivi presenti in letteratura: 5.1. Contorni attivi parametrici: l immagine è utilizzata per definire funzioni potenziali i cui minimi sono utilizzati come vincoli su cui far spostare le curve che definiscono i contorni Contorni attivi geometrici: basati sulla teoria dell evoluzione delle curve sui flussi geometrici, questi modelli definiscono un contorno attivo come un insieme di livello di una funzione scalare in un dominio spaziale. E stato dimostrato che i metodi sopra riportati ottengo risultati equivalenti, con la differenza sostanziale che i contorni attivi geometrici nell analisi delle immagini con più oggetti riescono ad adattarsi automaticamente, mentre quelli parametrici necessitano ulteriori modifiche per poter distinguere diverse forme. 2.4 Determinazione del punto fissato (gaze detection) Lo scopo di questo modulo è stabilire il punto o la zona dello schermo fissato basandosi sulle forme di occhio o testa riconosciute(figura 2.6). Figura 2.6 : determinazione punto fissato Per effettuare questa funzione si deve stabilire una distinzione in classi delle forme in ingresso, in modo da porre in relazione ogni forma in ingresso con l indicazione della zona fissata in uscita. Il processo di classificazione può essere distinto in tre fasi: 29

31 CAPITOLO 2 Sistemi di Gaze tracking 1 Addestramento: si produce un modello da un insieme di addestramento. L addestramento è definito supervisionato quando viene indicata per ogni oggetto dell insieme di addestramento la classe a cui appartiene, mentre esistono anche tecniche di addestramento non supervisionato in cui vengono distinte e generate automaticamente le classi. Il risultato può essere presentato in varie forme: alberi di decisione,regole,formule matematica,ecc.. 2 Stima dell accuratezza: si stima la precisione del modello un insieme di test. Si misura la percentuale di errori commessi sull insieme di test, che non deve coincidere con l insieme di addestramento per non avere stime troppo ottimistiche dell accuratezza. 3 Utilizzo del modello: si classificano oggetti di classe non conosciuta a priori. Per costruire un modello efficiente si deve effettuare una preparazione dei dati: Data Cleaning: molti algoritmi di classificazione effettuano come primo passo una rielaborazione in modo da: 1. eliminare rumore: solitamente tramite smoothing. 2. eliminare eventuali outlier : per outlier si intendono dati con caratteristiche completamente diverse dagli altri. 3. trattare gli attributi mancanti: solitamente si sostituisce la media dei valori per l attributo. Analisi di rilevanza degli attributi: denominata anche feature selection, ha lo scopo di ottimizzare le prestazioni e migliorare il modello. Si base sul presupposto che il tempo impiegato a scegliere gli attributi rilevanti di un oggetto sia minore del tempo per eseguire un addestramento su tutti gli attributi dell oggetto. Trasformazione dei dati: solitamente si effettua una normalizzazione dei dati, oppure si assegna una gerarchia di priorità ai diversi attributi dell oggetto da classificare. Criteri di valutazione e confronto per metodologie di classificazione sono: Accuratezza nella predizione. Velocità: tempo per costruire il modello e tempo per utilizzarlo. 30

32 CAPITOLO 2 Sistemi di Gaze tracking Robustezza: misura l abilità del modello nel fare previsioni in condizione di dati errati o mancanti. Scalabilità: indica se l efficienza è mantenuta anche aumentando la quantità di dati del modello. Interpretabilità: possibilità di assegnare un significato intuitivo al modello generato. Di seguito sono riportati alcuni sistemi e algoritmi che possono essere utilizzati per svolgere le funzione sopra descritte. Classificazione con Alberi di Decisione: il modello è rappresentato da un albero in cui: Χ I nodi interni rappresentano test sugli attributi. Χ I rami rappresentano i risultati del test al nodo padre. Χ Le foglie rappresentano una classe o una distribuzione di probabilità di una classe Χ L apprendimento consiste nella costruzione dell albero di decisione e nello sfoltimento (o pruning) per eliminate rumori nei dati o outlier. Il modello viene utilizzato controllando i valori degli attributi del dato in ingresso e confrontandolo a partire dal nodo radice fino ad arrivare ad un nodo foglia. Regole di Classificazione: una regola di classificazione è una formula logica del tipo: IF <antecedente> THEN <conseguente> L antecedente è rappresentato da una serie di test, come i nodi dell albero di decisione, oppure da una formula logica. Il conseguente dà la classe da assegnare agli oggetti che soddisfano l antecedente. Per generare un insieme di regole si può utilizzare un albero di decisione, oppure utilizzare algoritmi di copertura, che vengono così definiti perché ad ogni passo coprono un sottoinsieme degli oggetti della classe. Un esempio di algoritmo di copertura è PRISM che opera nel seguente modo: o Si parte da una regola di base senza condizioni. o Si migliora la regola aggiungendo dei test che migliorano l accuratezza, ossia il rapporto tra gli oggetti che soddisfano sia la premessa che la conclu- 31

33 sione e il numero di oggetti che soddisfano la premessa. o Ogni nuovo test riduce la copertura della regola. CAPITOLO 2 Sistemi di Gaze tracking o Ci si ferma quando l accuratezza è 1 o la regola non si può dividere. Classificatore Bayessiano: è un metodo statistico di classificazione, predice la probabilità che un dato oggetto appartenga ad una determinata classe. Ogni istanza dell insieme di addestramento modifica in maniera incrementale la probabilità che un ipotesi sia giusta. Sia X un oggetto da classificare, e C1,.Cn le possibili classi. I classificatori Bayessiani calcolano la probabilità che un oggetto X appartenga ad una classe Ci come: P C i X P X C i P C i P X Si scegli la classe Ci che massimizza tale probabilità. Χ P C i è la probabilità di rilevare la classe Ci, si calcola dall insieme di addestramento facendo un rapporto fra la frequenza in cui appare la classe Ci e il numero totale di elementi. Χ P(X) è la probabilità di avere come dato l oggetto X, solitamente si considera uguale per ogni elemento. Χ P X C i è la probabilità di avere l oggetto X nella classe Ci. Se si considerano oggetti con molti attributi per poter rendere possibili i calcoli, essi vengono assunti come indipendenti. Reti Bayessiane: sono costituite da un grafo diretto aciclico e da una tabella di probabilità condizionata. Nel grafo ogni nodo è una variabile casuale ed ogni arco rappresenta una dipendenza probabilistica. Queste reti superano il limite del semplice classificatore Bayessiano permettendo di esplicitare le relazioni che esistano fra i vari attributi di uno stesso oggetto. Metodi basati sulle istanze: memorizzano gli oggetti che fanno parte dell insieme di addestramento e rimandano ogni calcolo al momento in cui un nuovo oggetto deve essere classificato. Questo tipo di valutazione viene anche definita lazy evaluation (valutazione pigra) e si contrappone agli altri metodi definiti di eager evaluation. 32