Sintesi della Lingua Italiana dei Segni mediante l utilizzo del Motion Capture e dei metodi procedurali Andreea Barticel Introduzione Le lingue dei segni rappresentano il mezzo principale di comunicazione all interno delle comunità dei sordi e permettono alle persone sorde di acquisire un pieno sviluppo cognitivo all interno della loro comunità. Tale sviluppo cognitivo rappresenta un prerequisito fondamentale per un pieno accesso all istruzione, alla cultura e all inserimento nel lavoro e nell ambiente sociale. Essere in grado di sintetizzare il loro principale mezzo di comunicazione sarebbe senza dubbio di grande interesse per la comunità dei sordi. Inquadramento del tema trattato e del lavoro svolto La sintesi dei segni è spesso vista come una soluzione al problema di comunicazione che si verifica tra le persone sorde e il resto della comunità, quindi il presupposto generale è che basta convertire la voce o la scrittura in segno, e il problema della comunicazione è risolto. Tuttavia, questo approccio non prende in considerazione che le lingue dei segni sono molto diverse da tutte le lingue del mondo e somigliano ben poco alle lingue o ai dialetti piu` parlati all interno dello stesso paese. Di conseguenza, tradurre da una lingua parlata a un linguaggio dei segni è un impresa complessa. La Lingua dei Segni Italiana (LIS) che viene utilizzata dalle persone sorde è una lingua se stante che costituisce sia la loro madrelingua che la lingua maggiormente utilizzata; l italiano viene invece percepito come una lingua straniera. Per queste persone, per esempio, la sottotitolazione di un programma televisivo non può esprimere adeguatamente la stessa profondità di informazioni, mentre la lingua dei segni offre loro una grande partecipazione e comprensione. Innovativita` dei risultati ottenuti ed impatto sulla comunita` sorda Le organizzazioni pubbliche hanno il dovere di fornire servizi a tutta la comunità, comprese le minoranze e le persone con disabilità sensoriali. Attualmente in Italia i programmi televisivi che forniscono questo tipo di servizio sono presenti per lo più ad orari impossibili, dal momento che sottrarre una parte significativa dello schermo per mostrare l interprete LIS potrebbe causare fastidi al pubblico generale. Questo ci indica che vi è una forte necessità di fornire un servizio di questo tipo come opzionale e selezionabile attraverso il digitale terrestre. Inoltre, si è registrata una richiesta sempre più grande di interpreti LIS in ambito educativo, legale e sanitario e si prevede che questa richiesta sarà presto estesa anche alla cultura e ai divertimenti. Lo scenario appena descritto rende evidente la rilevanza della disponibilità di un sistema automatico a basso costo capace di coprire, in modo sostenibile, la richiesta crescente di una vasta gamma di servizi con contenuti in LIS. MONDO DIGITALE N. 41 - Marzo 2012 1
L obiettivo di questa tesi è affrontare le problematiche relative allo sviluppo di una piattaforma di traduzione da italiano segnato, una versione semplificata della lingua italiana, a una corrispondente sequenza di segni nella Lingua Italiana dei Segni (LIS) utilizzando un personaggio 3D realizzato al computer con le ultime tecnologie per riprodurre la sequenza di animazioni. I segni LIS possono essere molto complessi, con azioni che si svolgono sia nello stesso tempo che in modo sequenziale, come una serie complessa di movimenti della mano; per questo la sintesi della LIS deve essere affrontata adeguatamente, considerando le caratteristiche della LIS, i problemi del- la traduzione e anche la linguistica. Inoltre è necessaria una buona conoscenza delle tecniche di modellazione e rendering 3D. Durante la mia ricerca ho progettato un framework per la creazione di animazioni che utilizza la tecnica del motion capture e i metodi procedurali per l animazione di un personaggio 3D che rappresenta un interprete LIS virtuale. La ricerca è stata condotta utilizzando solo un numero limitato di frasi, nel dominio delle previsioni del tempo. La tesi si compone principalmente di due parti: la prima parte intende ripercorrere la letteratura inerente ai sistemi attualmente esistenti di traduzione e sintesi delle lingue dei segni, mentre la seconda ha l obiettivo di proporre e analizzare un sistema di sintesi della Lingua Italiana dei Segni. La seconda parte è stata organizzata nelle seguenti attività: lo studio dei segni LIS dal punto di vista dell animazione, il design, la modellazione e il texturing del personaggio, il design del generatore di segni della LIS ed infine la riproduzione delle animazioni utilizzando un motore di rendering 3D. Figura 1 - L architettura del sistema di traduzione proposto La tesi è stata svolta all interno del progetto ATLAS della durata di tre anni, da gennaio 2009 a dicembre 2011, co-finanziato dalla Regione Piemonte, volto a sviluppare strumenti a supporto della traduzione dalla lingua scritta italiana alla LIS. In particolare, l obiettivo concreto del progetto è lo sviluppo di un traduttore in grado di tradurre frasi dalla lingua italiana naturale nella corrispondente sequenza di segni, attraverso una traduzione intermedia in una forma scritta della LIS, chiamata AEWLIS (ATLAS Extended Written LIS), come descritto in Figura 1. Ciò comporterà l analisi del linguaggio naturale sia dal punto di vista linguistico che strutturale ed infine la generazione di un interprete virtuale MONDO DIGITALE N. 41 - Marzo 2012 2
Realizzazione Durante il periodo di ricerca per la tesi ho realizzato una pipeline di lavoro per la creazione di animazioni realistiche per la sintesi di un sottoinsieme della LIS e, successivamente, la loro visualizzazione utilizzando un motore di rendering 3D. Il lavoro è iniziato con lo sviluppo di un modello di personaggio virtuale che non è altro che la rappresentazione 3D di un interprete LIS. A questo scopo sono stati realizzati due personaggi: Manuel e Donna, rappresentati in Figura 2. Questa parte ha riguardato tutti i passaggi necessari per la progettazione e la modellazione dei personaggi. Una particolare attenzione è stata conferita alla modellazione delle mani dei personaggi, questo perchè il loro aspetto e la loro capacità di compiere movimenti fini è di fondamentale importanza per l animazione dei segni che compongono la LIS. Inoltre, il volto dei personaggi assume un ruolo primario al fine di facilitare la creazione di animazioni facciali e dare maggiore espressività e credibilità al interprete. Figura 2 - Interpreti LIS realizzati: Manuel e Donna Il prossimo passo consiste nella creazione vera e propria delle animazioni da applicare sui personaggi. Tre tecniche sono state utilizzate: il keyframing, i metodi procedurali e il motion capture. Infine, le animazioni acquisite e successivamente raffinate sono state mappate sul personaggio precedentemente creato. Una parte importante del lavoro per la tesi è stato dedicato allo studio della possibile integrazione di animazioni prodotte con tecniche diverse al fine di garantire una animazione realistica e corretta. MONDO DIGITALE N. 41 - Marzo 2012 3
Figura 3 - Dispositivi di motion capture utilizzati: Vicon e Cyberglove II La tecnica prevalentemente utilizzata e` stata il motion capture che è una delle tecniche di animazione più diffuse nella creazione di film di animazione 3D. I sistemi di motion capture vengono utilizzati per registrare il movimento di un attore umano, successivamente il movimento viene elaborato ed applicato al personaggio 3D. Questo da al personaggio un movimento piu` realistico e convincente. Ai fini di questo progetto sono stati resi disponibili due sistemi motion capture per l acquisizione dei dati di animazione 3D: il sistema ottico Vicon e due guanti CyberGlove II, piu` precisamente la versione con 22 sensori, rappresentati in Figura 3. In Figura 4 viene illustrata l architettura di alto livello del sistema di acquisizione motion capture. Il quadro complessivo è composto da tre componenti principali: la fase di input, la mappatura e l analisi, ed infine, l elaborazione e l output. In fase di input, il sistema di motion capture cattura i dati di movimento da un modello umano. La mappatura e il modulo di analisi utilizza i dati di animazione e li mappa sul attore virtuale. Questo modulo permette ai dati acquisiti di controllare tutte le parti del personaggio, ad esempio, utilizzando il movimento di un dito si puo` controllare un braccio. L elaborazione e il modulo di uscita utilizza le informazioni di mappatura con i dati originali per creare un personaggio animato in tempo reale. Figura 4 - Architettura del sistema di motion capture MONDO DIGITALE N. 41 - Marzo 2012 4
An Integrated Approach to Italian Sign Language In Figura 5 è rappresentata una serie di frammenti di un animazione che e` stata realizzata utilizzando le tecniche menzionate Figura 5 - Frames tratti da un animazione realizzata. In LIS: Nord Oientale Rilevanza scientifica dei risultati ottenuti Ad oggi non esiste un sistema in grado di tradurre in modo automatico da italiano scritto alla LIS, e di conseguenza non è stato sviluppato un processo in grado di valutare al meglio tali sistemi. Huenerfauth, uno studioso della Lingua Americana dei Segni, sostiene che i metodi automatici di valutazione della bontà della sintesi di una lingua dei segni non si adattano alle caratteristiche linguistiche della lingua stessa; questa è la ragione principale che rende la valutazione automatica difficile da impiegare per la valutazione del sistema che abbiamo proposto nel progetto ATLAS. Per analizzare i risultati che abbiamo ottenuto abbiamo chiesto a un gruppo di persone sorde dalla nascita` di valutare le animazioni che abbiamo prodotto. Dai primi esperimenti che abbiamo condotto abbiamo notato che le persone sorde hanno valutato le animazioni realizzate come soddisfacenti in termini di grammaticalità, comprensibilità, e naturalezza dei movimenti. Tuttavia, questo processo è attualmente in corso di valutazione, costituendo l ultimo studio da effettuarsi all interno del progetto ATLAS. Conclusione e possibile impatto industriale Il progetto ATLAS propone un sistema di traduzione della LIS e mette in evidenza le necessità di una categoria particolare di persone: la comunità sorda. In base alla valutazione dei risultati che abbiamo ottenuto da parte degli stessi futuri utilizzatori si può affermare che questa metodologia di sintesi della LIS potrebbe essere estesa anche ad altri ambiti come per esempio nella cultura, nella sanità e anche nei divertimenti per garantire a tutti noi le stesse opportunità. MONDO DIGITALE N. 41 - Marzo 2012 5