ebook interattivo per l apprendimento della lettura

POLITECNICO DI MILANO Scuola di ingegneria dell Informazione POLO REGIONALE DI COMO Corso di Laurea Specialistica in Ingegneria Informatica ebook interattivo per l apprendimento della lettura Relatore: Prof. Nicoletta Di Blas Tesi di laurea di: Amati Alessandro matr.740544 Frigerio Marco matr.739308 Anno accademico: 2010/11

POLITECNICO DI MILANO Scuola di ingegneria dell Informazione POLO REGIONALE DI COMO Master of Science in Computer Engineering Interactive ebook for reading learning Supervisor: Prof. Nicoletta Di Blas Master Graduation Thesis by: Amati Alessandro matr.740544 Frigerio Marco matr.739308 Academic Year: 2010/11

Indice Sommario... 6 Abstract... 7 1 Introduzione... 8 1.1 Tema e obiettivi... 8 1.2 Schema del lavoro... 10 2 Background e stato dell arte... 12 2.1 Background... 12 2.1.1 ebook... 12 2.1.2 Tecnologia vocale... 16 2.1.2 Tangible User Interfaces nell educazione... 22 2.2 Stato dell arte... 25 2.2.1 ebook... 25 2.2.2 ebook Reader... 27 3 Studio dell applicazione... 31 3.1 Concept... 31 3.2 Discussione tecnologica... 33 3.2.1 Requisiti tecnologici... 33 3.2.2 Training o non training... 33 3.2.3 Scelte tecnologiche... 35 3.3 Obiettivi e requisiti... 38 3.3.1 Target utenti... 38 1 P a g i n a

3.3.2 Obiettivi... 39 3.3.3 Requisiti... 39 4 Main application... 41 4.1 Scelte Progettuali... 41 4.1.1 Esperienza... 41 4.1.2 Interfaccia... 46 4.2 Scenari utente... 47 4.3 Scelte relative al riconoscimento vocale... 50 4.3.1 Scelte di lettura... 50 4.3.2 Scelte tecniche di riconoscimento... 50 4.4 Distribuzione dei componenti... 53 4.5 Procedure... 55 4.5.1 Use Case Diagram... 55 4.5.2 Activity diagram... 58 4.6 Architettura del software... 62 4.6.1 Class Diagram... 62 4.6.2 Package diagram... 72 4.7 Caratteri di presentazione del testo... 74 4.8 Screenshot dell applicazione... 75 5 Applicazione di Authoring... 84 5.1 Scelte Progettuali... 84 5.1.1 Esperienza... 84 5.1.2 Interfaccia... 86 2 P a g i n a

5.2 Scenari utente... 87 5.3 Distribuzione dei componenti... 88 5.4 Procedure... 89 5.4.1 Use Case Diagram generale... 89 5.4.2 Sequence diagram... 91 5.5 Architetture del software... 93 5.5.1 Class Diagram... 93 5.5.2 Package Diagram... 101 5.6 Caratteri di presentazione del testo... 103 5.7 Controlli relativi all editing del testo... 104 5.8 Screenshot dell applicazione... 107 6 Conclusioni e sviluppi futuri... 114 7 Bibliografia... 118 7.1 Articoli... 118 7.2 Documenti tecnici... 120 7.3 Siti web... 120 3 P a g i n a

Indice figure Figura 1: Esempio di grammatica... 51 Figura 2: Codice che raccoglie le ipotesi del riconoscimento... 52 Figura 3: Distribuzione Componenti Main Application... 53 Figura 4: Use Case Main Application... 55 Figura 5: Activity Diagram livello 1 Main Application... 58 Figura 6: Activity Diagram livello 2-3 Main Application... 60 Figura 7: Class Diagram Main Application... 62 Figura 8: Package Diagram Main Application... 72 Figura 9: Caratteri Main Application... 74 Figura 10: Screenshot frame SelezioneLibro (Main Application)... 75 Figura 11: Screenshot frame Login (Main Application)... 76 Figura 12: Screenshot frame Home (Main Application)... 77 Figura 13: Screenshot frame LetturaLibro (Main Application)... 78 Figura 14: Screenshot esempio livello 1... 79 Figura 15: Screenshot esempio livello 2... 80 Figura 16: Screenshot esempio livello 3... 80 Figura 17: Screenshot frame VerificaComprensione (Main Application)... 81 Figura 18: Screenshot frame PaginaGioco (Main Application)... 82 Figura 19: Screenshot frame TabellaSuccessi (Main Application)... 83 Figura 20: Distribuzione Componenti Authoring... 88 Figura 21: Use Case Authoring... 89 Figura 22: Sequence Diagram Authoring... 91 Figura 23: Class Diagram Authoring... 93 Figura 24: Package Diagram Authoring... 101 Figura 25: Screenshot frame CreazioneLibro (Authoring)... 107 Figura 26: Screenshot frame HomeCreazione (Authoring)... 108 4 P a g i n a

Figura 27: Screenshot frame CreazionePagina (Authoring)... 109 Figura 28: Screenshot frame CreazioneLivello (Authoring)... 110 Figura 29: Screenshot frame CreazioneGioco (Authoring)... 112 Figura 30: Screenshot frame CreazioneTestComprensione (Authoring)... 113 5 P a g i n a

Sommario Questo lavoro di tesi consiste nella realizzazione di un prototipo di ebook interattivo, dotato di riconoscimento vocale, il cui scopo è quello di supportare e stimolare l'apprendimento della lettura; è stata inoltre realizzata un applicazione di "authoring", necessaria per la realizzazione del suddetto supporto. Il target di utenza principale dell ebook s identifica nei bambini in età prescolare o frequentanti il primo anno di scuola primaria; inoltre, a genitori/insegnanti, viene fornito un feedback con i dati collezionati durante la lettura. L applicazione di authoring invece è rivolta all autore del libro ed è stata pensata in modo da non richiedere particolari competenze tecniche per la creazione dell ebook. L utilizzo del riconoscimento vocale rappresenta una sostanziale novità nel mondo degli ebook, in quanto attualmente sul mercato non esiste un sistema avente questa caratteristica. Il riconoscimento del parlato avviene parola per parola, in modo tale da risultare più appropriato ai bambini. Per il riconoscimento è stato scelto un software senza addestramento a causa delle limitate disponibilità hardware dovute all utilizzo di un Tablet PC. Nonostante l assenza della fase di addestramento del software, si riesce ad ottenere un elevata precisione e buone prestazioni grazie all utilizzo di file di grammatiche specifici, che identificano piccole porzioni di testo a cui il software fa riferimento per generare diverse ipotesi di riconoscimento ordinate per attendibilità. Ulteriore peculiarità è costituita dall utilizzo di un interfaccia tangibile, in quanto l ebook è stato progettato per un Tablet Pc touch screen, nonostante possa funzionare anche con un normale pc. La tangibilità favorisce un'interazione più facile e immediata per i bambini di questa età. Nel corso del lavoro abbiamo tenuto degli incontri con una maestra della scuola primaria per avere utili indicazioni per capire come affrontare le necessità specifiche dei bambini di questa età. Pagina 6

Abstract This thesis work involves the realization of a prototype of interactive ebook, with speech recognition, whose goal is to support and encourage the reading learning; an authoring application, necessary to realize this support, has also been implemented. The main ebook users target is identified in the children in preschool age or attending the first year of primary school. Moreover, the data concerning the children s reading are collected to provide a feedback to parents/teachers. The authoring application, instead, is addressed to the book s author and has been designed in order to avoid particular technical requirements in ebook creation. The use of speech recognition is a substantial innovation in the ebooks world, since, despite the strong trend of the new devices towards the interaction, a system with this feature doesn t exist on the market at the moment. The voice recognition happens word by word in order to get the most appropriate method for this kind of users, considering the high possibility of reading mistakes. A software without training has been chosen for the recognition because of the limited hardware availability due to the use of a Tablet Pc. Despite this, it s possible to get high accuracy and good performances thanks to the use of specific grammar files. These files identify small portions of text to which the software refers to create different hypotheses of recognition put in order according to reliability. Another peculiarity is that the ebook has been carried out with the feature of TUI (Tangible User Interface), as the use through the touch screen Tablet Pc is allowed, although it may even work with the use of a standard PC. The tangibility grants an easier and immediate interaction for the children taken into considerations. During our work we had meeting with a primary school teacher and we got useful indications to better understand how to meet the children needs. Pagina 7

1 Introduzione 1.1 Tema e obiettivi Nonostante le iniziali perplessità riguardanti il fenomeno dell ebook, questo supporto si sta via via diffondendo. Non è più visto come un inutile accanimento all utilizzo della tecnologia, ma come uno strumento che la sfrutta per ovviare a problemi relativi al comune libro cartaceo e ne incrementa le potenzialità. Un proficuo risvolto della diffusione dell ebook è rappresentato dal suo impiego nel campo dell educazione e dell istruzione. In particolar modo, si è rivelato estremamente interessante l utilizzo di tale strumento nell ambito dell apprendimento infantile. Ciò è reso possibile dalle caratteristiche stesse dell ebook, che per sua natura risulta particolarmente attraente nei confronti di questo specifico target di utenza. Le qualità che rendono tale strumento così efficace sono non solo la novità nel tipo di supporto, ma anche le caratteristiche grafiche. Rispetto all utilizzo del tradizionale libro cartaceo, avendo a disposizione un supporto informatico diventa possibile sviluppare un interazione tra utente e libro,proponendo diversi contenuti. Questo lavoro ha come obiettivo la creazione di una nuova tipologia di ebook che, oltre alle caratteristiche originarie, consenta all utente di operare attivamente. In particolare il supporto che andremo a realizzare consente un interazione vocale, dove, attraverso un sistema di Automatic Speak Recognition, si riconoscerà il parlato del bambino. Questa caratteristica rappresenta una profonda novità nel campo degli ebook. Il nostro scopo è creare un ebook per bambini che si trovano nelle prime fasi di apprendimento Pagina 8

della lettura. Per supportare questo naturale processo, il bambino potrà leggere e affrontare diverse attività, a seguito delle quali il sistema offrirà un feedback relativo alla correttezza delle risposte prodotte. Un ulteriore funzionalità di questa applicazione sarà quella di sfruttare i dati raccolti durante la lettura delineando un profilo personale che può essere esaminato da genitori o insegnati per avere un quadro delle capacità di lettura e comprensione del bambino e degli eventuali progressi. Il contenuto dell ebook potrà essere facilmente ed intuitivamente personalizzato dagli autori del libro grazie alla realizzazione di una seconda applicazione di authoring che non richiede la presenza di specifici requisiti tecnici. Pagina 9

1.2 Schema del lavoro Questa trattazione sarà articolata nel modo seguente: Nel capitolo 1 viene definito il tema, andando a concentrarci in modo particolare sull ambito degli ebook e sulla diffusione che hanno avuto nella società moderna. Si passa poi all obiettivo del lavoro, definendo in generale qual è l ambito di applicazione del progetto. Il capitolo 2 è suddiviso in due sezioni principali. In una prima parte, chiamata di background, si sviluppa una trattazione teorica dell argomento, definendo principi e concetti fondamentali relativi a ebook, Tangible User Interfaces (TUI) e sistemi vocali. Nella seconda parte, invece, si analizza lo stato dell arte, quindi ciò che è già presente nel settore. Si pone particolarmente l attenzione al campo dell ebook, concentrandosi soprattutto su quelli dedicati all infanzia. Si verifica, inoltre, se esistono sistemi volti al supporto all apprendimento della lettura con riconoscimento vocale. Nel capitolo 3 viene svolto uno studio preliminare di quello che si andrà a realizzare. Innanzitutto, si identificano le tecnologie necessarie e si ricerca per ognuna cosa è disponibile sul mercato effettuando una scelta tra le varie alternative trovate, specificandone le ragioni. Si definiscono poi i fondamenti del nostro progetto: il committente, il target utenti, gli obiettivi e i rispettivi requisiti. Il capitolo 4 e 5 rappresentano la parte principale del nostro lavoro. Sulla base dei dati raccolti nel capitolo precedente, si effettuano le scelte progettuali relative alla main application e all applicazione di authoring andando a definire quello che sarà il corpo principale del progetto. Attraverso specifici diagrammi UML se ne evidenzia la struttura e le funzionalità principali. Si forniscono inoltre alcuni dettagli stilistici e funzionali relativi alle due tipologie di applicazioni realizzate. Pagina 10

Nel capito 6 sono raccolte le conclusioni e sono delineati possibili sviluppi che possono migliorare l esperienza dell utente rispetto l applicazione attuale e scenari futuri a cui un ulteriore sviluppo del prototipo potrà portare Pagina 11

2 Background e stato dell arte 2.1 Background Per quanto riguarda lo studio preliminare sul quale si è fondato il nostro progetto, ci siamo concentrati principalmente su tre settori fondamentali: ebook Tecnologie vocali Tangible User Interfaces (TUI) nell educazione Questi sistemi non sono correlati tra loro, ma un approfondita conoscenza degli aspetti che li riguardando è fondamentale per la progettazione e la realizzazione delle applicazioni. Oltre agli ebook e le tecnologie vocali, si è scelto di effettuare un approfondita ricerca riguardo le Tangible User Interface nel campo dell insegnamento per bambini in quanto, visto la particolare tipologia di utenza trattata, risulta un utile strumento per l apprendimento. Cercheremo ora di fornire una descrizione più dettagliata di ciascuno di essi. 2.1.1 ebook Un ebook, in italiano libro elettronico, è un libro in formato digitale. Si tratta quindi di un file consultabile su computer, smartphone, palmari ed appositi lettori digitali. Il termine deriva dalla contrazione delle parole inglesi electronic book e viene utilizzato per indicare la versione digitale di una qualsiasi pubblicazione. Ciò che viene spontaneo pensare è che l ebook sia la semplice trasposizione in digitale di un qualsiasi libro, in cui ciò che cambia è soltanto la modalità con cui può essere letto; tuttavia il termine lettura di un libro elettronico è riduttivo, poiché le funzioni di un ebook possono andare ben al di là della semplice lettura del testo. Pagina 12

Quando parliamo di ebook possiamo parlare quantomeno di tre tipi di ebook differenti, con proprietà e funzionalità diverse ma caratteristiche comuni che li rendono, a pieno titolo, libri elettronici: ebook che sono scansioni a posteriori di un prodotto nato per l editoria tradizionale. ebook che sono la ridigitazione di un testo esistente. ebook borndigital, cioè testi che nascono appositamente come ebook, con tutte le funzionalità e l interattività possibili in un supporto digitale. Sebbene un qualunque computer sia potenzialmente in grado di permettere la lettura di un ebook, si definiscono ebook reading device solo quei dispositivi dotati di caratteristiche tali da poter essere usati in maniera analoga a quella di un libro cartaceo. Le caratteristiche essenziali che un ebook reading device dovrebbe avere sono: Essere dotato di una fonte autonoma di energia. Avere dimensioni e peso simile a quelle di un libro cartaceo. Permettere la lettura in condizioni ambientali (illuminazione ecc.) simili a quelle in cui può essere letto un normale libro cartaceo. È possibile suddividere i vari dispositivi hardware disponibili sul mercato dotati delle suddette caratteristiche in Tablet Pc, palmari e lettori dedicati. Tablet Pc: è un computer portatile al quale sono aggiunte diverse funzionalità hardware, come la possibilità di ruotare lo schermo di 180 gradi in modo da renderlo simile, nel modo d'uso, ad un blocco per gli appunti. Oltre ai classici sistemi d input (mouse, tastiera ), è previsto anche l'uso di un pennino o direttamente della mano che, tramite software opportunamente predisposto, consente di interagire con lo schermo. Questi apparecchi, grazie alla loro flessibilità, consentono di svolgere attività molto diverse tra loro ed hanno generalmente una potenza di calcolo più che sufficiente per gli ebook. Potendo fare uso di Pagina 13

sistemi operativi molto diffusi, i Tablet Pc possono leggere molti formati diversi di ebook, ma hanno generalmente lo svantaggio di essere un po' troppo ingombranti e pesanti. Palmari: sono dispositivi che grazie alle ridotte dimensioni possono essere facilmente trasportati. Anche se sono nati per essere delle agende elettroniche, i palmari si sono arricchiti di funzionalità soprattutto per quello che riguarda il campo multimediale. La potenza di calcolo e la capacità di memoria che offrono, pur non raggiungendo quella dei computer portatili, sono comunque tali da permettere di memorizzare centinaia di libri e leggere anche gli ebook più complessi. I principali limiti di questi dispositivi sono da ricercare nelle dimensioni dello schermo, che non permettono di visualizzare molto testo, e nella scarsa autonomia di cui dispongono. Lettori di ebook: appartengono a questa tipologia tutti quei dispositivi (anche molto diversi fra loro) appositamente progettati per essere dei lettori di ebook. Nonostante alcuni vantaggi come l ampia autonomia e lo schermo creato ad hoc, questi supporti hanno come svantaggio quello di poter utilizzare un numero limitato di formati. Dal crescente interesse verso gli ebook, è scaturito un rumoroso dibattito all interno del mondo editoriale internazionale. L Editoria italiana è apparsa, inizialmente, molto impaurita e pessimista riguardo tale innovazione, temendo una svalutazione del proprio prodotto e la perdita di fette di mercato, mostrandosi piuttosto rigida e poco creativa verso nuove opportunità. Ciò nonostante ad oggi (Febbraio 2011), gran parte dei maggiori editori italiani hanno una propria piattaforma di distribuzione di libri digitali, o li distribuiscono attraverso altre piattaforme. Nonostante la titubanza, dunque, il mercato si muove anche in Italia e i segnali sono positivi. Il progetto di cui ci siamo occupati riguarda la realizzazione di un ebook da utilizzare nell ambito dell insegnamento per bambini, nel quale questa risorsa Pagina 14

sta sempre più assumendo rilevanza. Questo incremento nell utilizzo della tecnologia nel campo dell apprendimento infantile è reso possibile anche grazie anche allo Stato che, attraverso la legge 133/2008, prevede che dall anno scolastico 2011-2012, il collegio docenti adotta esclusivamente libri utilizzabili nelle versioni on line scaricabili da internet o mista. Pagina 15

2.1.2 Tecnologia vocale La tecnologia vocale consta sostanzialmente di due sistemi distinti: il riconoscimento vocale ASR (Automatic Speech Recognition); la sintesi vocale TTS (Text To Speech). La prima tecnologia permette il riconoscimento del parlato dell utente, mentre la seconda converte un testo in audio destinato all utente. 2.1.2.1 Automatic Speech Recognition Molti fattori in questi ultimi anni hanno contribuito alla definitiva maturazione della tecnologia di riconoscimento vocale e le conquiste più importanti di questo cammino di crescita sono: Riconoscimento Vocale Continuo invece che Discreto Fino a pochi anni fa era necessario scandire bene le parole dettate, già però nel 1993 un importante centro di ricerca Italiano, l IRST, aveva prodotto il primo motore di riconoscimento vocale continuo in lingua Italiana. Disponibilità Risorse Hardware La tecnologia vocale è fortemente "resource consuming", ha bisogno cioè di rilevanti risorse di memoria e soprattutto velocità della CPU. Oggi questo muro è stato superato notevolmente e quindi con i computer attuali è possibile far funzionare benissimo queste tecnologie vocali. Superamento della dipendenza dell utente dal training dei motori Fino a poco tempo fa era necessario addestrare il software di riconoscimento vocale per molto tempo, oggi quei tempi si sono notevolmente ridotti fino a circa 5 minuti di addestramento oppure completamente estinti utilizzando un vocabolario limitato. Superamento dei microfoni close talk Tempo addietro era indispensabile fornirsi di costosi microfoni adatti alla dettatura di tipo headset, oggi basta acquistare una videocamera con microfono per avere un ottimo strumento con una minima spesa. Pagina 16

Il motore ASR, quindi quello per il riconoscimento vocale, è il più complesso. Riconoscere le parole pronunciate, infatti, è un operazione estremamente articolata e consiste nell analisi statistica del segnale in uscita dal microfono. Esistono sostanzialmente due tipi di riconoscimento vocale: per comando e per dettatura. Il riconoscimento vocale per comando è il più semplice dei due e comporta un minore utilizzo di risorse. In questo caso l utente può pronunciare soltanto un insieme limitato di parole e viene utilizzato per l interazione dell utente con gli applicativi. Oggi questo tipo di riconoscimento vocale è indipendente dall utilizzatore e quindi non si ha bisogno di addestramento da parte del motore. Il riconoscimento vocale per dettatura libera invece ha bisogno di maggiori risorse di sistema ed ha anche un maggior tasso di errore, che diminuisce all aumentare del tempo utilizzato per addestrare il motore di riconoscimento. Di seguito è riportata un analisi riguardante le varie alternative presenti sul mercato utile per la scelta del software più appropriato. MOTORI OPEN-SOURCE Esistono diversi software open-source che permettono il riconoscimento vocale. Di particolare rilevanza sono i motori Sphinx e Julius. Essendo il campo del riconoscimento vocale ancora non molto conosciuto, se non del tutto inesplorato da molti, la qualità dei prodotti open-source non eccelle. In particolare si è riscontrata, dalla visione di una serie di test e dalla prova di alcune versioni dimostrative, una scarsa efficienza (difficoltà nel riconoscimento, tempi di attesa prolungati), mancanza di precisione nel riconoscimento della lingua italiana e scarsa integrazione con le altre applicazioni. MICROSOFT Microsoft con l uscita di Windows Vista ha iniziato a integrare nei sistemi operativi motori di riconoscimento vocale. Ha sviluppato le Pagina 17

Speech API (Speech Application Programming Interface), che consentono ai programmatori di sviluppare programmi che utilizzino il riconoscimento vocale. I linguaggi di programmazione che possono usufruire di queste interfacce sono C, C++ e Visual Basic. Sono fornite interfacce per utilizzare il riconoscimento sia sotto forma di comando sia di dettato. Numerose versioni hanno portato a un raffinamento della qualità di riconoscimento e delle prestazioni. Il sistema offerto da Microsoft pecca però nella qualità del riconoscimento della lingua italiana. DRAGON NATURALLY SPEAKING E il prodotto maggiormente diffuso poiché ha un ottimo rapporto qualità-prezzo. Presenta un elevata accuratezza nel riconoscimento, con ottime prestazioni. Attraverso una fase di addestramento e all utilizzo del software, il numero di errori nel riconoscimento del parlato diventa quasi nullo. Di fatto Dragon Naturally Speaking, in seguito ad una fase di test, raggiunge una precisione del 99%, che migliora con l'uso. L ultima versione di Dragon Naturally Speaking presenta inoltre un opzione che permette di escludere dal riconoscimento vocaboli di esitazione (come ad esempio e, ma ). Questo sistema necessita però di elevati requisiti hardware. In particolare sono richiesti: CPU o Minima: 1 GHz Intel Pentium o equivalente processore AMD o Consigliata: 1.8 GHz Intel Dual Core o equivalente processore AMD Pagina 18

RAM o Minima: 1 GB per Windows XP e Windows Vista, 2 GB per Winodws 7 o Consigliata: 2 GB per Windows XP e Windows Vista, 4 GB per Winodws 7 ANDROID Il sistema operativo Android, essendo open-source, mette a disposizione le api e risulta quindi possibile sfruttare il software di riconoscimento integrato con il sistema operativo. Dopo avere effettuato delle prove, il riconoscimento si è dimostrato poco preciso, in modo particolare quando non c è una scansione ottimale delle parole. LOQUENDO E il software di riconoscimento vocale migliore disponibile sul mercato. E utilizzato da grandi aziende come ad esempio TOM TOM. Loquendo ASR è un riconoscitore vocale di ultima generazione per applicazioni vocali. E indipendente dal locutore e riconosce con grande affidabilità un ampio vocabolario in parlato continuo, persino in ambienti rumorosi. Nel riconoscimento lavora su un vocabolario, in gergo tecnico grammatica. L utente ha la possibilità di creare da nuovo o modificare le grammatiche, ovvero il lessico dal quale il sistema attinge per eseguire il riconoscimento, in base alle proprie esigenze e avere prestazioni migliori facendo riferimento a un vocabolario limitato ad un particolare contesto o situazione. Loquendo ASR è disponibile per tutti i principali sistemi operativi, nelle versioni a 32 e 64 bit, e sulle piattaforme embedded: SERVER Pagina 19

Microsoft Windows (Server 2008, Server 2003), Linux (Red Hat Enterprise, SuSE, CentOS) DESKTOP Microsoft Windows (7, Vista, XP) AUTOMOTIVE Genivi, Linux Embedded, Microsoft Auto, QNX, VxWorks MOBILE Android, iphone OS, LiMo, Maemo, Moblin, MeeGo, PalmOS, Symbian OS, Windows Mobile EMBEDDED Linux Embedded, Windows Embedded Standard, Windows Embedded CE, RTEMS Loquendo ASR possiede un insieme di funzionalità semplici e potenti che garantiscono una tecnologia di riconoscimento vocale robusta: Una sofisticata capacità di barge-in, per garantire elevata reattività e robustezza al rumore e alle voci di sottofondo, che vengono escluse dal riconoscimento. Nuovi metodi, brevettati, per aumentare le capacità di riconoscimento in condizioni di rumore. Un meccanismo flessibile di reiezione basato sulla confidence di parola e di frase. Una gestione del flusso di dialogo che si avvale dei valori di confidenza per ciascuna delle ipotesi N-Best restituite dal sistema a livello di frase e di parola. Un efficace riduzione di memoria impegnata: i Ros (oggetti che raccolgono la conoscenza necessaria per svolgere il riconoscimento) possono essere sia permanenti (condivisi da tutti Pagina 20

i canali di riconoscimento) sia dinamici (caricati in tempo reale quando servono e rilasciati dopo l utilizzo). Un ulteriore raffinatezza caratteristica di questo software è il fatto che ad ogni ipotesi formulata viene associato un valore di confidenza che indica quanto il risultato trovato sia attendibile. I produttori di sistemi di riconoscimento e sintesi vocale mettono a disposizione SDK inerenti a diversi linguaggi di programmazione, ovvero dei kit di sviluppo utilizzati dai programmatori per estendere il prodotto o per implementare nuove soluzioni. In questo modo è possibile integrare le potenzialità e le caratteristiche dei sistemi con le proprie applicazioni senza dover utilizzare le interfacce utente fornite dal prodotto commerciale. 2.1.2.2 Text to Speech La sintesi vocale è un processo certamente più semplice e del tutto indipendente dall utente. Il parametro più importante da tenere in considerazione in questo caso, è la somiglianza della voce a quella umana e quindi alla sua comprensione e naturalezza. I motori di sintesi più recenti si sono ormai allontanati da quella metallicità che li caratterizzava fino a pochi anni fa. Questi risultano oggi molto comprensibili, non affaticanti e molto simili alla voce umana, grazie all implementazione della prosodia (la parte della linguistica che studia l'intonazione, il ritmo, la durata e l'accento nel linguaggio parlato), la musicalità e le variazioni di tono e di cadenza della voce. Pagina 21

2.1.2 Tangible User Interfaces nell educazione Le Tangible User Interfaces (TUI) sono delle interfacce utente con informazioni digitali fruibili attraverso un interazione fisica diretta. I bambini sono degli osservatori che utilizzano tutti i loro sensi mentre esplorano il mondo attorno a loro. L interazione fisica con il mondo è un aspetto critico nella loro vita, e influenza in modo sostanziale le loro abilità cognitive. Conoscere interagendo è un concetto fondamentale per i bambini e si può realizzare in diverse forme: toccando, gustando, manipolando e costruendo oggetti. Molte di queste interazioni avvengono mentre i bambini stanno giocando. Associando queste attività con la potenza interattiva delle tecnologie digitali si possono raggiungere risultati nella crescita culturale e nell apprendimento del bambino. Le interfacce tradizionali sono inappropriate per i bambini a causa delle limitate capacità motorie e cognitive. Inoltre i bambini vogliono muoversi, toccare cose, quindi possiamo immaginare la difficoltà a stare di fronte a un monitor, tastiera, mouse per lungo tempo. Spesso le TUI richiedono poco tempo per essere comprese, poiché delle istruzioni lunghe e complesse non sono necessarie quando i bambini possono imparare toccando ed esplorando. Diversi esempi di studi si possono trovare riguardo a TUI per bambini. Molte persone hanno studiato come la tecnologia può incrementare l apprendimento dei bambini durante il gioco. Lo sviluppo di sistemi TUI appositamente per bambini è diventato popolare nell ultimo decennio, poiché hanno la grande capacità di coinvolgere bambini di età scolastica in attività che sviluppano la loro conoscenza. La maggior parte della ricerca sulle interfacce tangibili per bambini è focalizzata sulla costruzione e sullo sviluppo di sistemi, piuttosto che spiegazioni su come e perché la tangibilità possa causare particolari effetti nell apprendimento. I primi studi sostenuti esplorano i potenziali benefici di TUI che supportano il divertimento e l apprendimento dei bambini. Ad esempio, Pagina 22

Price nel 2003 progettò un gioco di avventura TUI per capire l efficacia in merito a questi particolari benefici. Dichiarò che questo tipo di interazione incoraggia l impegno, l eccitamento e la collaborazione. Tuttavia, queste valutazioni furono qualitative e soggettive. Africano nel 2004 progettò e implementò TUI come un tool di apprendimento per supportare la collaborazione dei bambini della scuola primaria durante le lezioni. McNerney nel 2004 basandosi su uno studio sulle interfacce fisiche, rilevò che l utilizzo di giochi elettronici favorisce lo sviluppo delle capacità di pensiero nel bambino; inoltre le interfacce utente tangibili rendono l utilizzo dell oggetto più accessibile e immediato. Questi studi contribuiscono alla crescita della conoscenza basata su TUI per supportare la crescita del bambino attraverso divertenti attività di apprendimento. Un aspetto fondamentale da prendere in considerazione nella progettazione di una TUI è il punto di vista dei bambini. I bambini hanno i loro gusti, curiosità e bisogni che non sono gli stessi degli adulti. I designers di nuove tecnologie per i bambini devono tenere conto del fatto che essi non sono una sorta di piccoli adulti ma una categoria completamente differente di utenti con la loro cultura e complessità. Perciò è stato necessario concentrarsi sullo studio dei bambini come utenti della tecnologia, proponendo dei test di usabilità con i bambini come partecipanti. Druin nel 2002 sviluppò un framework per capire il ruolo che i bambini possono giocare nel processo di progettazione di tecnologie, in particolare di quelle che supportano l apprendimento. Si concentrò su come coinvolgere i bambini nelle varie fasi del design, producendo delle linee guida riguardo a come condurre test di usabilità con i bambini. Si giunse alla conclusione che coinvolgere bambini (6-10 anni) in test di usabilità è relativamente facile. Le tecniche includono test longitudinali e questionari da compilare iterativamente. Molti ricercatori hanno esplorato i campi del divertimento, del gioco e dell apprendimento. Il divertimento contribuisce ad incrementare la motivazione Pagina 23

nel dedicarsi ad una attività, e in questo modo, può anche contribuire a un apprendimento efficace attraverso il gioco. I bambini trovano divertente l apprendimento non formale quando si impegnano e si dedicano ad una attività. Read, MacFarlaine, and Casey svilupparono nel 2002 un insieme di tools per misurare il divertimento tra i bambini di età compresa dai 5 ai 10 anni. Definirono il divertimento come una dimensione composta da sopportazione, impegno e aspettative. Su questa linea Price nel 2003 descrisse 5 elementi determinanti che possono contribuire ad un apprendimento divertente e sono: Esplorazione attraverso interazione Impegno Riflessione Immaginazione, creatività Collaborazione Pagina 24

2.2 Stato dell arte In questo paragrafo viene presentato ciò che il mercato offre in materia di ebook nell ambito dell insegnamento a bambini. Per analizzare in maniera esaustiva lo stato dell arte è opportuno prendere in esame sia gli ebook che gli ebook reader. Per quanto riguarda gli ebook si è posta particolare attenzione ai prodotti per bambini di maggior rilevanza presenti sul mercato. Nello studio degli ebook reader, invece, sì è analizzato il mercato andando a ricercare quei lettori costruiti appositamente per questa particolare tipologia di utenza. Nonostante Kindle sia il principale lettore di libri elettronici presente sul mercato, non è stato tenuto in considerazione nel nostro studio, in quanto non presenta caratteristiche particolarmente innovative dal punto di vista dell interazione con l utente e non si è mai dedicato in modo privilegiato al settore dell infanzia. 2.2.1 ebook Disney Digital Book La Disney ha presentato recentemente i Disney Digital Books, il nuovo servizio che permette a bambini e genitori di accedere online a più di 500 titoli della Disney. L offerta di Disney Digital Books è diversa dai tradizionali ebook. I libri della Disney non sono esportabili su lettori come il Kindle, ma sono colorati e possono interagire con il lettore. L obiettivo della Disney è avvicinare i nativi digitali alla lettura, grazie a un offerta che rinnova i libri tradizionali grazie all interattività del web. Pagina 25

Il servizio Disney Digital Books è a pagamento: l abbonamento è di 8.95 dollari al mese e 79.95 dollari all anno. International Children s Digital Library ICDL è un progetto internazionale, che fa il suo debutto sul Web nel 2002. I partner principali sono la National Science Foundation, l Internet Archive, la University of Maryland e altri importanti istituti culturali non solo americani tra cui la Biblioteca Internazionale della Gioventù di Monaco di Baviera. ICDL è una biblioteca digitale di ebook per bambini, che attualmente contiene circa 400 libri in più di 30 lingue. I testi presenti sono scansioni di libri stampati di riconosciuto valore letterario e pedagogico. I libri sono in edizione integrale e in lingua originale: possono quindi essere letti da cima a fondo senza limiti né necessità di pagamento di royalities. Per questo motivo una parte importante del progetto è dedicata allo sviluppo di agevoli interfacce di lettura. I tre lettori sviluppati, il traditional, il comic e lo spiral reader, permettono ai bambini di scegliere la modalità di fruizione preferita. Il libro per bambini è un prodotto molto particolare in cui, oltre al testo scritto, tutto ciò che è para-testo riveste un enorme importanza. Per i bambini il libro non è solo né principalmente il testo in esso contenuto, ma anche un oggetto fisico da utilizzare quando e dove si vuole, da leggere sdraiati, da portarsi a scuola, da annusare e toccare. La lettura a schermo è faticosa per gli adulti alfabetizzati, ancora più per i bambini che hanno appena iniziato a sviluppare le capacità di decodifica del testo scritto. Per tutti questi motivi la creazione di lettori il più possibile accattivanti e interattivi (non potendosi ICDL occupare dei Pagina 26

reader devices su cui gli utenti fruiranno della collezione) è diventata una delle proprietà del progetto. Alice per ipad Alice in Wonderland è un libro interattivo specifico per dispositivi ipad, sviluppato da Atomic Antelope e disponibile in AppStore. Questo ebook consente una maggiore interazione con il testo tramite visualizzazioni di scene animate e immagini interattive, un modo innovativo di leggere un classico della letteratura mondiale come Alice in Wonderland. 2.2.2 ebook Reader Nook Kids Barnes&Noble, uno degli ebook reader più apprezzati negli Stati Uniti, ha deciso di conquistare anche il mondo dell infanzia e lancia Nook Kids, realizzato esclusivamente per i bambini dai tre agli otto anni. Ora i bambini vivono già il futuro e potranno ascoltare le favole con un ebook che conterrà circa 12.000 titoli, sarà colorato e avrà uno schermo sensibile al tocco. E non solo, bambini potranno anche interagire mentre ascoltano i testi Pagina 27

multimediali. E non ci sono solo libri di favole ma anche cartoni animati, giochi e animazioni. Il Nook di Barnes&Noble non è ancora arrivato in Italia, ma è molto conosciuto negli Stati Uniti perché consente di accedere ad un vasto database di libri e quotidiani sfogliabili nei classici schermi con inchiostro elettronico in bianco e nero. Ora Barnes&Noble ha deciso di rivoluzionare il proprio e-reader presentando il Nook Color, un elegante "tablet" con schermo da sei pollici dotato di sistema operativo Android e connettività Wi-Fi. Il Nook Color non è però un tablet a tutti gli effetti: utilizza il sistema operativo di Google ma non ne sfrutta tutte le caratteristiche. L'interfaccia è limitata alla lettura di libri, l'accesso al catalogo di Barnes&Noble e ad applicazioni selezionate, non all'intero catalogo dell'android Market. Di base vi è l'integrazione con i social network Facebook e Twitter, in cui è possibile aggiornare i messaggi di stato o condividere le proprie esperienze di lettura. Ed è proprio con il lancio del Nook Color che viene inaugurata la sezione dedicata ai bambini. Infatti, ora nel catalogo di Barnes&Noble, approfittando anche dello schermo più carino di questo ebook reader, compaiono libri colorati. Barnes&Noble con il Nook Color lancia una grande sfida al Kindle di Amazon, il primo dispositivo di lettura entrato sul mercato. Oltre al Nook Kids, da sottolineare anche un altra novità: per la prima volta viene introdotta la possibilità di farsi prestare un libro elettronico da un utente amico. Le regole sono semplici: è gratuito, il prestito non può essere rinnovato, non può superare le due settimane e nel periodo di affitto non può essere consultato dal proprietario. Il nuovo lettore di casa Barnes&Noble sarà disponibile dal 19 novembre al prezzo di 249 dollari. Pagina 28

ixl Fisher-Price ha lanciato da luglio 2010 sul mercato il modello ixl, che qualcuno ha definito un cucciolo di ipad. Gli stessi designer e ingegneri della Fisher Price hanno dichiarato di essersi ispirati proprio all ipad di Apple. Pensato per i bambini dai 3 ai 6 anni, l ixl è un e-book reader, un lettore di musica, un notebook, un agenda, un visualizzatore di foto, una piattaforma per video game e programmi per disegnare. Esteticamente, è un dispositivo molto piccolo che si apre come un libro. Sulla parte sinistra ci sono pulsanti e altoparlante; sulla destra si trova il touch screen, molto colorato e con icone di notevoli dimensioni. E compatibile i sistemi operativi Apple e Windows e possiede uno slot per schede SD e una porta USB. L ixl è commercializzato negli Stati Uniti al prezzo di 79,99 dollari a cui si devono aggiungere 24,99 dollari di software aggiuntivi di base. Baby book Il Baby Book, ideato da SabahElectronics, è un prodotto semplice da usare ed innovativo, in quanto contiene tantissime storie che possono essere lette o ascoltate dai bambini grazie ad un interfaccia semplice e lineare. L'estrema versatilità e completezza dei suoi Pagina 29

componenti permettono l'utilizzo del prodotto in qualsiasi momento e nel rispetto di tutte le norme di sicurezza. Il Baby Book sarà venduto al prezzo di 199,00. Inizialmente sono caricati venti racconti di cui dieci storie in italiano e dieci storie in inglese. Per arricchire la propria "biblioteca elettronica" sarà possibile scaricare altri racconti direttamente dal sito (www.pilade.it). V.reader Questo ebook reader touch screen per bambini è realizzato da V.Tech. In precedenza battezzato FLiP, ora rinnovato e venduto online a poco meno di 60 dollari, è un apparecchio concepito per bimbi tra 3 e 7 anni. C è un catalogo di libri che i bambini in età scolare possono leggere. Tutto va memorizzato su una SD Card, dunque sarà facile per i genitori inserirvi materiale. Niente pericoli elettrici: servono 4 pile stilo per farlo funzionare. I contenuti, si copiano sulla schedina, oppure si scaricano dal PC via USB. I libri, tra l altro, sono attivi: le pagine hanno aree sensibili una sorta di ipertesto che offrono altri testi e immagini. Inoltre, il testo può essere letto dall apposito sintetizzatore vocale interno. La diffusione degli ebook ha ormai coinvolto fortemente anche il campo dell insegnamento dei bambini. Tuttavia, nonostante ci sia un gran numero di supporti educativi per questa fascia di età, sul mercato a livello mondiale non esiste un sistema che favorisce l apprendimento alla lettura con riconoscitore vocale. Pagina 30

3 Studio dell applicazione 3.1 Concept L applicazione che andremo a realizzare è un applicazione di supporto all apprendimento della lettura attraverso riconoscitore vocale. Il software apparterrà al filone delle applicazioni edutainment. Con questo termine si intende una forma di intrattenimento finalizzata sia ad educare che a divertire. Questo è importante poiché il bambino potrebbe trovare noiosa un attività prettamente educativa. Si cercherà quindi di incoraggiare il bambino all utilizzo di quest applicazione facendola sembrare come una sorta di gioco, in cui egli è portato a migliorarsi per raggiungere determinati obiettivi. Un ulteriore fattore rilevante è non scoraggiare il bambino qualora incontrasse difficoltà nell utilizzo dell applicazione. Un sistema che evidenzia ripetutamente gli errori fatti dall utente, infatti, potrebbe portare al non utilizzo, in quanto tenderebbe ad evidenziare le carenze del bambino ed egli si sentirebbe a disagio. Si cercherà quindi di non far pesare gli errori al bambino fornendogli, ove possibile, dei supporti alla lettura. Lavorando per un pubblico dove la lettura non fa ancora parte delle conoscenze acquisite, sarà necessaria un interfaccia grafica ricca d immagini, un interfaccia sonora ed una sorta di guida all utilizzo. Questo fa sì che il bambino conosca e sappia riconoscere facilmente i comandi a sua disposizione e le relative funzioni. Arrivando ad accumulare dati concernenti la lettura del bambino, potrebbe essere utile sfruttarli e fornirli come feedback al genitore/insegnante in modo tale che si possa verificare in ogni momento la situazione di lettura del bambino e rilevare facilmente sia eventuali miglioramenti che gli ambiti in cui il bambino trova maggiori difficoltà. Pagina 31

L ultima esigenza dell applicazione riguarda la fase d inserimento della storia da parte dell autore. In questa fase si cercherà di rendere il più intuitivo e guidato possibile il processo, al fine di limitare la possibilità di errore d inserimento. Si darà inoltre un ampio spazio alla personalizzazione del contenuto. Pagina 32

3.2 Discussione tecnologica 3.2.1 Requisiti tecnologici Come anticipato nell introduzione, il nostro progetto si occupa di realizzare un ebook destinato principalmente al bambino, e un applicazione di authoring necessaria per una corretta e funzionale creazione del libro. Si andranno quindi ad analizzare nel dettaglio i requisiti di entrambe le applicazioni arrivando ad identificare le tecnologie da adottare più appropriate. Per quanto riguarda la main application, questa deve avere i seguenti requisiti: Il dispositivo sul quale sarà installato deve essere comodo da trasportare, facile da utilizzare e avere un alta autonomia di carica. Il riconoscimento vocale deve essere preciso, deve tenere conto di eventuali difetti di pronuncia, deve essere adeguato alla lettura da parte di un bambino ed avere buone prestazioni di riconoscimento. La lettura da parte del sistema non deve essere metallica e deve essere adeguata per la tipologia di utenza considerata. I requisiti dell applicazione di authoring sono: Non devono essere richieste particolari capacità tecniche nell utilizzo. Non deve rappresentare un ingente costo nell acquisto di hardware da parte della casa editrice. 3.2.2 Training o non training Nella scelta del motore di riconoscimento vocale, basandoci sullo studio fatto nella fase di background, i sistemi che rispettano maggiormente i requisiti sono il software Dragon Naturally Speaking e Loquendo. La sostanziale differenza tra questi due sistemi è dovuta al fatto che il primo, trattandosi di un sistema per dettatura, richiede una fase di training mentre il secondo, essendo un sistema per comando, è indipendente dal locutore ed è Pagina 33

quindi in grado di riconoscere le produzioni vocali immediatamente dal primo utilizzo. Utilizzando una fase di training si riescono a raggiungere livelli di precisione ottimali. Nel caso di Dragon Naturally Speaking, infatti, si ha una precisione iniziale del 99% che migliorerà con l utilizzo del software. Questa caratteristica potrebbe risultare molto interessante in quanto, attraverso l addestramento, si riuscirebbe ad evitare errati riconoscimenti dovuti a eventuali difetti di pronuncia tipici di bambini in questa particolare fascia di età o altresì connaturali. Questo sistema potrebbe sembrare ottimale per la nostra applicazione, ma non rispetta un importante requisito imposto dal committente, il quale richiede che l applicazione sia destinata ad un dispositivo tablet. Il software in questione, infatti, richiede requisiti hardware proibitivi per questo tipo di dispositivo. La scelta è quindi ricaduta su Loquendo che, pur non essendo preciso quanto Dragon Naturally Speaking, richiede specifiche hardware inferiori e compatibili con i Tablet Pc. I problemi relativi all imprecisione si possono risolvere quasi totalmente andando a modificare il vocabolario di riconoscimento. Attraverso la personalizzazione delle grammatiche (vocabolario), risulta, infatti, possibile ridurre il numero di parole da sottoporre al riconoscimento del parlato, garantendo quindi una precisione maggiore. Avendo a disposizione un vocabolario limitato si ottengono prestazioni sufficienti per le nostre esigenze. L altra possibile carenza di questo software potrebbe essere il riconoscimento qualora ci fosse una particolare difficoltà di pronuncia da parte dell utente; anche questo tuttavia viene quasi interamente risolto attraverso l utilizzo di un vocabolario limitato e grazie all utilizzo delle diverse ipotesi con relativa confidenza formulate dal riconoscitore vocale in fase di acquisizione del parlato. Pagina 34

3.2.3 Scelte tecnologiche Risulta qui opportuno concentrarci separatamente sulla main application e su quella di authoring. Main application Trattando con un pubblico molto particolare, ovvero quello formato da bambini, risulta importante fornire un interfaccia intuitiva e semplice nell utilizzo. Dal momento che mouse e tastiera potrebbero limitare l entusiasmo, sarà necessario proporre un interfaccia particolare dove non è necessaria un eccessiva coordinazione tra pensiero e movimento. Quella che più rispecchia le suddette esigenze è certamente il touch screen. Molte delle principali piattaforme innovative messe sul mercato sfruttano questa tecnologia. Il touch screen è soprattutto diffuso sulle piattaforme portatili. Questa caratteristica va anche incontro ad un altro requisito che deve essere rispettato: la comodità di trasporto. Si opterà quindi per la scelta di una tecnologia solitamente utilizzata per i classici ebook che, in base allo studio fatto nel background, possono essere categorizzate in Tablet Pc, palmari e sistemi appositamente progettati per la lettura di un ebook. Un altro requisito soddisfatto implicitamente è l elevata autonomia della batteria in quanto, essendo sistemi portatili, nella progettazione viene tenuta in forte considerazione la durata della batteria. Tra i tre sistemi proposti la scelta ricade sui Tablet Pc, in quanto è necessario un vero e proprio sistema operativo, con sufficienti caratteristiche hardware, per far funzionare il riconoscitore vocale. Tra le alternative presenti sul mercato quelle di maggior rilevanza sono l ipad di Apple con sistema operativo ios, tablet come il Samsung Galaxy Tab che montano sistema operativo Android oppure Tablet Pc con sistema operativo Windows. L idea di base è stata quella di realizzare un applicazione in grado di essere facilmente adattabile e installabile sui dispositivi sopra citati. Purtroppo al momento sul mercato non esistono soluzioni affermate e ben testate che permettano la creazione di applicazioni Pagina 35

eseguibili su tutti i suddetti sistemi senza opportune modifiche. Dunque, preso atto che non sarebbe stato possibile realizzare un applicazione funzionante sui tre sistemi operativi sopra citati, la scelta è ricaduta sul Tablet Pc con sistema operativo Windows, garantendo però allo stesso tempo una soluzione utilizzabile in egual modo anche su pc desktop o notebook. Si è scelto quindi di utilizzare come linguaggio di programmazione Java in quanto, attraverso la Java Virtual Machine, permette la riproduzione del software su diversi sistemi operativi senza la necessità di riadattamento del codice e ricompilazione. La robustezza, la compattezza, la grande quantità di librerie, la funzionalità crossplatform e la sicurezza, fanno di Java uno dei principali linguaggi di scelta per la fornitura di soluzioni software e di conseguenza lo strumento di sviluppo più utilizzato dai programmatori al giorno d oggi. Per il nostro prototipo di ebook abbiamo utilizzato il Tablet Pc Acer Aspire 1825ptz con sistema operativo Windows 7. Per quanto riguarda il sistema di text to speech la scelta risulta meno significativa rispetto al riconoscitore vocale. Numerosi sono i software presenti sul mercato, molti dei quali producono un parlato molto simile alla voce umana. Anche in questo caso la nostra scelta è ricaduta sul software Loquendo, in quanto oltre a fornire una qualità del parlato eccelsa, non è stato necessario richiederlo separatamente, dal momento che era compreso nel pacchetto del riconoscitore vocale. Authoring La parte di authoring sarà rivolta a chi creerà il libro interattivo. Come già specificato nei requisiti tecnologici, servirà quindi un interfaccia pratica, intuitiva e che non necessiti di acquisire nuove conoscenze per il normale utilizzo. Attraverso questo sarà possibile creare con semplicità contenuti e ridurre al minimo la possibilità di errore. Il dispositivo più appropriato per queste esigenze è un comune pc. In questo modo non sarà necessario l acquisto Pagina 36

di dispositivi specifici per la creazione del libro e permetterà all utenza di mantenere condizioni lavorative ottimali, attraverso l utilizzo di schermi delle adeguate dimensioni. Inoltre, viene soddisfatto anche l altro requisito precedentemente enunciato, che impone che non sia richiesta l acquisizione di abilità tecniche nella creazione del libro. Pagina 37

3.3 Obiettivi e requisiti L applicazione è stata commissionata da una casa editrice, con lo scopo di proporre un nuovo metodo di apprendimento della lettura. Nello specifico il committente desidera creare un ebook interattivo in grado di riconoscere la produzione vocale di un bambino in fase di apprendimento della lettura. 3.3.1 Target utenti Il progetto, come già descritto in precedenza, è composto da due applicazione vere e proprie: la main application e l authoring. Per quanto riguarda la main application, essa è rivolta a BAMBINI di età compresa tra i cinque e i sette anni, quindi in età pre-scolare o frequentanti il primo anno di scuola primaria. La fascia di età può essere estesa secondo le esigenze o la presenza di particolari problematiche nella lettura del singolo bambino. Questo rappresenta l utente primario, quello per cui l applicazione è stata ideata. E previsto inoltre l utilizzo dell applicazione da parte di un GENITORE/INSEGNANTE, ovvero una persona interessata ai progressi nella lettura dei bambini che utilizzano l applicazione. Questa tipologia di utenza non ha un ruolo primario nell applicazione. Il loro compito sarà quello di verificare le performances del bambino nell utilizzo dell applicazione ed eventualmente supportarlo nell utilizzo. L applicazione di authoring sarà utilizzata esclusivamente dal personale della casa editrice. L utente sarà quindi rappresentato dall AUTORE DEL LIBRO che è membro della casa editrice incaricata della creazione della versione interattiva del libro. Pagina 38

3.3.2 Obiettivi Per una più chiara ed esaustiva definizione degli obiettivi è opportuno differenziare le diverse tipologie di utenza. BAMBINO: Stimolare il bambino all apprendimento della lettura con un approccio ludico. GENITORE/INSEGNANTE: Fare in modo che possa seguire il bambino, traendo informazioni utili sull attività svolta. AUTORE DEL LIBRO: Consentire senza la presenza di specifici requisiti tecnici la creazione di un ebook di questo tipo. 3.3.3 Requisiti 3.3.3.1 Esperienza BAMBINO Soddisfare diverse esigenze di lettura. Far sì che il bambino non si blocchi a fronte di richieste che non riesce ad affrontare. Aiutare il bambino in caso di difficoltà. Incentivare il bambino all utilizzo dell applicazione. Garantire libertà di scelta al bambino. Rendere l applicazione di facile utilizzo per il bambino. Gestire il riconoscimento delle parole nonostante eventuali difetti di pronuncia. GENITORE/INSEGNANTE L applicazione deve poter consentire al genitore/insegnante di avere un quadro delle capacità di lettura e comprensione del testo. Le informazioni fornite devono essere più semplici e intuitive possibile. Pagina 39

AUTORE DEL LIBRO Effettuare controlli sugli inserimenti Fornire un feedback sulle operazioni fatte Garantire alta personalizzazione dei contenuti Garantire un facile utilizzo 3.3.3.2 Interfaccia MAIN APPLICATION: Applicazione attrattiva Navigazione semplice Applicazione non pesante per la lettura AUTHORING: Atmosfera rilassante Interfaccia intuitiva Pagina 40

4 Main application 4.1 Scelte Progettuali In questo paragrafo verranno descritte le scelte progettuali che sono state effettuate per la realizzazione della main application, tenendo conto dei vincoli presentati nei requisiti. 4.1.1 Esperienza Bambino REQUISITO: Soddisfare diverse esigenze di lettura o Struttura multilivello: Il programma è sviluppato su una struttura multilivello. Nel prototipo realizzato, in particolare, saranno presenti tre livelli di difficoltà: il livello 1 prevede la lettura del singolo lessema, il livello 2 la lettura di porzioni di testo tratte dalla pagina, il livello 3 invece la lettura dell intera pagina. Questi livelli sono creati nell applicazione di authoring dall autore del libro. Per quanto riguarda i livelli 1 e 2 c è una completa libertà nella scelta di quello che verrà inserito nel livello, il livello 3 invece, prevedendo la lettura dell intera pagina, verrà creato automaticamente dall applicazione senza la possibilità di personalizzazione. Pertanto l utente, attraverso questa struttura, potrà affrontare un attività consona alla sua abilità di lettura. o Scelta del tipo di scrittura: L utente potrà scegliere il carattere con il quale gli verrà presentato il testo (stampatello maiuscolo, stampatello minuscolo, corsivo), in modo tale che sia garantita Pagina 41

una corrispondenza con il programma formativo scolastico e quindi che sia adeguato alle competenze del bambino. REQUISITO: Far sì che il bambino non si blocchi a fronte di richieste che non riesce ad affrontare. o Procedere con la lettura dopo ripetuti sbagli: Dopo un numero prestabilito di volte che il bambino sbaglia la lettura, l applicazione interviene automaticamente dicendo la parola sulla quale si sono presentati gli errori, chiedendo la ripetizione e procedendo alla prossima parola. Questo eviterà un possibile scoraggiamento da parte del bambino qualora incontrasse difficoltà nella lettura. REQUISITO: Aiutare il bambino in caso di difficoltà o Immagine associata alla parola: Alle parole richieste nel livello semplice è associata un immagine. Qualora il bambino dovesse sbagliare la lettura, comparirà questa immagine in modo di fornire un aiuto visivo. o Lettura testo su richiesta: L utente, nel caso si trovasse in difficoltà nella lettura di un vocabolo o di una parte del testo, può richiedere l aiuto nella lettura. A questo punto interviene il narratore che procederà con una lettura molto lenta del testo su cui l utente si è trovato in difficoltà; al termine della lettura automatica si darà la possibilità al bambino di poter rileggere la parola per la quale ha chiesto l aiuto. Il bambino potrà richiedere questo tipo di aiuto semplicemente selezionando un immagine raffigurante il personaggio che svolge il ruolo di narratore. Pagina 42

REQUISITO: Incentivare il bambino all utilizzo dell applicazione o Gioco: Nell applicazione sarà presente un gioco che il bambino potrà facoltativamente scegliere di affrontare nel quale dovrà riuscire a leggere parole con suoni difficili. Questo gioco sottoporrà in sequenza diverse parole al bambino. Quando il gioco finisce, il sistema fornisce il numero delle parole lette correttamente. Potrebbe rappresentare un incentivo all utilizzo dell applicazione in quanto il bambino è portato sempre più a migliorarsi per raggiungere la perfezione nella lettura di parole difficili. o Cooperazione tra sistema/bambino: Le attività proposte non saranno formulate sotto forma di richiesta al bambino, ma saranno sottoposte come una sorta di collaborazione tra sistema e utente, dove i due dovranno riuscire a leggere insieme il testo proposto. Questo fa sì che il bambino non percepisca l ebook come un attività prettamente scolastica, ma come un gioco nel quale i due (sistema e utente) si aiutano per giungere alla fine della lettura. o Stampa delle immagini: L applicazione prevede la possibilità di stampa di immagini relative alla storia qualora si abbia accesso alla stampante perché questa rappresenta un attività piacevole per i bambini. REQUISITO: Garantire libertà di scelta al bambino o Attività facoltative: Le attività proposte non saranno mai obbligatorie per il bambino. Questo può in qualunque circostanza saltarle. Inoltre è consentito al bambino di compiere qualunque attività bloccando la voce prodotta dal software (ad esempio la Pagina 43

voce che introduce il bambino all attività scelta) in modo da non vincolarlo a tempi di attesa eccessivi, che potrebbero annoiarlo. o Lettura da parte del sistema: Viene data la possibilità al bambino di scegliere la lettura da parte del sistema in modo da poter utilizzare l applicazione senza la richiesta di un suo intervento nella lettura. Questa funzionalità non è prettamente utile per l apprendimento, ma sicuramente indicata per un maggior utilizzo dell applicazione. REQUISITO: Rendere l applicazione di facile utilizzo per il bambino o Bottoni con immagini: In corrispondenza di ogni bottone con il quale l utente può interagire ci sarà un immagine in modo da chiarirne la funzione. o Bottoni sonori: in alcuni contesti è stato necessario associare la pressione di un determinato bottone con un segnale sonoro che ne mostrasse più chiaramente le funzionalità. o Guida relativa ai comandi presenti sulla pagina: In ogni pagina della main application una voce guida illustrerà su richiesta la struttura della pagina evidenziando i comandi possibili. REQUISITO: Gestire il riconoscimento delle parole nonostante eventuali difetti di pronuncia o Ipotesi di riconoscimento: Il software di riconoscimento vocale utilizzato ad ogni rilevazione crea un insieme di ipotesi associate ad una determinata confidenza. Per ovviare agli eventuali difetti di pronuncia si è deciso di sfruttare come risultati attendibili del riconoscimento tutte le ipotesi formulate con un livello di confidenza superiore ad un valore preimpostato. In questo modo, nell effettuare il controllo di correttezza del parlato, si vanno a Pagina 44

confrontare le ipotesi trovate più o meno attendibili con la parola che ci si aspetta e si confronta l uguaglianza. Questo metodo potrebbe sembrare peccare in precisione ma, come già spiegato in precedenza, dal momento che il file della grammatica contiene un numero molto limitato di parole, il livello di precisione si mantiene comunque elevato. Il concetto sarà spiegato più dettagliatamente nel paragrafo 4.3. Genitore/Insegnante REQUISITO: L applicazione deve poter consentire al genitore/insegnante di avere un quadro delle capacità di lettura e comprensione del testo. o Attività di comprensione: Al bambino durante la lettura, a intervalli prestabiliti (in questo prototipo 3 pagine), sarà proposta un'attività nella quale dovrà scegliere tra diverse immagini quella più rappresentativa di ciò che è stato appena letto. o Rilevazione dati lettura: Durante l attività di lettura verranno rilevati e memorizzati dati riguardanti la correttezza della lettura. REQUISITO: Le informazioni fornite devono essere più semplici e intuitive possibile. o Tabella dei successi genitore: Il genitore potrà accedere ad una tabella dei successi riguardanti il bambino. Questa conterrà informazioni e dati statistici per verificare il livello raggiunto dal bambino. Gli elementi collezionati consistono nel numero di errori nella lettura, nel numero medio di tentativi per la lettura di una parola, il numero di accessi, il livello utilizzato per la lettura e dati relativi alla comprensione di quanto letto. Pagina 45

4.1.2 Interfaccia REQUISITO: Applicazione attrattiva o Colori energetici REQUISITO: Navigazione semplice o Pochi comandi a disposizione o Navigazione guidata REQUISITO: Applicazione non pesante per la lettura o Forti contrasti o Caratteri di grande dimensione Pagina 46

4.2 Scenari utente SCENARIO 1 L utente al primo utilizzo apre l applicazione e sceglie una delle attività disponibili. Alla chiusura dell applicazione sono memorizzati nel profilo utente: il punto in cui è arrivato nella lettura, il livello corrente, le statistiche relative alla capacità di comprensione della lettura e le scelte relative al tipo di carattere utilizzato. SCENARIO 2 Ad ogni accesso, il bambino si autentica dicendo il suo nome in modo che venga indirizzato alla sua pagina personale e venga caricato il suo profilo. SCENARIO 3 L utente dalla pagina home relativa al suo profilo accede al gioco delle parole impossibili e gli si presenteranno sequenzialmente parole con difficoltà incrementale che dovrà leggere. Ad ogni parola è associata un immagine che il bambino può stampare compatibilmente con la disponibilità di una stampante. SCENARIO 4 Ogni tre pagine lette viene presentata un attività che ne verifica la comprensione, in cui l utente dovrà selezionare l immagine che corrisponde a una domanda che gli viene posta. Pagina 47

SCENARIO 5 L utente arriva alla fine della storia e sostiene una prova di comprensione, che consiste ancora una volta nel dover selezionare l immagine corrispondente ad una domanda che gli viene posta sui contenuti letti. SCENARIO 6 Il bambino durante la lettura decide di provare con un altro livello, esce dalla pagina, seleziona un nuovo livello di difficoltà, il sistema permette di scegliere se continuare dal punto in cui era arrivato a leggere utilizzando il nuovo livello, oppure di iniziare una nuova lettura. SCENARIO 7 Nel livello 1 il bambino sbaglia la lettura di una parola, il sistema gli propone un immagine che rappresenta la parola da leggere e il bambino può rileggere la parola usufruendo dell aiuto. SCENARIO 8 Il bambino non riesce a leggere una parola e chiede l aiuto nella lettura. Il sistema legge lentamente la parola per la quale il bambino ha chiesto l aiuto, scandendo i fonemi che la compongono. SCENARIO 9 Il bambino non riesce a leggere una parola nonostante l aiuto rappresentato dall immagine. Dopo un certo numero di errori il sistema legge automaticamente la parola chiedendo la ripetizione. Il bambino sbaglia ancora allora il sistema carica la parola successiva. Pagina 48

SCENARIO 10 Il bambino durante la lettura sceglie di cambiare pagina, passando a quella successiva. SCENARIO 11 Il bambino decide di ascoltare la lettura passivamente, il sistema procede alla lettura automatica di tutto il testo della pagina. Durante l ascolto, il bambino può decidere ad un certo punto di saltare l ascolto di una determinata pagina toccando la freccia che indica la prossima pagina. SCENARIO 12 Il bambino arriva alla fine del livello relativo alla pagina (lettura singole parole, lettura porzioni di testo, lettura completa), il sistema procede alla lettura del contenuto della pagina. SCENARIO 13 Il genitore/insegnante apre l applicazione e registra un nuovo bambino inserendo nome, cognome, età. Il sistema al compimento di questa operazione associa un nuovo profilo contenente tutte le informazioni sulle attività raccolte. SCENARIO 14 Il genitore/insegnate accede alla propria pagina personale. Attraverso una lista, avrà a disposizione l elenco dei bambini registrati per un certo libro; ne sceglie uno e visualizza gli indici che mostrano le capacità di lettura e di comprensione del testo. Pagina 49

4.3 Scelte relative al riconoscimento vocale 4.3.1 Scelte di lettura Analizzando attentamente il target di utenza si è data particolare attenzione alle reali capacità di lettura che potrebbe avere un bambino in questa particolare fascia di età. Si è rilevato che è una lettura molto particolare, dove le sillabe vengono fortemente scandite e la punteggiatura viene per lo più tralasciata. Questo ci ha portato a compiere scelte architetturali per ovviare a questo problema. Il livello 1 non è molto toccato da queste problematiche, dato che prevede la lettura di un singolo lessema. Le problematiche risultano però evidenti nei livelli 2-3, dove il bambino dovrà leggere intere porzioni di testo. Si è quindi deciso di tralasciare la punteggiatura e far affrontare al bambino una lettura con correzione parola per parola. Questo limita sensibilmente il protrarsi di eventuali rilevamenti di errori durante la lettura della porzione di testo indicandogli visivamente la parola dove è stato compiuto l errore. 4.3.2 Scelte tecniche di riconoscimento In questo paragrafo verrà spiegato come avviene il riconoscimento vocale. Il software utilizzato fornisce una serie di ipotesi associate ad un grado di attendibilità. La base sulla quale stabilire il grado di attendibilità è definita in un file di grammatica (.gram). Questo file può essere considerato come un dizionario, ovvero l insieme delle parole che il sistema deve essere in grado di riconoscere. Basandosi sulle parole che sono state inserite nella grammatica, il software ad ogni istanza di riconoscimento genererà una o più ipotesi di parola riconosciuta, ma solo nel caso in cui sia possibile associare a tale parola un grado di attendibilità superiore a quello prefissato. Pagina 50

Nella prossima figura mostriamo un esempio di grammatica, costituito da diverse porzioni di testo che, nel caso in esame, rappresentano il livello 2. Figura 1: Esempio di grammatica. La grammatica può essere costruita utilizzando due formalismi: XML o ABNF(Augmented Backus Naur Form). Notiamo oltre alla definizione di alcune proprietà utili quali la lingua, la modalità, la codifica, una regola $root contenente l insieme di parole che sono state selezionate per questo livello e che saranno dunque oggetto di riconoscimento. Dal momento che quello che si andrà a riconoscere, e quindi confrontare con quello che effettivamente dovrà essere letto, è il parlato di un bambino con i relativi possibili difetti di pronuncia, ci è sembrato opportuno non confrontare solo l ipotesi più attendibile, ma le ipotesi con attendibilità superiore ad un certo livello deciso a priori. Il riconoscimento restituisce quindi una lista con un insieme di parole; se al suo interno esiste una corrispondenza tra ipotesi e parola da leggere, il risultato del riconoscimento avrà esito positivo. Questo potrebbe far pensare che si possa riconoscere una parola diversa da quella che in realtà si è cercato di leggere, ma l utilizzo di un vocabolario estremamente limitato consente di evitare questo rischio. Il raffronto della produzione vocale quindi non avviene all interno dell intero vocabolario italiano, ma rispetto ad un ben definito e limitato contesto. Infatti, per ogni livello di ogni pagina viene creato il relativo file di grammatiche. In questo Pagina 51

modo si raggiunge un ottimo livello di precisione, evitando così di riscontrare riconoscimenti errati dovuti ad eventuali difetti di pronuncia. Di seguito è riportata la porzione di codice relativa al riconoscimento. Le stampe a video forniscono diverse informazioni relative al risultato del riconoscimento. Notiamo che è presente una condizione che stabilisce la soglia di confidenza (un valore tra 0 e 1) per accettare la parola rilevata dall ipotesi. In caso positivo, la parola viene inserita in una lista che, come già affermato in precedenza, verrà utilizzata per svolgere il confronto parola da leggere parola riconosciuta. Figura 2: Codice che raccoglie le ipotesi del riconoscimento. Pagina 52

4.4 Distribuzione dei componenti Figura 3: Distribuzione Componenti Main Application. La parte di applicazione principale, la main application, utilizzata dal bambino e dall adulto, risiederà sul Tablet PC. I componenti principali presenti sul Tablet Pc sono la main application, il software vocale che include sia ASR (Automatic Speech Recognition) che TTS (Text To Speech) e i driver della stampante poiché la nostra applicazione consente, qualora ci sia una stampante disponibile, di effettuare stampe. La main application attingerà i contenuti da un gruppo di file presenti nella cartella del libro creato tramite l applicazione di authoring. In questa cartella risiederanno anche gli specifici file di grammatiche necessarie per eseguire il Pagina 53

riconoscimento da parte del sistema vocale. Sarà inoltre generato un file di tipo profilo sul quale verranno memorizzate le informazioni relative al bambino. Al Tablet PC, potrà essere facoltativamente collegato un ulteriore componente che è la stampante. Pagina 54

4.5 Procedure 4.5.1 Use Case Diagram BAMBINO Figura 4: Use Case Main Application Pagina 55

Bambino Login: il bambino prima di utilizzare l applicazione deve effettuare il login. Qui saranno caricati i dati del suo profilo se esistente, e in caso contrario saranno caricati dati di default. Lettura: la lettura rappresenta l attività principale su cui l applicazione è fondata. Il sistema provvederà alla correzione nel caso ci dovessero essere errori di lettura. Ascolta lettura: il bambino ascolta passivamente la lettura della pagina svolta dal sistema. Esegui gioco: Il bambino, quando lo desidera, potrà accedere a un gioco di lettura di parole impossibili per sottoporsi a una sorta di sfida, nella quale cerca di leggere parole con pronuncia difficile. In qualunque momento, il bambino è libero di uscire da questa attività. Esegui test di comprensione: dopo un numero prestabilito di pagine, il bambino sarà sottoposto ad un test che verifica la comprensione di quanto letto, con il fine di raccogliere i dati per poi presentarli al genitore o all insegnante. Scegli il carattere: il bambino prima di iniziare o continuare la lettura, prima di accedere al gioco, potrà decidere il tipo di carattere con il quale il testo da leggere sarà proposto. Questo permetterà un tipo di lettura consono con il programma scolastico. Scegli il livello: il bambino può decidere in qualsiasi momento di cambiare livello in base alle sue preferenze. Chiedi le istruzioni: Il sistema al primo utilizzo proporrà una fase di training nella quale vengono illustrate oralmente e visivamente le funzionalità e i comandi principali a disposizione dell utente. Il bambino, in qualsiasi momento, potrà richiedere la ripetizione di questa fase. Pagina 56

Genitore Visiona la pagina dei successi: Il genitore potrà tenere monitorate le capacità del figlio andando a verificare nella pagina dei successi le diverse competenze acquisite. Questa attività è strettamente legata a Scegli il bambino: in quanto il genitore dovrà scegliere dall elenco degli utenti che utilizzano l applicazione il nome del bambino del quale si vogliono conoscere le abilità. Registra il bambino: Il genitore, prima che il bambino acceda all applicazione, dovrà registrare i dati in modo tale da strutturare un profilo utente per le letture. Pagina 57

4.5.2 Activity diagram Per quanto riguarda la funzionalità principale dell applicazione, ovvero la lettura da parte del bambino, i seguenti activity diagram descrivono in modo dettagliato le varie attività compiute differenziando il livello 1 e i livelli 2 e 3. Livello 1 Figura 5: Activity Diagram livello 1 Main Application. Pagina 58

Quest activity diagram illustra il flusso di azioni necessarie per eseguire la procedura di lettura nel livello 1. Le azioni descritte sono eseguite da due attori: il bambino e il sistema. Il bambino legge la parola e il sistema avvia il riconoscimento. Notiamo innanzitutto che ogni qualvolta il bambino legge una parola, il suo profilo viene aggiornato con informazioni che potranno essere consultate in seguito dal genitore, quali: il numero di parole lette, il numero di tentativi, il numero di errori. L esito del riconoscimento oltre a definire i valori di questi indici, causa tre possibili situazioni: La parola non è stata letta correttamente e al bambino viene mostrato come aiuto l immagine corrispondente. Il bambino compie almeno due tentativi e nonostante l aiuto dell immagine, non legge correttamente. Il sistema interviene attraverso il suggeritore pronunciando la parola correttamente. La lettura è eseguita correttamente o il bambino sbaglia ancora al terzo tentativo: il sistema carica una nuova parola da leggere se la fine della pagina non è ancora stata raggiunta, evidenziando in segno di successo la parola letta e come segno distintivo la nuova parola che il bambino deve leggere. Nel caso in cui le parole del livello siano terminate, si è giunti alla fine della pagina, quindi il sistema rilegge tutto il testo, scandendo parola per parola e colorando il testo come una modalità karaoke e successivamente carica una nuova pagina. Pagina 59

Livello 2-3 Figura 6: Activity Diagram livello 2-3 Main Application. Pagina 60

Nel livello 2 (riconoscimento di frasi o piccole porzioni di testo) e livello 3 (riconoscimento dell intero testo), la rappresentazione dell activity diagram è equivalente, con alcuni nodi in comune con quello del livello 1 (per questi, si faccia riferimento alla descrizione dell activity precedente). Anche in questo la lettura avviene parola per parola. L esito del riconoscimento sulla lettura di una singola parola comporta: La rilettura da parte del bambino in caso di errore. Al terzo tentativo, l intervento del sistema che pronuncia correttamente la parola e passa oltre. Il passaggio alla parola successiva in caso di esito positivo, se la frase non è terminata. Se le parole che compongono la frase sono terminate, il sistema carica la nuova frase, la evidenzia e la procedura di lettura si ripete. Quando le frasi da leggere sono terminate (livello 2) o le frasi che compongono la pagina sono terminate (livello 3), il sistema rilegge il testo della pagina e successivamente ne carica una nuova. Pagina 61

4.6 Architettura del software 4.6.1 Class Diagram Figura 7: Class Diagram Main Application. Pagina 62

Questo class diagram rappresenta la visione delle classi principali della main application; per ognuna di esse mostriamo gli attributi e i metodi rilevanti. Data la complessità del diagramma, abbiamo deciso di non inserire le associazioni delle classi Profilo e LetturaTesto, che, se presenti, avrebbero appesantito il diagramma di numerosi collegamenti ostacolandone la chiarezza. Tuttavia la classe Profilo è associata a tutte le classi eccetto LetturaTesto, RiconoscimentoVocale e SelezionaLibro. La classe LetturaTesto invece è collegata a tutte le classi eccetto RiconoscimentoVocale e Profilo. Qui di seguito la descrizione dettagliata del diagramma: Class SelezioneLibro: permette di scegliere un libro tra quelli a disposizione. ATTRIBUTI: libro: titolo del libro scelto lettura: identifica la lettura automatica svolta dal software. METODI: jlistlibrivaluechange: metodo che permette di selezionare un libro dalla lista. letturaautomatica: legge il testo che spiega il frame. Class Login: ha il compito di autenticare il bambino, caricandone il profilo, oltre a quello di fornire al genitore/insegnante l accesso alla propria pagina personale. ATTRIBUTI: nome: nome del bambino cognome: cognome del bambino età: età del bambino profutente: attributo di tipo Profilo lettura: identifica la lettura automatica svolta dal software. Pagina 63

riconoscimento: identifica l oggetto che permette di svolgere il riconoscimento del parlato. METODI: Login: costruttore della classe, carica in una lista i nomi dei bambini con i profili già implementati relativi al libro scelto nella classe SelezionaLibro. jbuttoninserisciutenteactionperformed: utilizza le informazioni inserite dal genitore (nome, cognome, età) per creare un nuovo profilo relativo a quel libro. jbuttonaccediactionperformed: metodo che permette al genitore/insegnante di accedere alla sua pagina personale di valutazione. letturaautomatica: legge il testo che spiega al bambino come accedere alla Home. creaprofilo: salva un nuovo profilo memorizzando le informazioni inserite e settando quelle non disponibili con un valore di default. aggiornaprofilo: scrive un nuovo accesso sul profilo relativo ad un determinato bambino e libro. riconosci: metodo che permette di riconoscere il nome pronunciato dal bambino in modo tale da autenticarlo. Class TabellaSuccessi: questa classe mostra al genitore/insegnante, per un determinato bambino, i risultati conseguiti nella lettura e nella comprensione. ATTRIBUTI: libro: libro corrente livello: livello corrente accessi: accessi effettuati all applicazione. errori: errori compiuti durante la lettura. paroletotali: parole totali lette numerotentativi: numero di tentativi di lettura Pagina 64

numerotest: numero di test di comprensione eseguiti testcorretti: test di comprensione eseguiti con esito positivi. lettura: identifica la lettura automatica svolta dal software. profutente: attributo di tipo Profilo METODI: TabellaSuccessi: costruttore della classe, che carica i profili presenti per quel libro. jlistprofilivaluechange: metodo che permette di scegliere un profilo da analizzare. letturaautomatica: legge il testo che introduce il genitore/insegnante alla pagina. leggiprofilo: analizza il contenuto del profilo fornendo le informazioni utili per poter mostrare al genitore indici di valutazione. Class Home: questa classe rappresenta l HomePage del bambino, dalla quale potrà avere accesso a tutte le funzionalità del libro. ATTRIBUTI: livello: identifica il livello corrente pagina: identifica la pagina corrente font: identifica il carattere corrente profutente: attributo di tipo Profilo lettura: identifica la lettura automatica svolta dal software. METODI: Home: costruttore della classe, carica il profilo del bambino che vi accede. jbuttoniniziofavolaactionperformed: metodo che permette l accesso a una nuova lettura. jbuttoncontinualetturaactionperformed: metodo che permette di continuare la lettura dal punto in cui si era arrivati. Pagina 65

jbuttonstampatellomaiuscoloactionperformed: metodo che imposta il carattere del testo durante la lettura a stampatello maiuscolo. jbuttonstampatellominuscoloactionperformed: metodo che imposta il carattere del testo durante la lettura a stampatello minuscolo. jbuttoncorsivoactionperformed: metodo che imposta il carattere del testo durante la lettura a corsivo. jbuttonparoleimpossibiliactionperformed: metodo che permette di accedere al gioco delle parole impossibili. jbuttonistruzioniactionperformed: metodo che permette di ottenere informazioni dalla voce del software. jbuttonlivello1actionperformed: metodo che permette di selezionare il livello 1 (quello facile) come livello desiderato. jbuttonlivello2actionperformed: metodo che permette di selezionare il livello 2 (quello medio) come livello desiderato. jbuttonlivello3actionperformed: metodo che permette di selezionare il livello 3 (quello difficile) come livello desiderato. aggiornaprofilo: aggiorna il profilo in base alle scelte intraprese dal bambino, come tipo di carattere o livello scelto, pagina da leggere, ecc. letturaautomatica: legge il testo che spiega al bambino il significato di ogni bottone. Class LetturaLibroLayout: è la classe nella quale si svolge la lettura del libro e il riconoscimento. ATTRIBUTI: libro: titolo del libro corrente pathgrammatica: identifica il percorso del file contenente la grammatica per il riconoscimento. risultatoriconoscimento: identifica il risultato di quanto riconosciuto dal software, da utilizzare per verificare la correttezza della lettura. Pagina 66

profutente: attributo di tipo Profilo lettura: identifica la lettura automatica svolta dal software. riconoscimento: identifica l oggetto da utilizzare per svolgere le operazioni di riconoscimento. METODI: LetturaLibroLayout: costruttore della classe, carica il testo della pagina ed evidenzia i primi elementi da leggere in base al livello. jbuttonletturaactionperformed: metodo che avvia la lettura e riconosce il parlato del bambino, determinando l esito positivo o negativo, aggiornando lo stato grafico dell interfaccia. jbuttonsuggeritoreactionperformed: metodo che invoca il suggeritore, il quale legge lentamente la parola corrente. jbuttonchiudiactionperformed: metodo che permette di tornare alla Home. jbuttonnextpageactionperformed: metodo che permette di passare alla pagina successiva. jbuttonbackpageactionperformed: metodo che permette di passare alla pagina precedente. evidenziaparole: metodo che consente di evidenziare nel pannello del testo, le parti da leggere. letturaautomatica: spiega al bambino come funziona la lettura, comunica al bambino lo stato della lettura, legge al bambino la parola che non riesce a leggere, legge il testo della pagina al bambino. riconosci: effettua il riconoscimento del parlato ad ogni lettura di parola da parte del bambino, restituendo una serie d ipotesi da confrontare con la parola da leggere. aggiornaprofilo: aggiorna le informazioni sul profilo del bambino in base ai comportamenti seguiti dal bambino (es. successi/errori nella lettura) Pagina 67

Class PaginaGioco: questa classe è relativa al gioco delle parole impossibili che testa le capacità del bambino. ATTRIBUTI: testo: testo del gioco immagine: immagine del gioco pathgrammatica: identifica il percorso del file contenente la grammatica per il riconoscimento. risultatoriconoscimento: memorizza il risultato del riconoscimento della lettura. profutente: attributo di tipo Profilo lettura: attributo definito per la lettura automatica svolta dal software. riconoscimento: attributo da utilizzare per svolgere le operazioni di riconoscimento. METODI: PaginaGioco: costruttore della classe, carica il primo testo da leggere e l immagine relativa. jbuttonletturaactionperformed: metodo che avvia la lettura e riconosce il parlato. jbuttonstampaactionperformed: metodo che avvia la stampa dell immagine corrente del gioco. letturaautomatica: spiega al bambino come avviene il gioco e lo informa dello stato del gioco. riconosci: riconosce la parola letta da parte del bambino. Class VerificaComprensione: questa classe è relativa ai test di comprensione basato sul riconoscimento d immagini, ai quali i bambini si sottoporranno dopo la lettura di tre pagine. ATTRIBUTI: numerotest: numero di test di comprensione corrente Pagina 68

numeropag: identifica la pagina del libro raggiunta prima del test. immaginescelta: immagine scelta dal bambino. profutente: attributo di tipo Profilo lettura: attributo definito per la lettura automatica svolta dal software. METODI: VerificaComprensione: costruttore della classe, carica la domanda e le immagini del test jbuttonimmagine1actionperformed: metodo che verifica se la prima immagine è stata scelta ed è quella corretta. Allo stesso modo avviene per le altre immagini. jbuttonsaltatestactionperformed: metodo che permette di uscire in qualsiasi momento dal test, senza sostenerlo. jbuttoncontinualetturaactionperformed: metodo che permette di continuare a leggere il libro, dopo che il test è stato sostenuto. aggiornaprofilo: metodo che aggiorna il profilo riguardo i risultati del test. letturaautomatica: spiega al bambino come avviene il test e ne comunica l esito. Class LetturaAutomatica: classe che permette al bambino di ascoltare la storia senza dover interagire. ATTRIBUTI: testo: testo della pagina corrente profutente: attributo di tipo Profilo lettura: attributo definito per la lettura automatica svolta dal software. METODI: LetturaAutomatica: costruttore della classe, carica il testo della pagina. jbuttonnextpageactionperformed: metodo che permette di passare alla pagina successiva. Pagina 69

jbuttonbackpageactionperformed: metodo che permette di passare alla pagina precedente. letturaautomatica: metodo che legge al bambino il contenuto della pagina. Class Profilo: classe che gestisce tutte le informazioni rilevanti per costruire un profilo del bambino. METODI: Profilo: legge il profilo identificato del path passato come parametro d ingresso al metodo. addaccessi: aggiunge un nuovo accesso al libro. setlivello: definisce il livello di lettura. adderrore: aggiunge un errore di lettura addparola: aggiunge una parola letta nextpagina: aggiorna la pagina a quella successiva. backpagina: aggiorna la pagina a quella precedente. setpaginainiziale: aggiorna la pagina a quella iniziale. setfont: definisce il carattere per la lettura. settentativi: incrementa i tentativi di lettura. addtest: aggiunge un test di comprensione eseguito. saveprofilo: salva il profilo con le informazioni correnti. Class LetturaTesto: classe che svolge la lettura di un testo sfruttando le funzionalità del TTS. METODI: LetturaTesto: costruttore della classe leggitesto: metodo che definisce la sequenza di operazioni necessarie per leggere la stringa in ingresso. Pagina 70

Class RiconoscimentoVocale: classe che effettua il riconoscimento del parlato sfruttando le funzionalità dell ASR. ATTRIBUTI: szgrammarpath: identifica la grammatica che bisognerà caricare per effettuare il riconoscimento. parolariconosciuta: identifica l insieme di parole riconosciute dal software, ordinate per attendibilità. METODI: RiconoscimentoVocale: costruttore della classe, inizializza e configura le risorse per il riconoscimento. riconoscimento: metodo che svolge l attività di riconoscimento vera e propria. rilasciarisorse: metodo che funge da distruttore delle risorse allocate a riconoscimento ultimato. Pagina 71

4.6.2 Package diagram Lo scopo di questo diagramma è di mostrare un livello di astrazione superiore rispetto a quello utilizzato per la realizzazione dei class diagrams. Il package diagram permette di raggruppare le classi in package mostrando le mutue relazioni. Figura 8: Package Diagram Main Application. Pagina 72

Il package colorato diversamente è quello principale di questo prototipo (la main application) e racchiude al suo interno tutta la conoscenza necessaria per il raggiungimento dei nostri scopi. Tuttavia, per svolgere alcune funzionalità, è necessario che faccia riferimento ad altre classi definite in altri package. Notiamo, infatti, la presenza dello stereotipo <<access>>, su ogni arco uscente dal package: ciò sta a indicare che all interno del package si utilizzano attributi e operazioni di altri package. Analizziamo più in dettaglio i package secondari: GestioneFile: raccoglie tutte le classi che permettono di gestire le operazioni sui file. In questo contesto sono utilizzate le funzionalità che permettono ad esempio di leggere il testo da file, scrivere il file relativamente al profilo. Utilità: come si può intuire dal nome, questo package raccoglie quelle classi che forniscono un particolare compito all interno dell applicazione. Sono delle più svariate, ad esempio abbiamo la classe StampaImmagine che permette di stampare una delle immagini del libro, Profilo che raccoglie tutti quelle informazioni e metodi che permettono di analizzare lo stato di lettura e comprensione del bambino. SistemaVocale: in questo package si definiscono le funzionalità offerte dal TTS e dall ASR. LetturaTesto è la classe che esegue la lettura del testo da parte del software, mentre RiconoscimentoVocale è la classe dedicata al riconoscimento del parlato; essa si appoggia su due interfacce, che hanno il compito di gestire gli eventi che si registrano durante il riconoscimento e di gestire l audio prodotto. Pagina 73

4.7 Caratteri di presentazione del testo Di seguito mostreremo lo studio e giustificheremo le scelte relative ai caratteri utilizzati nella main application. La presentazione del testo va analizzata sotto due punti di vista: font tipo di carattere Con font s identifica lo stile del carattere. Per la particolare tipologia di utenza della nostra applicazione è fondamentale usare dei caratteri chiari, senza grazie (sans serif) in modo tale da non indurre il bambino in confusione. Si è scelto quindi di utilizzare il carattere Comics Sans MS che risulta essere molto simile alla scrittura umana. Per tipo di carattere si considera la diversificazione tra le tre tipologie di scrittura principali: Stampatello maiuscolo Stampatello minuscolo Corsivo Si permette quindi di mantenere un certo parallelismo tra le abilità acquisite nella vita scolastica e quelle esercitate nell attività autonoma svolta a casa per mezzo di quest applicazione. Per il corsivo abbiamo utilizzato Clayonl.ttf che rispecchia pienamente le regole calligrafiche insegnate nella scuola primaria. Figura 9: Caratteri Main Application. Pagina 74

4.8 Screenshot dell applicazione Analizziamo ora in dettaglio i frame appartenenti alla main application. SELEZIONE LIBRO Figura 10: Screenshot frame SelezioneLibro (Main Application) Questa pagina rappresenta una sorta di libreria dalla quale il bambino potrà scegliere di iniziare la lettura che preferisce tra quelle proposte. Al momento della scelta di un determinato libro, verranno caricati tutti i file relativi a questo libro con gli eventuali profili creati e si accederà alla pagina di login. Pagina 75

LOGIN Figura 11: Screenshot frame Login (Main Application). Prima di poter utilizzare il libro interattivo, il bambino dovrà autenticarsi. Questo perchè abbiamo previsto la possibilità che l applicazione possa essere utilizzata da più bambini. La procedura di autenticazione è estremamente semplice, poiché il bambino a seguito della seguente domanda Ciao, chi sei? dovrà pronunciare il suo nome e il sistema lo farà accedere al libro caricando il suo profilo. Nel caso in cui i bambini che utilizzano il libro abbiano lo stesso nome, verrà chiesto di pronunciare anche il proprio cognome per poterli distinguere. Per fare in modo che il sistema riconosca il bambino che utilizza l applicazione, è necessario che il bambino venga registrato. I bambini registrati compariranno nella lista posta sotto la domanda. L operazione di registrazione dovrà essere svolta dal genitore. Infatti, è possibile notare la presenza di un bottone Genitore che, una volta premuto, consente l inserimento di un nuovo bambino, compilando i campi di Nome, Cognome e Età. Inoltre il genitore potrà accedere alla propria pagina Pagina 76

personale, nella quale potrà verificare attraverso diversi indici il livello raggiunto dal bambino nella lettura e nell apprendimento. HOME Figura 12: Screenshot frame Home (Main Application) Questo frame apparirà al bambino dopo il login. In questa pagina il bambino potrà decidere cosa vuole fare e come si vede in figura sono presenti diverse immagini cliccabili, ad ognuna delle quali è associata la scelta del bambino. Il bambino potrà scegliere tra: leggere il libro dall inizio, leggere il libro dal punto in cui è arrivato, ascoltare la storia, accedere al gioco, richiedere informazioni, uscire dall applicazione. Inoltre potrà decidere con quale tipo di carattere leggere il libro (stampatello maiuscolo, stampatello minuscolo, corsivo) premendo il bottone corrispondente. Le faccine rappresentano invece il livello di lettura scelto (facile, medio, difficile), la cui pressione fa intervenire il sistema che comunica la difficoltà selezionata. Pagina 77

LETTURALIBRO Figura 13: Screenshot frame LetturaLibro (Main Application.) Questo frame è il più importante delle nostre applicazioni, poiché rappresenta la lettura del libro. La pagina si presenta con l immagine di background di sfondo diversa per ogni pagina, un pannello contenente il testo della pagina con il tipo di carattere preferito, e diversi elementi che consentono al bambino di compiere determinate azioni: tornare alla home, passare alla pagina successiva, passare alla pagina precedente, chiedere istruzioni per l uso, chiedere l aiuto al suggeritore. Tutti questi elementi appaiono in determinate posizioni in base alla scelta di layout effettuata nell authoring. Per poter supportar la lettura, si è deciso di inserire nel pannello relativo al testo elementi visivi quali colorazioni diverse e lampeggiatori; in seguito mostreremo il significato di ciascuno. Analizziamo ora dettagliatamente come avviene la lettura in ogni livello: Livello1 La voce del software invita il bambino a leggere la parola evidenziata in viola. Pagina 78

Al termine della lettura delle parole previste il software legge tutto il testo della pagina. La correttezza della lettura viene comunicata al bambino oltre che attraverso la voce del software che si complimenta con lui, anche visivamente con la parola evidenziata che passa da viola a arancione. In caso di lettura corretta si passa alla prossima parola. In caso di lettura errata al bambino, viene proposto di rileggere la parola aiutandosi con l immagine. Questo tipo di aiuto viene proposto per due tentativi, al terzo interviene il suggeritore dicendo la parola provando a farla ripetere al bambino. In caso di ulteriore errore si procede nella lettura. Questa scelta è stata fatta per non demoralizzare il bambino, poiché in caso di ripetuti errori potrebbe sconfortarsi. Ad ogni modo il bambino durante la lettura ha possibilità di uscire, di cambiare pagina, di richiedere istruzioni e di richiedere l aiuto del suggeritore. Questa scelta è stata fatta perché riteniamo che si debba dare al bambino un ampia libertà di scelta sul cosa fare, senza obbligarlo a compiere determinati comportamenti. Figura 14: Screenshot esempio livello 1. Pagina 79

Livello2 In questo livello, come in precedenza, il software invita il bambino a leggere la porzione di testo evidenziata. In questo caso il testo da riconoscere è costituito da più parole, quindi si è deciso di evidenziare in viola la frase e di svolgere il riconoscimento parola per parola. La parola da leggere si differenzia dalle altre della frase, in quanto colorata in diverso modo. Questa volta l esito di lettura corretta viene comunicato solo visivamente, evidenziando la parola letta correttamente e lasciando il resto della frase in viola. Si è ritenuto inopportuno comunicare ad ogni parola letta correttamente l esito positivo, poiché alla lunga potrebbe stancare oltre che distogliere l attenzione dal testo e alla sua comprensione. Qualora una parola non venga letta correttamente, il sistema interviene facendo lampeggiare la parola e comunicando al bambino di provare a rileggerla. La parola continuerà a lampeggiare finché non viene letta correttamente oppure fino al terzo tentativo di lettura, dopodiché il sistema carica la parola successiva. Anche in questo livello al bambino sono permesse le azioni descritte in precedenza. Figura 15: Screenshot esempio livello 2. Livello3 È il livello più difficile, poiché consiste nella lettura completa del testo. La lettura del bambino è supportata evidenziando volta per volta la frase da leggere, utilizzando il sistema previsto nel livello2. Figura 16: Screenshot esempio livello 3. Pagina 80

VERIFICA COMPRENSIONE Figura 17: Screenshot frame VerificaComprensione (Main Application). Ogni volta che il bambino accederà a questa pagina, testerà le sue capacità di comprensione del testo. Come già espresso in precedenza, il test viene proposto automaticamente con intervalli regolari di tre pagine e alla fine della storia. La pagina del test contiene quattro immagini e un testo che rappresenta la domanda alla quale il bambino dovrà rispondere selezionando l immagine da lui ritenuta corretta. Tuttavia anche in questo caso si vuol dare al bambino la maggiore libertà possibile, consentendogli, qualora lui voglia, di non svolgere questo test premendo su un bottone che permette di saltarlo. Al termine del test il bambino potrà continuare nella lettura. Pagina 81

PAGINA GIOCO Figura 18: Screenshot frame PaginaGioco (Main Application). Questa pagina sarà presentata al bambino qualora voglia cimentarsi nell attività di gioco, premendo sull apposito bottone presente nella Home. Il test consiste nella lettura di porzioni di testo eventualmente associate a un immagine, la cui pronuncia è particolarmente difficile. La voce del software introdurrà il bambino al gioco e questi dovrà leggere di volta in volta parole presentate sequenzialmente in ordine crescente di difficoltà. Alla fine delle parole da leggere al bambino verrà presentato il risultato. Il bambino potrà inoltre decidere di stampare le immagini che compaiono. Questo rappresenta un incentivo all utilizzo del gioco. Pagina 82

TABELLA SUCCESSI Figura 19: Screenshot frame TabellaSuccessi (Main Application). Questa pagina permette al genitore di selezionare da una lista il profilo del bambino che vuole controllare. Il genitore può disporre di diverse informazioni per valutare il livello raggiunto dal bambino, sia per la lettura sia per la comprensione. Per quanto riguarda la lettura, le informazioni messe a disposizione sono: la percentuale di errore durante la lettura, la difficoltà del testo (ovvero il livello di difficoltà corrente), la media dei tentativi per leggere una parola correttamente. Riguardo la comprensione, è a disposizione una percentuale che rappresenta la capacità di comprensione, verificando il numero di test a cui il bambino ha risposto correttamente contro il numero di test totale. E necessario sottolineare che questi dati si riferiscono a una singola lettura e quindi verranno resettati ad ogni nuova lettura. Pagina 83

5 Applicazione di Authoring 5.1 Scelte Progettuali In questo paragrafo verranno descritte le scelte progettuali che sono state effettuate per il prototipo di authoring, tenendo conto dei vincoli presentati nei requisiti. 5.1.1 Esperienza Autore del libro REQUISITO: Ridurre al minimo la possibilità di errore da parte dell utente. o Limitare gli input testuali: Gli input testuali verranno ridotti al minimo indispensabile. Ove possibile, invece dell inserimento manuale del testo si procederà con la selezione della funzione di testo prescelta. o Filtro inserimento file: Verrà creato un filtro d inserimento di file in modo tale che sia possibile inserire solo file aventi l estensione richiesta. In modo particolare durante la creazione del libro viene richiesto l inserimento di molte immagini. L utente verrà quindi limitato nella scelta, avendo la possibilità di selezionare i soli file immagini(.jpg,.png,.gif). o Controlli sulla selezione: Nella creazione del livello sarà possibile inserire solo parole aventi senso compiuto, selezionandole direttamente dal testo originale. Nei diversi livelli verranno fatti controlli diversi in base a regole decise definite a priori ad esempio in base alla presenza o meno della punteggiatura. Pagina 84

o Feed-back sulle operazioni fatte: Alle operazioni fatte sarà conseguente un feed-back che indica o meno la riuscita dell operazione. REQUISITO: Garantire un alta personalizzazione Possibilità di personalizzazione dei livelli: Il creatore del libro avrà la piena facoltà di creare i livelli inerenti al testo. I livelli 1 e 2 sono completamente personalizzabili, mentre il livello 3, che, come già detto, prevede la lettura completa del testo, verrà creato automaticamente. Possibilità di personalizzazione del layout: Il creatore del libro potrà scegliere tra diverse possibilità la struttura della pagina principale di lettura. Possibilità di scelta delle immagini: il creatore del libro potrà selezionare un immagine come sfondo da associare a tutte le pagine di menu e immagini di sfondo diverse per ogni pagina di lettura. REQUISITO: Garantire un facile utilizzo Istruzioni a richiesta: Il creatore del libro avrà la possibilità in qualsiasi momento di richiedere istruzioni su come procedere nell inserimento del contenuto. Pagina 85

5.1.2 Interfaccia REQUISITO: Atmosfera rilassante o Colori tenui REQUISITO: Interfaccia intuitiva o Struttura gerarchica dove saranno chiare le funzionalità dei comandi. Pagina 86

5.2 Scenari utente SCENARIO 1 L autore apre l applicazione, inserisce i dati riguardanti il libro, sceglie il tipo di layout, le immagini di sfondo e procede alla creazione del libro. SCENARIO 2 L autore aggiunge una pagina, inserisce il contenuto e salva la pagina. Successivamente potrà decidere di modificare la pagina o di cancellarla. SCENARIO 3 L autore accede a una pagina e completa ciascun livello dell applicazione selezionando il testo e le immagini. SCENARIO 4 L autore crea il gioco delle parole impossibili inserendo il testo da leggere associando eventualmente delle immagini. SCENARIO 5 L autore crea un nuovo test di comprensione, ricercando le immagini che lo andranno a comporre e scrivendo la domanda da sottoporre al bambino. SCENARIO 6 L autore visiona lo stato di creazione del libro, inteso come insieme di pagine, livelli, test e gioco. Pagina 87

5.3 Distribuzione dei componenti Figura 20: Distribuzione Componenti Authoring. L authoring, utilizzato dal creatore del libro, verrà eseguito su un normale PC. A seguito delle operazioni svolte da questo componente, verranno scritti una serie di file contenenti dati relativi al libro, che saranno letti dalla parte della main application per presentare i contenuti all utente. Pagina 88

5.4 Procedure 5.4.1 Use Case Diagram generale Figura 21: Use Case Authoring Pagina 89

AUTORE AccediResoconto: l autore accede a una pagina contenente una sintesi sullo stato della creazione di pagine, livelli, test e gioco. Crea Gioco: La creazione del gioco è necessaria per sottoporre il bambino alla sfida di lettura delle parole impossibili. Crea Pagina Apprendimento: La creazione della pagina di apprendimento consentirà di trasmettere al genitore un feedback riguardo le capacità di apprendimento di quanto letto da parte del figlio. Crea Libro: Rappresenta l attività di creazione della struttura base sulla quale saranno sviluppati tutti gli altri contenuti. Qualora non si completi la creazione del libro in una sola sessione, si utilizza Carica Libro per riprendere i contenuti registrati precedentemente e completarli. Crea Pagina: è un attività relativa alla creazione del libro, dove verrà memorizzato il testo della favola. Crea Livello: vengono definite le porzioni di testo che il bambino deve leggere. Il creatore ha la completa libertà nel decidere le parti di testo che devono essere lette. Il livello 3 prevede un comando che da la possibilità di creare automaticamente il testo del livello in quanto prevede la lettura dell intera storia. Pagina 90

5.4.2 Sequence diagram Figura 22: Sequence Diagram Authoring. Pagina 91

Il sequence diagram mostrato in precedenza descrive le operazioni che il creatore del libro svolge per la costruzione di un ebook interattivo. Sono state volutamente tralasciate le parti di creazione dei test di verifica delle abilità di lettura e di comprensione per rendere più semplice e leggibile il diagramma. Il diagramma è composto da tre fasi principali: La creazione del libro La creazione della pagina La creazione dei livelli Una volta creato il libro inserendo correttamente tutti i dati richiesti, si procede all inserimento delle pagine. Per ogni pagina creata sarà necessario strutturare dei livelli di difficoltà. Il livello 1 comporta, oltre all inserimento di parole, l inserimento di un immagine relativa ad ogni parola scelta. Il livello 2 richiede l inserimento di porzioni di testo. Per quanto riguarda invece il livello 3, questo viene generato automaticamente all apertura della pagina di creazione dei livelli. Pagina 92

5.5 Architetture del software 5.5.1 Class Diagram Figura 23: Class Diagram Authoring. Pagina 93

Questo class diagram rappresenta la visione delle classi principali dell authoring; per ognuna di esse mostriamo gli attributi e i metodi rilevanti. Riportiamo di seguito, la descrizione dettagliata del diagramma: Class CreazioneLibro: consente di creare un nuovo libro oppure di accedere ad uno già implementato. ATTRIBUTI: titolo: titolo del libro autore: autore del libro suggeritore: personaggio che svolge il ruolo di suggeritore. sfondo: immagine scelta come background dell applicazione. layout: layout scelto per la disposizione degli elementi. METODI: CreazioneLibro: costruttore della classe. Non riceve parametri in ingresso in quanto rappresenta il primo frame della parte di authoring. jbuttoncercasuggeritoreperformed: metodo che permette di cercare un immagine all interno del file system. L immagine scelta rappresenterà il personaggio suggeritore nella main application. jbuttoncreasfondoactionperformed: metodo che permette di cercare e selezionare un immagine che venga utilizzata come background delle pagine della main application. jbuttoncrealibroactionperformed: metodo che consente la creazione di un nuovo libro; comprende l inserimento degli elementi appena definiti. jbuttonvailibroactionperformed: metodo che permette di accedere a un libro già implementato. jcomboboxlayoutitemstatechanged: metodo che permette di selezionare da il tipo di layout preferito da una lista che ne mostra l anteprima. Pagina 94

Class HomeCreazione: rappresenta l HomePage per la parte di authoring, dalla quale si può decidere che operazione compiere sul libro scelto o creato. ATTRIBUTI: numeropagine: pagine del libro titolo: titolo del libro METODI: HomeCreazione: costruttore della classe jbuttoncreazionepagineactionperformed: metodo che accede al frame dedicato alla gestione delle pagine del libro. jbuttoncreazionegiocoactionperformed: metodo che accede al frame nel quale s implementa il gioco delle parole impossibili. jbuttoncreazionecomprensioneactionperformed: metodo che accede al frame nel quale si creano i test relativi alla comprensione del testo. jbuttonresocontoactionperformed: metodo che accede ad un frame che mostra lo stato in cui si trova la creazione degli elementi del libro. Class CreazionePagina: in questa classe vengono generate le pagine che formano il libro. ATTRIBUTI: numeropagine: pagine del libro titolo: titolo del libro METODI: CreazionePagina: costruttore della classe che carica le pagine del libro già implementate. jbuttonpersonalizzalivelloactionperformed: permette di accedere al frame nel quale si creano i livelli relativi a quella pagina. jbuttonsalvapaginaactionperformed: metodo che salva la pagina appena scritta. Pagina 95

jbuttoneliminapaginaactionperformed: metodo che elimina la pagina selezionata; l eliminazione della pagina comporta anche l eliminazione degli eventuali livelli associati. jbuttonscegliimmagineactionperformed: metodo che permette di assegnare un immagine di sfondo alla pagina corrente, dando la possibilità di personalizzare lo sfondo di ogni pagina (abbiamo visto che anche in CreazioneLibro esiste un metodo che permette di scegliere un immagine di sfondo, questa però viene visualizzata nelle pagine che non riguardano la lettura della storia.) jbuttonaggiungipaginaactionperformed: aggiunge una nuova pagina. Class CreazioneLivello: in questa classe si creano e gestiscono i livelli della pagina selezionata. ATTRIBUTI: testopagina: è il contenuto della pagina, dal quale si ricavano gli elementi che costituiscono i livelli. pagina: pagina corrente del libro titolo: titolo del libro testoliv1: testo da riconoscere per il livello1 della pagina. testoliv2: testo da riconoscere per il livello2 della pagina. testoliv3: testo da riconoscere per il livello3 della pagina. METODI: CreazioneLivello: costruttore della classe che carica il testo della pagina e i file dei vari livelli, se già implementati. jbuttonselezionatestolivello1actionperformed: metodo che gestisce la selezione delle parole dal testo per il livello 1. Se la selezione non è conforme alle regole definite, si ritorna un messaggio di errore. jbuttonselezionatestolivello2actionperformed: metodo che gestisce la selezione delle porzioni di testo per il livello 2. Anche in questo caso Pagina 96

sono presenti delle regole che, se non rispettate, causano un errore nella selezione. jbuttonselezionaimmaginelivello1actionperformed: metodo che permette di ricercare e selezionare l immagine da associare alla parola per il livello 1. jbuttonconfermacreazionelivello1actionperformed: metodo che salva il livello 1, quindi le parole selezionate e le relative immagini. jbuttonconfermacreazionelivello2actionperformed: metodo che salva il livello 2, quindi le porzioni di testo selezionate. jbuttongenerazioneautomaticalivelloactionperformed: questo metodo viene utilizzato per la creazione del livello 3, evitando un attività manuale di creazione come negli altri due livelli. Infatti, poiché il livello 3 rappresenta il testo di tutta la pagina, il file di livello viene creato automaticamente. Class OrdinaLivello: questa classe viene utilizzata in CreazioneLivello e svolge una particolare funzionalità, quella di ordinare il livello, in questo modo gli elementi che costituiscono il livello compariranno durante la lettura nell ordine corretto. METODI: OrdinaLivello: costruttore e unico metodo della classe, riceve in ingresso i path del file di livello e del file che contiene le posizioni delle parole del livello (a ogni creazione di un livello, vengono creati un file contenente il testo e un file contenente le occorrenze delle parole nel testo). Verifica che le posizioni delle parole o delle frasi seguano una tendenza crescente, altrimenti le ordina e aggiorna i file. Class DividiTesto: questa classe viene utilizzata in CreazioneLivello e divide il contenuto del file di livello. Pagina 97

METODI: DividiTesto: costruttore e unico metodo della classe, ritorna una lista che spezza il file di livello in diverse parti, ognuna delle quali rappresenta una parola o frase da riconoscere. Quest operazione viene eseguita per mostrare il contenuto del livello in modo chiaro all utente. Class GenerazioneAutomaticaLivello: questa classe ha il compito di costruire il livello 3. METODI: GenerazioneAutomaticaLivello: costruttore e unico metodo della classe, riceve in ingresso il testo della pagina, analizza il testo e svolge le operazioni necessarie per creare un file di livello 3. La sua esistenza è giustificata dal fatto che essendo il livello 3 costituito dall intera pagina da riconoscere, far svolgere una creazione manuale del livello avrebbe poco senso, mentre in questo modo la classe manipola il testo della pagina in modo da ottenere un livello consono alle regole definite. Class CreazioneGioco: contiene i metodi che permettono di sviluppare il gioco delle parole impossibili. ATTRIBUTI: testotest: rappresenta la parola o frase che dovrà leggere il bambino durante il gioco. titolo: titolo del libro numeropagine: pagine del libro METODI: CreazioneGioco: costruttore della classe, carica gli elementi del gioco se già presenti, poiché già implementati. jbuttonselezionaimmagineactionperformed: metodo che consente di ricercare e selezionare l immagine da associare al testo del gioco. Pagina 98

jbuttonconfermacreazionelivello3actionperformed: metodo che consente di salvare il gioco. Class CreazioneTestComprensione: questa classe permette di realizzare i test di comprensione basati sulla scelta tra immagini, che saranno posizionati durante la lettura a intervalli di tre pagine. ATTRIBUTI: titolo: titolo del libro numeropagine: pagine del libro scelta: rappresenta il numero dell immagine ritenuta come risposta esatta del test. domanda: rappresenta la domanda del test alla quale il bambino dovrà rispondere scegliendo un immagine. METODI: CreazioneTestComprensione: costruttore della classe, carica i test già presenti. jbuttonfigura1actionperformed: metodo che carica l immagine scelta come numero 1 e la ridimensiona in base a un bottone. Allo stesso modo avviene per le altre figure. jbuttonconfermaactionperformed: salva la creazione del test, qualora siano state inserite le immagini che lo andranno a comporre, la domanda, e sia stata scelta l immagine ritenuta esatta. Class Resconto: questa classe offre una panoramica riguardo lo stato di realizzazione del libro, quindi delle pagine, livelli, test. ATTRIBUTI: titolo: titolo del libro numeropagine: pagine del libro Pagina 99

METODI: Resconto: costruttore e unico metodo della classe, svolge una ricerca per affermare se quella particolare pagina o livello o test è presente, oppure non è ancora stato implementato. Pagina 100

5.5.2 Package Diagram Figura 24: Package Diagram Authoring. Pagina 101

Come già espresso nel capitolo relativo all implementazione della main application, lo scopo di questo diagramma è di mostrare un livello di astrazione superiore, raggruppando le classi in package ed evidenziando le mutue relazioni. Per quanto riguarda l authoring notiamo le classi che appartengono al package principale, le quali usufruiscono delle funzionalità offerte dalle classi degli altri package. Rispetto al diagramma del precedente capitolo, in questo caso non si fa uso del package SistemaVocale, poiché questi viene utilizzato esclusivamente per il prototipo che sviluppa l interazione tra il bambino e il sistema. Le funzionalità del package GestioneFile sono messe a disposizione ed utilizzate prevalentemente nell authoring dove si creano, scrivono, cancellano, ecc. gli elementi che costituiranno il libro. Il package Eccezioni raccoglie le classi delle eccezioni che possono essere lanciate durante l attività di sviluppo del libro: riguardano l inserimento errato dei dati, selezione del testo non consentita, e rimozione di file non prevista. Pagina 102

5.6 Caratteri di presentazione del testo Per quanto riguarda l interfaccia di authoring si vuole mantenere una certa corrispondenza con le normali applicazioni utilizzate in ambito lavorativo. La scelta è quindi ricaduta su Eras Demi ITC che risulta facilmente leggibile a schermo. Pagina 103

5.7 Controlli relativi all editing del testo Per coadiuvare il lavoro svolto nell interfaccia di authoring da parte di colui che svilupperà il libro interattivo, sono stati introdotti rigidi controlli inerenti l inserimento e la selezione del testo, il cui compito è di ridurre al minimo la possibilità di errore. La creazione delle varie pagine, livelli e test sono un lavoro delicato e necessita di un supporto perché venga portato a termine correttamente. In ogni pagina significativa dell interfaccia, sono messe a disposizioni delle informazioni a cui l utente può accedere per capire quali operazioni può compiere e come procedere. Tuttavia queste istruzioni potrebbero non essere sufficienti perché mal interpretate o travisate, quindi è il sistema che ha il compito di bloccare o impedire determinati comportamenti che potrebbero compromettere il corretto funzionamento dell applicazione principale. Analizziamo ora quali sono questi controlli e dove sono posizionati: Nel frame dedicato alla creazione del libro, opportuni controlli sono stati inseriti per abilitare la creazione qualora i campi che raccolgono le informazioni base del libro non siano vuoti o compilati in modo non corretto, ad esempio per il numero delle pagine si ritiene corretto l inserimento di un numero. Per la scelta delle immagini sono stati introdotti dei filtri che riducono il numero di file selezionabili dal file system alle immagini con le estensioni riconosciute dalla piattaforma java (.jpg,.png,.gif). Nel frame dedicato alla creazione delle pagine, qualora si modifichino delle pagine già implementate, un messaggio avvisa l utente che cambiando il contenuto della pagina, i livelli eventualmente già sviluppati relativi ad essa potrebbero essere corrotti e quindi non più riferibili a quella pagina e verranno quindi cancellati. Pagina 104

Nel frame dedicato alla creazione dei livelli, sono numerosi i controlli presenti, in quanto è qui che vengono realizzati i file e le grammatiche che rappresentano il vocabolario su cui si baserà il motore dell ASR per effettuare il riconoscimento. Quindi è necessario che l implementazione dei livelli e delle grammatiche siano conformi alle specifiche dell applicazione e del software di riconoscimento vocale. o Per quanto riguarda il livello 1, sono presenti dei controlli sulla selezione della parola, che evitano la selezione di una porzione di testo contenente più di una parola, spazi, segni di punteggiatura e di una porzione di testo contenuto in una parola. Tuttavia per facilitare l attività di selezione è sufficiente che l autore effettui un doppio click in una posizione all interno della parola, per fare in modo che essa venga selezionata correttamente. Inoltre è consentito aggiungere una nuova parola solo se è stata scelta l immagine corrispondente. Anche in questo caso sono stati inseriti dei filtri per favorire una selezione rapida dell immagine. Un ulteriore controllo verifica che gli elementi prescelti per la costituzione del livello, siano stati inseriti in modo sequenziale, in caso contrario il livello viene riorganizzato automaticamente effettuando un ordinamento. Per ottenere tale comportamento si considerano le posizioni dei vari elementi all interno del testo della pagina. o Il livello 2, prevede un meccanismo che eviti di selezionare una porzione di testo contenente segni di punteggiatura. Una volta aggiunto un nuovo elemento si verifica che esso non sia in contrasto con quelli già presenti e quindi che non sia già stato inserito o che non sia contenuto in un elemento già inserito. E inserito anche qui il controllo presente per il livello 1 che riordina Pagina 105

automaticamente le porzioni di testo qualora non siano state selezionate nell ordine con cui sono presentate nel testo. Nel frame dedicato alla creazione dei test di comprensione, è consentita la creazione di un nuovo test solo nel caso in cui siano inserite sia le immagini che lo andranno a comporre, che la domanda da porre al bambino. Pagina 106

5.8 Screenshot dell applicazione Analizziamo ora in dettaglio i frame appartenenti all authoring, che permettono di realizzare l ebook, completo delle sue funzionalità. CREAZIONE LIBRO Figura 25: Screenshot frame CreazioneLibro (Authoring.) Questo frame rappresenta la pagina iniziale che si presenta a colui che crea il libro. Prevede due opportunità: quella di selezionare un libro già implementato oppure di crearne uno nuovo. Per quanto riguarda la seconda opzione, si devono inserire delle informazioni per permettere la creazione di un nuovo libro: il titolo e l autore. Inoltre si dovranno selezionare due immagini, una scelta come background del libro, sarà visualizzata nelle pagine principali del libro escludendo quelle relative alla lettura (in seguito mostreremo che è data la possibilità di personalizzare lo sfondo di ogni pagina di lettura), e una rappresentante il suggeritore, un personaggio al quale il bambino potrà fare affidamento in caso di difficoltà riscontrate nella lettura. Inoltre si dovrà scegliere tra diversi tipi di layout Pagina 107

proposti (in questo prototipo 2 ma facilmente sviluppabili in futuro), che dispongono gli elementi dell interfaccia in posizioni diverse; selezionando un layout viene mostrata in una bozza di anteprima come appariranno gli elementi. HOME CREAZIONE Figura 26: Screenshot frame HomeCreazione (Authoring) Dopo aver creato un nuovo libro o averne selezionato uno già esistente, si entra in questa pagina che da la possibilità di: Accedere al frame relativo alla gestione delle pagine del libro. Accedere al frame relativo alla creazione del gioco che si proporrà al bambino. Accedere al frame relativo alla gestione dei test di comprensione, nei quali si creano dei test per valutare la capacità di comprensione su quanto letto, che si presenteranno al bambino a intervalli regolari durante la lettura. Accedere al frame resoconto, nel quale l autore potrà verificare il livello di completamento della creazione del libro. Pagina 108

CREAZIONE PAGINA Figura 27: Screenshot frame CreazionePagina (Authoring). In questo frame si gestisce la creazione delle pagine del libro. Se la pagina selezionata non è ancora stata implementata, bisognerà crearla, altrimenti si potrà accedere alla gestione dei livelli relativa a quella pagina oppure modificare o cancellare testo relativo alla pagina stessa. La cancellazione del testo della pagina comporterà a sua volta la cancellazione dei livelli relativi. Per ogni pagina inoltre, si sceglie l immagine di background che comparirà durante l attività di lettura nella main application. Pagina 109

CREAZIONE LIVELLO Figura 28: Screenshot frame CreazioneLivello (Authoring). Questo frame rappresenta uno di quelli più significativi per la nostra applicazione, poiché è quello nel quale si creano e gestiscono i vari livelli che determinano la modalità con la quale il bambino si approccia alla lettura. I livelli previsti sono tre, con un coefficiente crescente di difficoltà. Nel primo, il bambino dovrà leggere solamente un numero limitato di parole, ognuna delle quali è associata ad un immagine rappresentativa che lo supporterà in caso di errore nella lettura. Il secondo livello è costituito da piccole porzioni di testo da riconoscere, mentre il terzo dal testo intero. Il frame presenta nella parte superiore una text area con il testo della pagina e in basso un pannello con i metodi di manipolazione del testo per la creazione dei due livelli. Il terzo verrà generato in automatico. Per poter creare il primo livello, dal contenitore con il testo della pagina si seleziona la parola da riconoscere (opportuni controlli definiti nel paragrafo 5.7 garantiscono che la selezione sia corretta e abbia senso compiuto, che non contenga dunque porzioni di parola, segni di punteggiatura, spazi) e poi si Pagina 110