Università degli studi di Messina

Transcript

1 Università degli studi di Messina Facoltà di Ingegneria Corso di laurea in Ingegneria Elettronica Tesina di Sistemi di Telecomunicazione Prenotazione Esami con CSLU Speech - toolkit Docente: Prof. Salvatore Serrano Relatori (in ordine alfabetico) Mario Battista Davide Mangano

2 Il CSLU Speech Toolkit CSLU-Speech-Toolkit si configura come un insieme integrato di specializzate tecnologie di programmazione che rappresentano lo stato dell arte negli strumenti per la ricerca, lo sviluppo e l apprendimento dei sistemi di riconoscimento e sintesi del linguaggio naturale. I sistemi automatici di sintesi da testo scritto e di riconoscimento del linguaggio naturale rendono possibile all uomo di interagire con il computer mediante la voce. Questi sistemi sono realizzati sfruttando le conoscenze acquisite nel corso degli anni nel campo del riconoscimento automatico, dell elaborazione del linguaggio naturale e delle tecnologie per l interfaccia uomo-macchina. Essenzialmente si basano: sul riconoscimento delle parole pronunciate, sull interpretazione della loro sequenza al fine di ottenerne un opportuno significato e sull attuazione di un adeguata risposta. Le applicazioni sono numerosissime e, sebbene questi sistemi siano sostanzialmente agli albori, è oltremodo facile intuire la loro enorme potenzialità nel poter rivoluzionare il modo in cui le persone nel futuro si rapporteranno con le macchine. Il software denominato CSLU-Speech-Toolkit è stato progettato per facilitare lo sviluppo della ricerca e delle sue possibili applicazioni, nel campo delle tecnologie vocali per unʹampia gamma dʹutilizzatori e dʹutilizzazioni. Fra le molteplici possibilità si possono elencare: lʹabilitazione di esperti, in specifici domini di applicazione, allʹutilizzo delle tecnologie vocali, per la progettazione di sistemi di riconoscimento del linguaggio naturale (anche multi-lingue) con semplici strumenti di sviluppo; la produzione di sistemi di riconoscimento di elevate prestazioni, a partire da specifiche di progetto di alto livello; lʹapprendimento delle tecnologie vocali, con particolare riferimento ai sistemi di dialogo interattivo, mediante opportuni corsi introduttivi incorporati allʹinterno dei Toolkit; la realizzazione di ricerche sullʹinterazione uomo-macchina con particolare riferimento ai sistemi di dialogo; lo sviluppo delle ricerche sulle tecnologie vocali per una loro introduzione in applicazioni reali ed una loro valutazione. Il software CSLU-Speech-Toolkit è un ambiente di sviluppo che integra un insieme di tecnologie vocali che comprendono: 1

3 il riconoscimento automatico del linguaggio naturale; la sintesi automatica da testo scritto; lʹanimazione video di facce parlanti. Nel sistema sono inclusi vari strumenti di programmazione, essenziali per una facile implementazione delle applicazioni. Lʹarchitettura generale è composta da tre elementi principali: 1. un insieme di librerie contenenti i moduli di base (Core o Kernel) generalmente in C++; 2. unʹopportuna ed immediata interfaccia di programmazione (CSLUsh); 3. un sistema di sviluppo grafico per una più semplice realizzazione delle applicazioni finali RAD (Rapid Application Developer), queste ultime realizzate mediante lʹutilizzo del sempre più diffuso linguaggio Tcl/Tk. 1. Il cuore (Kernel) del sistema, consiste in un insieme di moduli, che implementano gran parte degli aspetti fondamentali, relativi alle tecnologie vocali. Questi moduli o librerie, generalmente realizzate in C++, rappresentano lʹinterfaccia di programmazione API (Application Programming Interface) indipendente dallʹhardware e dai diversi sistemi operativi utilizzati. I singoli moduli comprendono specifiche funzioni: per lʹelaborazione e lʹanalisi del segnale vocale; per lʹapprendimento di reti neurali artificiali NN (Neural Networks) e di catene di Markov Nascoste HMM (Hidden Markov Models); per il riconoscimento automatico mediante algoritmo di ricerca di Viterbi; per lʹutilizzo di unʹinterfaccia telefonica. Inoltre sono inclusi: un robusto parser del linguaggio naturale; una versione aggiornata del sistema di sintesi da testo scritto denominata Festival, sviluppata presso lʹuniversità di Edimburgo; un sistema di animazione di volti parlanti, denominato Baldi, sviluppato presso lʹuniversità di California, Santa Cruz; dizionari testuali di pubblico dominio. Lʹinsieme di questi moduli è molto flessibile, poiché i singoli moduli, possono essere facilmente compilati allʹinterno di un singolo programma, o richiamati individualmente allʹinterno dellʹinterfaccia di programmazione, secondo quanto richiesto dalle specifiche applicazioni. 2

4 2. Il livello principale per lo sviluppo delle applicazioni, è costituito dallʹinterfaccia di programmazione denominata CSLUsh (pronunciato come ʺslushʺ), ed è interamente basata sul diffusissimo e portabilissimo linguaggio di programmazione interattivo denominato Tcl/Tk. CSLUsh incorpora, infatti, i moduli di base API, precedentemente descritti, mediante specifiche funzioni, interamente realizzate in Tcl/Tk. Unʹapplicazione è quindi costruita fondendo insieme i moduli di base, e utilizzando funzioni aggiuntive dʹinterfaccia, quali, ad esempio la gestione: degli eventi relativi allʹorganizzazione dei vari file, degli eventi collegati ai problemi della rete, oppure degli eventi relativi allʹinterfaccia utente grafica (GUI). Le varie applicazioni possono essere eseguite anche su piattaforme hardwaresoftware differenti, e connesse ad una rete locale (LAN) oppure ad Internet, utilizzando le specifiche funzionalità client-server fornite dal linguaggio Tcl, quali: o i protocolli TCP e UDP; o la capacità di funzionare come daemon; o lʹesecuzione remota di comandi Tcl; o il trasferimento dei dati-oggetti. I moduli di base API sono raggruppati in librerie funzionali, che sono richiamate, dinamicamente, in fase dʹesecuzione, rendendo le applicazioni scalabili in termini di risorse computazionali. Ciò consente anche unʹestensione delle funzionalità del software senza che questo debba essere ricompilato in seguito ad eventuali aggiunte o modifiche. 3. Il terzo componente, a livello più ʺaltoʺ, è costituito dallʹambiente di sviluppo grafico denominato RAD (Rapid Application Developer). RAD integra i moduli per: il riconoscimento vocale, la sintesi vocale, lʹanimazione d agenti parlanti, e gli strumenti di visualizzazione, in un efficace ambiente grafico di sviluppo, per la realizzazione e lʹesecuzione di semplici applicazioni. Esso include una tavolozza dʹoggetti di dialogo grafici ed una semplice interfaccia di tipo drag-and-drop. Gli oggetti della tavolozza sono dei veri e propri blocchi di 3

5 programmazione grafica, che lʹutente seleziona ed organizza collegandoli appropriatamente, per realizzare un modello di dialogo a stati finiti. Particolare cura è stata riposta nel cercare di semplificare al massimo la procedura di sviluppo delle applicazioni. Ad esempio, la specifica per lʹutilizzazione di un sistema di riconoscimento, è semplice al punto che è necessario specificare soltanto le parole o le frasi che devono essere riconosciute. Allo stesso modo, per le procedure relative alla sintesi vocale, è richiesta esclusivamente lʹimmissione testuale dei messaggi da riprodurre vocalmente, oppure lʹindicazione di un eventuale collegamento con messaggi precedentemente registrati. Lʹagente parlante Baldi è integrato completamente nel sistema ed è automaticamente sincronizzato, sia con la voce sintetica, sia con quella registrata. Non appena lʹutente diventa più esperto con lʹambiente di programmazione grafica, può immediatamente estendere lʹinsieme iniziale di funzioni fornite da RAD, e creare, ad esempio, nuovi front-end di analisi per applicazioni già sviluppate quali: la lettura automatica della propria posta elettronica o di pagine in html sul world wide web. Tratto dall articolo di Piero Cosi dell Istituto di Fonetica e Dialettologia - C.N.R. Padova: CSLU Toolkit Il riconoscimento automatico del linguaggio naturale alla portata di tutti Atti delle IX Giornate di Studio del G.F.S. Venezia, dicembre

6 Programma per la prenotazione degli esami Il programma da noi elaborato si occupa della gestione, tramite riconoscimento vocale, di una prenotazione, riguardante un esame specifico, in una data di appello valida, presso un università. L esecuzione si articola in più passi: a. Messaggio di benvenuto; b. Inserimento del numero di matricola: qui può sembrare che ci siano due stati in più (state 6 e numero), in verità ciò si è presentato necessario poiché la velocità di dizione dei numeri in sequenza (per quanto riguarda il numero di Matricola) è risultata più veloce del parlato; quindi si è ritenuto opportuno implementare più stati di dizione: più veloci per il parlato, più lenti per i numeri in sequenza; c. Scelta della materia: poiché il programma è un prototipo, la scelta fra le materie si riduce solo a quattro; questo però non ne rappresenta una limitazione, in quanto, per estenderlo ad un numero maggiore di scelte, si ricorre alla medesima procedura di 5

7 sviluppo per il sottoblocco (formato dall action object, e dal generic object della opportuna materia) del presente blocco, tenendo conto di aumentare le uscite dell oggetto radice scel_mat. d. Scelta della data di appello; e. Riepilogo dei dati inseriti; f. Messaggio conclusivo. Per l inserimento della matricola ed il suo riconoscimento è stato utilizzato un Digit Object. Il Digit Object è usato solo per il riconoscimento di cifre, che vengono conservate in una variabile array per un successivo utilizzo. La scelta della materia avviene in base all esigenza dell interlocutore. Tutto avviene tramite l uso di un Generic Object associato a un Action Object. Il Generic Object ha la funzione di sintesi e riconoscimento vocale; in questo oggetto è possibile aggiungere tante nuove porte quante ne servono. Ad ogni porta viene 6

8 associata una possibile scelta da parte dell utente. L Action Object offre la possibilità di inserire un codice Tcl/Tk, e di valutarlo in fase di esecuzione, grazie ad un interprete di Tcl, separato dal Rad: ciò garantisce che le variabili e le procedure non vadano in conflitto con l operazione di RAD. Ecco la visione d insieme dell elaborato: 7