tesi 2013/1/26 18:23 page i #1

Transcript

1 tesi 2013/1/26 18:23 page i #1

2 tesi 2013/1/26 18:23 page ii #2

3 tesi 2013/1/26 18:23 page iii #3 Università Politecnica delle Marche Scuola di Dottorato di Ricerca in Scienze dell Ingegneria Curriculum in Ingegneria Elettronica, Elettrotecnica e delle Telecomunicazioni Sviluppo di un sistema di riconoscimento vocale distribuito Tesi di Dottorato di: Massimo Mercuri Tutor: Prof. Claudio Turchetti Coordinatore del Curriculum: Prof. Franco Chiaraluce XI ciclo - nuova serie

4 tesi 2013/1/26 18:23 page iv #4

5 tesi 2013/1/26 18:23 page v #5 Università Politecnica delle Marche Scuola di Dottorato di Ricerca in Scienze dell Ingegneria Curriculum in Ingegneria Elettronica, Elettrotecnica e delle Telecomunicazioni Sviluppo di un sistema di riconoscimento vocale distribuito Tesi di Dottorato di: Massimo Mercuri Tutor: Prof. Claudio Turchetti Coordinatore del Curriculum: Prof. Franco Chiaraluce XI ciclo - nuova serie

6 tesi 2013/1/26 18:23 page vi #6 Università Politecnica delle Marche Scuola di Dottorato di Ricerca in Scienze dell Ingegneria Facoltà di Ingegneria Via Brecce Bianche Ancona (AN), Italy

7 tesi 2013/1/26 18:23 page vii #7 a chi mi vuol bene!

8 tesi 2013/1/26 18:23 page viii #8

9 tesi 2013/1/26 18:23 page ix #9 Ringraziamenti Desidero ringraziare alcune persone per il loro fondamentale contributo che ha reso possibile la definizione e la stesura di questo lavoro di tesi. Primo fra tutti il Prof. Claudio Turchetti, mio Tutore del Dottorato di Ricerca, che ha investito la sua conoscenza ed il suo tempo in interessanti confronti e determinanti contributi sull intero lavoro svolto consigliandomi e guidandomi costantemente. Ringrazio tutti i componenti del gruppo di ricerca per avermi trasmesso la metodologia di lavoro e la capacità di affrontare problematiche diverse. Con piacere e simpatia ringrazio tutte le persone con cui ho condiviso la sala dottorandi in questi tre anni contribuendo a renderla un luogo piacevole dove recarsi quotidianamente. Ancona, Gennaio 2013 Massimo Mercuri ix

10 tesi 2013/1/26 18:23 page x #10

11 tesi 2013/1/26 18:23 page xi #11 Sommario Nel corso degli anni sono stati utilizzati diversi dispositivi per l interazione uomo-macchina: dal mouse alla tastiera, dal joystick alla tavoletta grafica. La voce, in particolare, rappresenta una modalità di interazione estremamente naturale per l uomo, visto che rappresenta il metodo di comunicazione preferenziale utilizzato ogni giorno. Per questo, le tecnologie vocali hanno rivestito e rivestono un particolare interesse all interno della comunità scientifica. I sistemi di riconoscimento vocale rappresentano il componente tramite il quale l interazione vocale con un sistema può avere luogo. In particolare, in questa tesi, è stata posta l attenzione sullo sviluppo di un sistema di riconoscimento vocale distributo. In tale tipologia di sistemi l architettura del processo di riconoscimento vocale è riconducibile ad uno schema del tipo client-server. Nel client è ospitato il front-end che calcola ed estrae dei parametri rappresentativi del parlato (features). Il riconoscimento del messaggio trasmesso è effettuato dal back-end residente nel server ed è basato sull elaborazione dello stream di features. Inizialmente è stato messo a punto un front-end conforme allo standard ETSI ES , capace di lavorare in tempo reale. Tale front-end è stato dapprima implementato su piattaforma Java, e successivamente portato su un dispositivo mobile smartphone, basato su piattaforma Android. Il back-end remoto è stato messo a punto avvalendosi di un toolkit open source (Sphinx-4) sviluppato dalla Carneige Mellon University. Sulla base dei problemi emersi in questa prima fase e soprattutto dei margini di miglioramento intravisti, la ricerca si è successivamente focalizzata sulle tecniche di adattamento al parlatore. Dopo un attenta analisi della letteratura, in particolare per quanto concerne gli approcci di speaker adaptation, è stato proposto e sviluppato un algoritmo originale per l adattamento al parlatore, da applicare lato client. Questo algoritmo è caratterizzato da ridotta complessità, pur garantendo prestazioni elevate. I risultati ottenuti constatano l efficacia del metodo proposto e la funzionalità del sistema di riconoscimento vocale distribuito nel suo complesso. xi

12 tesi 2013/1/26 18:23 page xii #12

13 tesi 2013/1/26 18:23 page xiii #13 Indice 1 Introduzione 1 2 I sistemi DSR e lo standard ETSI ES Riconoscimento Automatico (ASR) Antecedenti Processo di riconoscimento Caratteristiche Riconoscimento Vocale Distribuito (DSR) STANDARD ETSI ES Noise Reduction Waveform Processing Cepstrum Calculation Blind Equalization Feature Compression Processamento del Server Implementazione del DSR Implementazione in Java del front-end ETSI ES Porting del front-end ETSI ES su piattaforma Android Struttura del sistema Activity Sviluppare per Android Due implementazioni del front-end ETSI per Android Il back-end remoto Architettura dello Sphinx Speaker Adaptation Adattamento dei parametri del modello Notazione HMM Adattamento delle medie Derivazione della matrice di regressione Definizione della funzione ausiliaria Massimizzazione della funzione ausiliaria Matrice di regressione tied xiii

14 tesi 2013/1/26 18:23 page xiv #14 Indice Trasformazione per il caso tied Estensione alle distribuzioni composte da misture Sequenze multiple di osservazione Approccio iterativo per l implementazione del metodo CMLLR MLLR e CMLLR background Trasformazione non vincolata Trasformazione vincolata CMLLR iterativo Costo computazionale Risultati sperimentali Adattamento nel dominio delle features Funzione ausiliaria con componenti misture multiple Adattamento nel dominio del modello Adattamento nel dominio delle features Algoritmo di trasformazione lineare nel dominio delle features Conclusioni e sviluppi futuri 81 xiv

15 tesi 2013/1/26 18:23 page xv #15 Elenco delle figure 2.1 Schema a blocchi di un sistema DSR. (a) raffigura il lato client. (b) raffigura il lato server Blocco di riduzione del rumore Calcolo della media sull ultimo T P SD frame Componenti principali del Waveform Processing Componenti principali del blocco per il calcolo del Cepstrum Mapping tra frequenza lineare e di Mel Suddivisione per coppie dei coefficienti per la quantizzazione a coppie Formato del multi-frame Allineamento dell m-esimo e dell (m + 1)-esimo frame Schematizzazione ad alto livello di un sistema DSR Formattazione del frame ETSI Formattazione del frame Sphinx Android Framework Android restore instance Android activity lifecycle Esempio di un semplice grafo che decodifica le parole one e two Architettura dello Sphinx Diagramma di flusso dell algoritmo ICMLLR Valutazione dell accuratezza in funzione del numero di iterazioni. L adattamento è stato ottenuto con la prima utterance del test corpus, mentre il materiale rimanente è stato usato per condurre test di riconoscimento Errore relativo e valutazione dell accuratezza del riconoscimento del metodo ICMLLR in funzione del numero di iterazioni. Il setup è lo stesso della Fig Confronto dell accuratezza tra i metodi ICMLLR e CMLLR. Il numero delle iterazioni è fissato a 15 per entrambi gli algoritmi. I dati di adattamento aumentano di una utterance alla volta.. 64 xv

16 tesi 2013/1/26 18:23 page xvi #16 Elenco delle figure 5.5 Accuratezza del metodo ICMLLR in uno scenario di adattamento incrementale. Il modello è aggiornato ogni volta che una nuova utterance è disponibile. I grandi punti quadrati mostrano il WER quando viene eseguita un operazione di ripristino Confronto tra le features MFCC originali e le stesse features dopo l adattamento con il metodo CMLLR convenzionale. Sopra i grafici è indicata la trascrizione fonetica allineata dell utterance in esame Confronto tra le features MFCC originali e le stesse features dopo l adattamento con il metodo ICMLLR proposto. Sopra i grafici è indicata la trascrizione fonetica allineata dell utterance in esame Schema di trasformazione dell adattamento lato client - lato server Matrice generata da γ m (τ)ζ(τ)ζ T (τ) τ=1 6.3 Diagramma a blocchi dell algoritmo per la stima della trasformazione lineare delle features xvi

17 tesi 2013/1/26 18:23 page xvii #17 Elenco delle tabelle 2.1 Quantizzazione delle classi Sequenza di sincronizzazione del multiframe Parametri usati nelle sperimentazioni xvii

18 tesi 2013/1/26 18:23 page xviii #18

19 tesi 2013/1/26 18:23 page 1 #19 Capitolo 1 Introduzione Molte volte in ambito ingegneristico ci si trova a dover far fronte ad un problema come il seguente. Un processo del mondo reale produce una sequenza di simboli osservabili, che possono essere a valori discreti (uscite di esperimenti di lancio di una moneta, lettere da un alfabeto finito,... ) o continui (campioni del parlato, vettori di autocorrelazione,... ): ciò che si chiede è di costruire un modello del segnale che spieghi e caratterizzi l occorrenza dei simboli osservati, così da poter essere utilizzato per l identificazione e il riconoscimento di altre sequenze di osservazioni. Per affrontare un tale problema si devono prendere alcune fondamentali decisioni, quale, per esempio, la forma del modello da utilizzare: lineare o non-lineare, tempo-variante o tempo-invariante, deterministico o stocastico. I modelli di sistemi lineari tempo-invarianti, che modellano i simboli osservati come l uscita di un sistema lineare a parametri costanti eccitato da un opportuno ingresso, si sono dimostrati utili per una grandissima varietà di applicazioni. Molti segnali del mondo reale, tuttavia, non possono essere significativamente modellati senza considerare una variazione temporale dei parametri prima accennati. Un tale problema può essere affrontato attraverso il seguente approccio. Molti tra i segnali fisici che nel loro complesso necessitano di modelli tempo-varianti possono essere ciononostante modellati da un sistema lineare tempo-invariante se considerati in un intervallo di tempo sufficientemente piccolo: la natura tempo-variante del processo può essere vista come una diretta concatenazione di questi brevi intervalli di tempo, ciascuno dei quali singolarmente rappresentato da un modello di sistema tempo invariante. Ciascuno di questi intervalli di tempo di osservazione viene visto come un unità con una durata prestabilita, che in molti sistemi fisici si determina in modo empirico. In molti processi, ovviamente, non ci si aspetta che le proprietà del processo cambino sincronicamente con la durata dell analisi di ogni unità, né che si osservino drastici cambiamenti da un unità alla successiva, se non in particolari casi. In molti casi, infatti, ciò che si osserva è un cambiamento di comportamento sequenziale: le proprietà del processo solitamente si mantengono per un certo periodo di tempo e successivamente cambiano, gradualmente o rapidamente, in un altro insieme di proprietà. Una 1

20 tesi 2013/1/26 18:23 page 2 #20 Capitolo 1 Introduzione rappresentazione efficiente può allora essere ottenuta utilizzando un modello di intervallo di tempo comune per ogni parte stabile del segnale, con l aggiunta di una qualche caratterizzazione di come un tale periodo evolve verso il successivo. Ecco quindi che per modellare un mondo mutevole si usa una variabile aleatoria per ogni aspetto del suo stato in ogni intervallo temporale. Le relazioni tra queste variabili descrivono l evoluzione dello stato. Il processo di cambiamento può essere visto come una serie di fotografie, ognuna delle quali descrive lo stato in un particolare istante. Ogni fotografia contiene un insieme di variabili aleatorie, alcune osservabili e altre no. Per semplicità si assume che in ogni intervallo di tempo sia osservabile lo stesso sottoinsieme di variabili e si assume che: i cambiamenti sono causati da un processo stazionario, cioè che i cambiamenti stessi sono regolati da leggi immutabili nel tempo; lo stato corrente dipende soltanto da una storia finita di stati precedenti. Da queste assunzioni nasce l idea degli Hidden Markov Models (HMM), processi doppiamente stocastici con un processo stocastico sottostante che non è osservabile (hidden, nascosto), ma che può solo essere osservato attraverso un altro insieme di processi stocastici che producono la sequenza di simboli osservati. In questo lavoro di tesi l applicazione dell HMM riguarda lo speech processing. In particolare è stato sviluppato un sistema di riconoscimento vocale distribuito. In tale tipologia di sistemi l architettura del processo di riconoscimento vocale è riconducibile ad uno schema del tipo client-server. Un sistema di riconoscimento vocale distribuito è composto da un front-end e da un backend. Il front-end calcola ed estrae i parametri caratteristici del segnale vocale e li trasmette al back-end che realizza il riconoscimento. La voce non è trasmessa su un canale vocale: ai fini del riconoscimento vocale, solo una rappresentazione parametrica codificata viene inviata usando un canale dati, pertanto la trasmissione è numerica e può usare opzionalmente ulteriori meccanismi di recupero e correzione degli errori, oltre a quelli già previsti dallo standard ETSI. Dopo l estrazione dei parametri cepstrali, questi sono formattati in un bitstream tramesso sul canale. Nel capitolo 2 viene descritta l architettura generale di un sistema di riconoscimento vocale distribuito conforme allo standard ETSI ES Nel capitolo 3 è descritta l implementazione del sistema di riconoscimento vocale distribuito, l implementazione in Java del front-end ed il successivo porting su un dispositivo mobile basato su piattaforma Android. Sulla base dei problemi emersi in questa prima fase e soprattutto dei margini di miglioramento intravisti, la ricerca si è successivamente focalizzata sulle tecniche di adattamento al parlatore. Nel capitolo 4 viene descritta la teoria che 2

21 tesi 2013/1/26 18:23 page 3 #21 sta alla base delle tecniche di adattamento al parlatore. Il capitolo 5 riporta la descrizione dello sviluppo di un algoritmo originale per l implementazione del metodo CMLLR. Infine nel capitolo 6 viene descritta una tecnica per l adattamento al parlatore da applicare lato client che implementa la trasformazione non vincolata. 3

22 tesi 2013/1/26 18:23 page 4 #22

23 tesi 2013/1/26 18:23 page 5 #23 Capitolo 2 I sistemi DSR e lo standard ETSI ES I sistemi di riconoscimento vocale (ASR, Automatic Speech Recognition) hanno ormai imboccato la strada necessaria per superare il gap tra la naturalezza data dall eloquio con un interlocutore reale e il risparmio sui costi, unitamente all affidabilità, garantito da un sistema automatico. Le performance dei sistemi di riconoscimento del parlato che ricevono il segnale vocale trasmesso nei canali mobili, presentano delle degradazioni in confronto con i sistemi che lavorano con il segnale originale, in genere dovute ad una codifica ad un basso bit rate e alla presenza di errori di trasmissione. Un sistema di riconoscimento vocale distribuito (DSR, Distributed Speech Recognition), risolve questi problemi mediante la sostituzione delle codifiche audio tradizionali con il calcolo di parametri rappresentativi del parlato (features) tramite l uso di meccanismi di filtraggio del rumore acustico sovrapposto al segnale vocale. Il processo si svolge in un terminale mobile e la rete. Il calcolo dei parametri e l identificazione degli intervalli di voce o di rumore sono realizzati sul client, tipicamente un terminale mobile, mentre il processo di riconoscimento si esegue in un server remoto. 2.1 Riconoscimento Automatico (ASR) Un sistema ASR permette di convertire il parlato in testo. Ad esempio un parlatore può parlare ad una frequenza di 160 parole per minuti, e automaticamente il computer converte il parlato in testo con errore pari del 4 percento [1]. Il processo di riconoscimento è eseguito da un software chiamato motore di riconoscimento vocale; in particolare se l applicazione può interpretare il risultato del motore di riconoscimento come se fosse un comando, l applicazione è chiamata command-control, se supporta solamente il testo riconosciuto come testo, l applicazione è di dettatura. Il silenzio, nelle applicazioni di riconoscimento, è tanto importante quanto l eloquio, perché esso delimita l inizio e la fine di una enunciazione (utterance). Una utterance è un flusso di parlato fra 5

24 tesi 2013/1/26 18:23 page 6 #24 Capitolo 2 I sistemi DSR e lo standard ETSI ES due intervalli di silenzio. Pertanto può essere una singola parola oppure una serie di parole che formano una frase. Le utterances sono inviate al motore di riconoscimento sottoforma di features per il loro trattamento: se il parlatore non produce nessun suono vocalizzato, il motore restituisce un timeout di silenzio, che indica che non è stata trovata nessuna enunciazione. Il motore di riconoscimento usa un insieme di dati, modelli statistici e algoritmi per convertire il segnale vocale in testo. Durante lo sviluppo di applicazioni di riconoscimento vocale, è opportuno definire l insieme delle parole e delle frasi che gli utenti possono pronunciare, in quanto tale informazione è utile per guidare e migliorare le prestazioni di riconoscimento. La definizione delle frasi e parole si specifica tramite una grammatica. Una grammatica usa una sintassi particolare, un gruppo di regole per definire le parole, le frasi che possono essere riconosciute dal motore. La specifica della grammatica può essere fatta semplicemente mediante un elenco di parole, cioè sfruttando le proprietà del linguaggio naturale. La dipendenza dal parlatore descrive il grado di conoscenza delle caratteristiche vocali di un parlatore, che un motore richiede per svolgere un riconoscimento accurato. Quei riconoscitori che esigono l interazione vocale con un utente per allenare il sistema in una fase preliminare, sono chiamati dipendenti dal parlatore (speaker-dependent) altrimenti sono chiamati indipendenti dal parlatore (speaker-independent). I sistemi di riconoscimento di parole isolate, con pause corte fra le parole, sono usati per applicazioni command-control con vocabolari ridotti come comandi per la navigazione internet, il controllo di menu tramite voce, etc Antecedenti I riconoscitori vocali sono basati sui modelli di Markov. Gli Hidden Markov Models (HMM), come detto in precedenza, permettono di modellare processi stocastici come il parlato. Gli HMM rappresentano il parlato come una sequenza di vettori di osservazione derivati da una funzione di probabilità di primo ordine chiamata catena di Markov. Gli stati del sistema sono identificati in uscita da una funzione probabilistica che descrive le variazioni e sono collegati mediante transizioni probabilistiche. Gli ASR sono divisi in due classi: direct voice input (DVI) e large vocabulary continuos speech recognition (LVCSR). I dispositivi DVI permettono alla voce di comandare e controllare, dall altro lato i sistemi LVCSR consentono il riconoscimento del parlato continuo e trovano applicazione nella generazione dei documenti tramite la dettatura. La configurazione dei sistemi DVI è orientata ai vocabolari ridotti (massimo 100 parole). I sistemi LVCSR lavorano con dei vocabolari più grandi (minimo 1000 parole) e sono configurati per la trascrizione del parlato continuo, inoltre i LVCSR possono non necessitare di un riconoscimento in tempo reale, 6

25 tesi 2013/1/26 18:23 page 7 # Riconoscimento Automatico (ASR) ad esempio per un servizio di dettatura tramite il telefono, il messaggio dettato può essere inviato successivamente via posta elettronica all utente. Dal punto di vista delle applicazioni, i benefici dei sistemi ASR derivano dal vantaggio di provvedere canali di comunicazioni extra per le interazioni uomo-macchina (comunicazioni multimodali) in ambiti di tipo hands-busy e eyes-busy, o semplicemente per comodità dell utente o abbattimento dei costi di un servizio Processo di riconoscimento Un sistema di riconoscimento automatico avviene in 3 fasi: 1. Il trattamento o analisi del parlato (front-end). In questa fase si fa un analisi preliminare della voce. Durante questo stadio, si esamina il segnale vocale attraverso il tempo e si estraggono i parametri spettrali (dopo la conversione analogica/digitale del segnale). 2. Classificazione delle unità fonetiche cioè modello acustico. Classifica e identifica i segmenti di voce già processati con dei simboli fonetici (fonemi). A volte si può associare una probabilità ai fonemi mediante una simbologia che permette di ampliare l informazione trasmessa allo stadio seguente. 3. Analisi usando delle regole del parlato dette anche modello del linguaggio. In quest ultima fase si sfruttano le regole usate per codificare il messaggio contenuto nel segnale, con lo scopo di migliorare le performance del sistema e infine per ottenere dei risultati migliori si ricava la conoscenza dall ortografia, sintattica, prosodica, semantica Caratteristiche Il sistema di produzione della voce umana può sembrare molto semplice, però a causa della grande quantità dei parametri descrittivi che interagiscono nel processo, il problema è insitamente complesso. La tecnologia ASR di natura interdisciplinare permette di applicare delle tecniche e delle conoscenze da diverse aree, quali [2] processamento dei segnali, fisica (acustica), riconoscimento di patterns, teoria dell informazione e comunicazioni, linguistica, fisiologia e informatica. I sistemi ASR hanno vantaggi e svantaggi. Gli svantaggi più importanti sono stati classificati in sei punti [3]: 1. Continuità. Nel linguaggio naturale non ci sono delle sospensioni tra le unità, inoltre le pause ed i silenzi possono essere molto brevi e mascherati da rumore di sottofondo. 2. Dipendenza dal Contesto. Ogni suono in cui si può dividere il parlato (fonema) è modificato dal contesto in cui si trova. La produzione del 7

26 tesi 2013/1/26 18:23 page 8 #26 Capitolo 2 I sistemi DSR e lo standard ETSI ES fenomeno chiamato coarticulation è legata alla vicinanza dei fonemi, due fonemi uno precedenti e uno successivo possono modificare l aspetto di un fonema adiacente. 3. Variabilità. La variabilità può essere intra-parlatore oppure inter-parlatore. La variabilità (intra-parlatore) è prodotta per le modifiche introdotte dallo stesso parlatore ad esempio, quando si pronuncia in maniera diversa gli stessi fonemi ovvero parole. La variazione di tipo inter-parlatore è prodotta dall interazione del parlatore con l ambiente, il segnale ottenuto dipenderà dai dispositivi usati per la sua registrazione, altro aspetto è il sistema di fonazione umana che cambia per ogni parlatore. 4. Salvataggio dell informazione. Il numero di dati processati e salvati cresce notevolmente all aumentare della durata dell eloquio, perciò è necessario avere a disposizione risorse di memoria che possano supportare queste esigenze. 5. Organizzazione dell informazione. Il segnale contiene informazione a diversi livelli di descrizione. L analisi del segnale richiede una struttura dell informazione in modo di poter classificarla. Nel processo di analisi ci sono dati di tipo semantico, sintattico e fonetico. Dall altra parte il segnale vocale contiene dell informazione che descrive il parlatore. 6. Assenza delle regole di descrizione e ridondanza. Finora non è stato definito un modello per descrivere i diversi livelli di informazione. 2.2 Riconoscimento Vocale Distribuito (DSR) La tecnologia vocale offre un nuovo metodo per la gestione dell informazione tramite i sistemi di riconoscimento vocale. La complessità dei vocabolari usati, le restrizioni di memoria e le risorse computazionali limitate sono alcuni degli aspetti che sono considerati per lo sviluppo di nuove applicazioni di riconoscimento distribuito tra un terminale e la rete. I server centralizzati sono usati per eseguire delle operazioni considerate pesanti per il terminale utente (tipicamente un dispositivo mobile). Il vantaggio di separare alcune funzionalità tra terminale utente (client) ed un server di rete è dovuto anche all aumento della capacità di aggiornamento delle tecnologie e dei servizi. Le reti mobili di voce potrebbero, in certi casi avere una bassa performance, causata maggiormente da un decremento del bit rate e dagli errori nel canale di trasmissione. Un sistema DSR (Distributed Speech Recognition) propone delle soluzioni ai problemi indicati, mediante l eliminazione della connessione voce e la sua sostituzione con una connessione dati a pacchetto per l invio di una rappresentazione 8

27 tesi 2013/1/26 18:23 page 9 # STANDARD ETSI ES parametrica della voce ottimizzata per il riconoscimento e non soggetta alle limitazioni e alle degradazioni causate dai codec vocali, il cui scopo è la sola compressione massima di banda. In un sistema distribuito, il riconoscimento è ripartito tra il terminale e la rete. Il terminale (front-end) esegue l estrazione delle features, che sono trasmesse tramite un canale dati ed arrivano al server per il riconoscimento automatico (back-end). Il contributo più importante è il basso impatto della codifica di trasmissione, ottimizzata per massimizzare la bontà del riconoscimento automatico e non per minimizzare l occupazione di banda, sulla performance del processo di riconoscimento. La Fig. 2.1 mostra l architettura generale di un sistema DSR. Figura 2.1: Schema a blocchi di un sistema DSR. (a) raffigura il lato client. (b) raffigura il lato server. Per facilitare lo sviluppo delle applicazioni che supportano il riconoscimento distribuito è stato proposto uno standard che garantisce la compatibilità tra il terminale (client) e il riconoscitore remoto (server). 2.3 STANDARD ETSI ES Il primo standard ETSI [4] è basato sulla rappresentazione del Mel-Cepstrum, data la diffusione di questa tecnica nell industria del riconoscimento vocale. Il secondo standard [5], precisa gli aspetti per la costruzione di un DSR resistente 9

28 tesi 2013/1/26 18:23 page 10 #28 Capitolo 2 I sistemi DSR e lo standard ETSI ES al rumore di sottofondo. Lo standard preso in esame in questa tesi è lo standard ETSI ES [6]. Nel terminale, il segnale del parlato è campionato e parametrizzato usando l algoritmo Mel-Cepstrum: come risultato sono generati 12 coefficienti cepstrali ed il valore dell energia (log energy), che vengono compressi e formattati per comporre il bitstream di trasmissione. Il bitstream è inviato su una linea di trasmissione di tipo cablata oppure senza fili al server remoto; dal lato server si esegue il processo di decodifica estraendo i parametri Mel-Cepstrum. La definizione dell architettura per il server di riconoscimento back-end non è parte dallo standard, in quanto l interoperabilità tra il terminale e la rete è garantita dalla definizione del solo bitstream trasmesso. I canali usati per trasportare il bitstream sono sensibili agli errori, per questo motivo nel codificatore (terminale mobile) sono aggiunti alcuni bit di codice correzione (CRC) ed è usato un algoritmo per l identificazione e la correzione degli errori nel decodificatore Noise Reduction La riduzione del rumore è divisa in due stadi, molto simili, basati sulla teoria del filtraggio di Wiener. La Fig. 2.2 mostra i principali elementi del blocco di riduzione del rumore del front-end. Il segnale rumoroso di entrata viene trattato nel primo stadio, l uscita è a sua volta l entrata del secondo stadio, infine l uscita del blocco è il segnale pulito. Figura 2.2: Blocco di riduzione del rumore. Il processo è realizzato per ogni frame del segnale. Dopo la frammentazione del segnale di input, il blocco chiamato Spectrum Estimation calcola lo spet- 10

29 tesi 2013/1/26 18:23 page 11 # STANDARD ETSI ES tro di ogni frame. Il blocco PSD Mean filtra lo spettro del segnale lungo l indice del tempo. Il blocco WF Design calcola i coefficienti di Wiener nel dominio della frequenza, usando la stima dello spettro del frame corrente e lo spettro del rumore. Lo spettro del rumore è calcolato dai frame rumorosi, trovati dal Voice Activity Detector (VADNest). I coefficienti di Wiener sono filtrati tramite il Mel Filter-bank. La riposta impulsiva del filtro di Wiener Mel-warped si ottiene applicando la Mel IDCT. Nell ultimo passo il blocco OFF cancella l offset del segnale trattato. Buffering Il segnale di input del blocco di riduzione del rumore è un frame di 80 campioni. Un buffer di 4 frame (dal frame 0 al frame 3) è usato per ogni stadio del blocco di riduzione del rumore. Ad ogni nuovo frame in ingresso, i buffer dei due stadi vengono traslati di un frame. Il nuovo frame in ingresso al blocco di riduzione del rumore diventa il frame 3 del buffer del primo stadio. Quindi viene processato il frame 1 (dalla posizione 80 alla posizione 159 nel buffer) del buffer del primo stadio. Tale frame diventa il frame 3 del buffer del secondo stadio. Dunque il frame 1 del buffer del secondo stadio viene processato. Tale frame processato rappresenta l uscita del blocco di riduzione del rumore. Quindi ad ogni stadio del blocco di riduzione del rumore c è una latenza di 2 frame (20 ms). Per ogni stadio del blocco di riduzione del rumore, la stima spettrale viene effettuata su una finestra che parte dalla posizione 60 e finisce alla posizione 259. Spectrum estimation Il segnale in ingresso viene diviso in frames sovrapposti di N in campioni. Il frame ha una lunghezza di 25 ms (N in = 200) e lo shift è pari a 10 ms (80 campioni). Ogni frame s in (n) è finestrato con una finestra di Hanning di lunghezza N in, w Hann (n) nel seguente modo: s w (n) = s in w Hann (n), 0 n N in 1 (2.1) dove w Hann = cos ( ) 2π(n + 0.5) N in (2.2) Quindi, viene effettuato uno zero-padding dal campione N in al campione N F F T 1, dove N F F T = 256 è la lunghezza della Fast Fourier Transform (FFT): { sw (n), 0 n N in 1 s F F T (n) = (2.3) 0, N in n N F F T 1 11