UNIVERSITÀ DEGLI STUDI DI MILANO

Transcript

1 UNIVERSITÀ DEGLI STUDI DI MILANO FACOLTÀ DI SCIENZE E TECNOLOGIE CORSO DI LAUREA TRIENNALE IN INFORMATICA MUSICALE SVILUPPO DI UN APPLICAZIONE PER LA CREAZIONE DI PAESAGGI SONORI BINAURALI Relatore: Correlatore: Prof. Luca Andrea Ludovico Dott. Giorgio Presti Tesi di Laurea di: Bo elli Lorenzo Matr. Nr anno accademico

2

3 Introduzione Questa tesi a ronta lo sviluppo di un applicazione per la spazializzazione binaurale attraverso l uso del linguaggio C++. L esperienza e le conoscenze maturate durante questi tre anni di studio sono state fondamentali per lo sviluppo questo elaborato. L audio binaurale, difatti, per le sue particolari caratteristiche ha bisogno di molte premesse per essere compreso ed utilizzato. Essendo questo tipo particolare di esperienza audio modellata sul modo in cui il nostro corpo percepisce il suono, è necessaria una buona conoscenza dell anatomia e fisiologia dell apparato uditivo. Inoltre, va considerato il modo in cui il nostro cervello ottiene ed elabora i segnali per ricavarne le informazioni di cui ha bisogno; in modo particolare verranno studiate quelle relative alla localizzazione spaziale. La natura dell onda, e come avviene il suo viaggio all interno dello spazio, è un fondamento necessario per poter trattare questa tematica. Trattandosi inoltre di utilizzo dell audio in campo informatico, sono oltremodo necessarie competenze a tutto tondo a livello tecnico, che spaziano dalla digitalizzazione fino all elaborazione dei segnali, passando per gestione accurata di bu er di lettura e scrittura, allocazione e memorizzazione. Questo corso di laurea ha coperto in modo eccellente ognuno di questi argomenti, andando spesso oltre e suscitando anche la curiosità per molti argomenti di approfondimento. Uno di questi è oggi oggetto della mia tesi di laurea: l audio binaurale. L interesse per questo argomento è stato suscitato durante le ore in aula, a partire dal primo anno (Corso di Modelli della Percezione Musicale), e mi ha portato ad un forte approfondimento a casa. Quello che trovo interessante a riguardo di questo argomento è la forte potenzialità a livello di coinvolgimento dell ascoltatore o utente finale, e la facilità di applicazione. L audio binaurale permette di sorpassare la linea monodimensionale dell audio stereo, afavorediun esperienzatridimensionale,dipersécoinvolgenteepiùnaturale. La facilità di applicazione deriva invece dal fatto che non c è bisogno di innovazioni a livello hardware o software; si possono infatti utilizzare tutti i tipi di architetture e tecnologie progettate per l audio stereo.

4 L interesse per questo particolare argomento mi ha portato a realizzare un sistema digitale portatile per la registrazione binaurale. La parte strutturale è composta dalla testa di un manichino, su cui sono state montate due orecchie, ottenute tramite stampa 3D ad alta definizione. All interno dei condotti uditivi sono stati posizionati i microfoni, scelti per l approssimazione alla linearità nella loro risposta in frequenza. Questi ultimi sono stati collegati ad un registratore digitale portatile, che opera la digitalizzazione del segnale fino a 96kHz/24bit. Ovviamente, l approssimazione all anatomia umana è molto abbondante, ma nonostante tutto si possono ottenere comunque dei buoni risultati. Organizzazione della tesi La tesi è organizzata come segue: nel Capitolo 1 viene spiegato il concetto di audio binaurale e tutte le nozioni necessarie per comprendere al meglio su cosa si basa, come funziona e quali sono i suoi limiti. nel Capitolo 2 è descritto il dataset HRTF utilizzato per lo sviluppo dell applicazione: come sono stati ottenuti e filtrati i dati per ottenere le HRTF utilizzate; a fine capitolo viene motivata la scelta del dataset utilizzato rispetto ai tanti altri disponibili. nel Capitolo 3 si illustra la struttura del software oggetto di questa tesi, descrivendo le varie funzioni dell applicazione e come esse siano state realizzate. nel Capitolo 4 infine vengono descritti i test a cui è stata sottoposta questa applicazione, per testarne l e cenza. Questi test riguardano l approccio utentesoftware, la velocità di elaborazione e l e cacia del dataset HRTF utilizzato. Idatiraccoltisonosuccessivamentecommentatinellasezioneconclusiva.

5 Indice Introduzione Ringraziamenti 1 Audio Binaurale Localizzazione Spaziale Di erenza di livello Di erenza di tempo Filtraggio relativo alla direzione Angolo minimo di discriminazione Movimenti della testa HRTF (Head Related Transfer Functions) Misurazione delle HRTF HRTF Learning Problemi delle HRTF Problemi dell audio binaurale Distorsione Ascolto in cu a Ascolto tramite altoparlanti Potenza di calcolo Dataset HRTF Misurazione delle HRTF Estrazione dei dati Rapporto segnale-rumore Organizzazione dei file Filtraggio delle non-linearità Scelta dei dati

6 INDICE 3 Sviluppo del Software Interfaccia grafica Pannello Lista dei file Barra delle funzioni Funzioni Aggiunta ed eliminazione dei file Gestione dei progetti Scala grandezze Impostazioni O set e posizionamento Rendering Riproduzione Elaborazione dei segnali L oggetto SorgenteAudio Preparazione dei file Scelta dell HRTF Convoluzione Gestione dell o set Unione delle sorgenti Normalizzazione Utilizzo ed e cacia dell applicazione Approccio utente-applicazione Velocità di rendering E cacia delle HRTF Premesse Training Descrizione del test Risultati Finali Conclusioni Sviluppi Futuri

7 Capitolo 1 Audio Binaurale L audio binaurale è una tecnica che permette di far provare all ascoltatore un esperienza uditiva tridimensionale utilizzando solamente due canali audio. Partendo infatti da due punti di ascolto, simula il modo di percepire eventi uditivi nel mondo reale. [1] Vi sono due approcci possibili all audio binaurale: registrazione o sintesi. Il primo approccio prevede l utilizzo di microfoni o apparecchiature di registrazione binaurali. Queste ultime possono variare per complessità in un ventaglio che va da semplici microfoni disposti in direzioni opposte e opportunamente spaziati, fino a manichini composti da busto, testa e spalle, fabbricati per approssimare al meglio un ascoltatore (Manichino KEMAR, Figura 1). Figura 1: Manichino KEMAR. Vi è inoltre la possibilità di utilizzare persone al posto di manichini per realizzare le registrazioni, anche se questo può creare problemi relativi al movimento dell ascoltatore; oltretutto nel condotto uditivo è molto di cile riuscire a posizionare dei microfoni ad alta qualità senza invadere troppo l organismo umano [2]. Il secondo approccio si basa sulla realizzazione di funzioni particolari, specifiche per ogni posizione dello spazio: le HRTF (Head Related Transfer Functions). Queste funzioni vengono ricavate registrando la risposta all impulso (o ad uno sweep 1

8 CAPITOLO 1. AUDIO BINAURALE 2 in frequenza) di un sistema di registrazione binaurale, stimolato da diverse posizioni nello spazio. Maggiore è il numero dei punti di stimolo acustico, più fine sarà la collocazione nello spazio dei suoni nella fase successiva [3]. Per inserire i suoni nello spazio, sarà quindi necessario filtrare il suono puro secondo la funzione relativa al punto dello spazio in cui si vuole collocare rispetto all ascoltatore. L operazione utilizzata per realizzare il file definitivo è la convoluzione. 1.1 Localizzazione Spaziale L audio binaurale si basa sul funzionamento del nostro apparato uditivo e del nostro cervello per la percezione spaziale degli eventi uditivi circostanti: per questo è importante conoscerne le caratteristiche principali. L apparato uditivo umano utilizza 3 metodi per localizzare le sorgenti sonore: di erenza di livello interaurale, di erenza di tempo interaurale e filtraggio relativo alla direzione [4]. I primi due sono illustrati nella Figura 2. Figura 2: Semplificazione del meccanismo di di erenza interaurale di livello e tempo Di erenza di livello La di erenza interaurale di livello corrisponde alla di erenza di intensità e si misura perciò in decibel (db). Se si ha di erenza di livello interaurale, la sorgente dell evento uditivo sarà più vicina all orecchio che percepisce un intensità maggiore. Maggiore è la di erenza, più la sorgente è spostata rispetto al centro del campo uditivo. Questo metodo funziona però solamente per le alte frequenze (sopra 1 khz), per le quali la testa agisce come ostacolo, creando un ombra acustica dovuta alla di razione generata dallo scontro delle onde con la sua superficie [5], come illustrato in Figura 3.

9 CAPITOLO 1. AUDIO BINAURALE 3 Figura 3: Di erenza di livello interaurale a diverse frequenze e angoli di incidenza Di erenza di tempo La di erenza interaurale di tempo rappresenta il ritardo di percezione di un evento uditivo tra le due orecchie, che può arrivare ad un massimo di 0.65 ms, dovutaal maggiore percorso che l onda sonora deve compiere nello spazio. Il ritardo di percezione di un orecchio rispetto all altro fa comprendere l ascoltatore che la sorgente è posizionata verso l orecchio che ha ricevuto l onda sonora prima dell altro; in base all entità del ritardo si stabilisce l angolo di inclinazione della sorgente rispetto al nostro fronte (vedi Figura 4). In realtà il nostro cervello non lavora sul ritardo dei transienti, ma sulle di erenze di fase dei segnali distinti che giungono ad entrambe le orecchie. Avendo queste ultime una distanza fissa fra loro, calcolata la di erenza di fase, si può facilmente risalire all angolo di incidenza [2]. In maniera complementare alla di erenza di livello interaurale, la di erenza di tempo agisce sulle frequenze basse, al di sotto di 1 khz Filtraggio relativo alla direzione Nonostante entrambi i metodi precedenti vengano utilizzati nel nostro apparato uditivo, ed agiscano su range complementari di frequenze, non sono capaci di dare una localizzazione fine delle sorgenti nello spazio. Infatti essi possono stabilire l angolo di incidenza, ma non se rispetto al fronte o al retro, e non possono stabilire alcun angolo di elevazione [6]. Interviene quindi il filtraggio relativo alla direzione, operato dal padiglione auricolare edalcondotto uditivo. In base alla direzione da cui il suono proviene, esso viene

10 CAPITOLO 1. AUDIO BINAURALE 4 Figura 4: Di erenza di tempo interaurale a seconda dell angolo di incidenza. modificato da risonanze, interferenze, riflessioni e rifrazioni che avvengono dapprima all interno del padiglione auricolare, dovuteallasuaformaparticolareeallesuepieghe, dopodiché all interno del condotto uditivo, primadiarrivarealtimpano;queste riflessioni e risonanze sono illustrate in Figura 5 [3]. Contribuiscono a questo fenomeno anche la presenza della testa, del collo, del busto e delle spalle, che danno ulteriori particolari riflessioni che servono al nostro cervello come indizi per ricostruire la scena uditiva. Di erentemente dai precedenti, questo metodo di localizzazione è e cace anche in caso di monauralità, ovverocasiincuisihaunsolopuntod ascolto. Infattinon operando puramente per di erenza fra due segnali, può riconoscere il filtraggio del suono per ottenere la localizzazione della sorgente Angolo minimo di discriminazione L angolo minimo di discriminazione è la minima di erenza di inclinazione percepibile, sia per il piano orizzontale che per quello verticale. In condizioni ottimali, l angolo minimo di discriminazione dell apparato uditivo umano si aggira attorno a 2 gradi, con una precisione maggiore per le posizioni vicine al fronte (0 gradi azimuth) edunaperditadrasticadiprecisioneperleposizionipiù laterali [5]. Come si evince dalla Figura 6, è inoltre soggetto a variazioni di precisione in base alla frequenza: angoli molto piccoli possono essere riconosciuti in segnali a bassa frequenza, mentre per le frequenze sopra 1500Hz, angolipiccolisonodi cilmente riconoscibili,.

11 CAPITOLO 1. AUDIO BINAURALE 5 Figura 5: Distribuzione della pressione sonora nell orecchio esterno a diverse frequenze. Le linee tratteggiate indicano i punti nodali Movimenti della testa Per quanto possano non fare parte dell apparato uditivo, i movimenti della testa (illustrati in Figura 7) hanno un compito critico nei meccanismi di localizzazione delle sorgenti, perché permettono di comprendere la direzione da cui un evento uditivo proviene, anche in caso di ambiguità nella rilevazione dei sistemi di localizzazione. Girare la testa, infatti, comporta delle variazioni di livello e fase nelle basse frequenze del segnale, dando possibilità all apparato uditivo di ascoltare da più punti di vista di erenti, e di localizzare secondo gli strumenti a disposizione [7]. 1.2 HRTF (Head Related Transfer Functions) La somma dei tre metodi utilizzati per la localizzazione delle sorgenti dà come risultato un unica HRTF. Questa è definita come la funzione che descrive come un orecchio riceve il suono da un punto nello spazio. Queste funzioni vanno a modificare lo spettro naturale delle sorgenti; aggiungono cioè informazioni allo spettro originale per poter dare al cervello la possibilità di localizzare il suono nello spazio [3]. Sono funzioni di trasferimento perché descrivono come il suono arriverà all orecchio

12 CAPITOLO 1. AUDIO BINAURALE 6 Figura 6: Angolo minimo di discriminazione in base a frequenza e angolo di incidenza. Figura 7: Movimenti della testa sui 3 assi che permettono una migliore localizzazione. partendo da un certo punto dello spazio. Rappresentano infatti la di erenza fra lo spettro di output della sorgente e quello di input dell ascoltatore Misurazione delle HRTF Le HRTF possono essere rilevate lavorando sia nel dominio del tempo che nel dominio della frequenza. Nel primo caso l ascoltatore, munito di microfoni nel condotto uditivo, viene sottoposto ad un impulso ad alto volume per massimizzare il rapporto segnale-rumore della HRTF. Purtroppo questa pratica incorre in due problemi: gli impulsi sono molto di cili da riprodurre e, anche se si trovasse il modo per farlo, danneggerebbero in maniera molto grave l apparato uditivo umano [4]. Per questo viene più facilmente utilizzato il secondo metodo, che prevede invece un segnale più semplice, durevole nel tempo e generabile da qualunque sistema: lo sweep

13 CAPITOLO 1. AUDIO BINAURALE 7 in frequenza. Si tratta di un onda sinusoidale che, partendo al limite con gli infrasuoni, cresceman mano in frequenza fino a raggiungere il limite con gli ultrasuoni, coprendo quindi la totalità dello spettro udibile [8]. Avremo quindi la possibilità, una volta registrato, di condensare i dati ed ottenere una risposta in frequenza generale su tutta la gamma delle frequenze udibili HRTF Learning Possiamo istruire il nostro cervello a riconoscere nuove HRTF, senza però perdere quelle già acquisite, che vengono memorizzate con la possibilità di essere riutilizzate. E stato dimostrato in uno studio scientifico [9] che, dopo una prima fase di training condotta dando agli ascoltatori anche indizi visivi, essi riescono a localizzare le sorgenti ottenendo dei buoni risultati, di erentemente dalla fase precedente il training. Gli ascoltatori, richiamati dopo 5 mesi, sono ancora in grado di localizzare quasi correttamente la provenienza del suono, e, dopo una seconda fase di training, la localizzazione avviene in maniera ottima. I risultati sono illustrati in Figura 7. Figura 8: Risultati del test di Klein e Werner, prima e dopo il primo e il secondo training Problemi delle HRTF Le HRTF sono particolarmente legate alle caratteristiche fisiche del sistema tramite cui vengono modellate, proprio perché sono le parti anatomiche del corpo (spalle,

14 CAPITOLO 1. AUDIO BINAURALE 8 testa, padiglione, condotto uditivo,...) a filtrare opportunamente i suoni per dare maggiori informazioni al cervello riguardo la localizzazione. Ognuno possiede una propria HRTF relativa alla propria anatomia, ma misurare HRTF per tutti sarebbe impraticabile, poiché sono necessari strumenti ad alta precisione, camere anecoiche e tempi lunghi di raccolta dei dati [6]. Si utilizzano quindi HRTF generiche, misurate attraverso manichini che hanno misure anatomiche di media: queste permettono di avere delle HRTF approssimate, simili alle funzioni di un vasto gruppo, anche se non specifiche per i singoli individui. Il problema è appunto che queste funzioni, non corrispondendo con il singolo ascoltatore, possono causare errori grossolani di localizzazione nell ascoltatore, che perde così il senso tridimensionale della percezione acustica. 1.3 Problemi dell audio binaurale Uno dei motivi per cui l audio binaurale, anche se studiato da molto tempo, è poco di uso sul mercato è legato alla sua di coltà di implementazione nelle situazioni di ascolto quotidiano. Esso richiede infatti una serie di accorgimenti per poter essere sperimentato, che difficilmente possono essere attuati in ambienti comuni con poche e semplici operazioni. Di seguito sono elencati i principali problemi dell audio binaurale. [1] Distorsione Le HRTF dell audio binaurale, come annunciato precedentemente, modificano lo spettro dei suoni naturali per aggiungere informazioni relative alla localizzazione da fornire al cervello. Questa è una distorsione del contenuto spettrale della sorgente necessaria per introdurre la spazializzazione del suono. Avviene sia nel caso della sintesi con HRTF, sia nel caso di registrazione binaurale, ed è una sua caratteristica intrinseca. Alla distorsione del contenuto spettrale della sorgente, nel caso della sintesi tramite convoluzione, va inserito il problema del possibile clipping. E possibile infatti che la convoluzione dei campioni possa restituire valori superiori al limite di ampiezza digitale, che risulterebbero in una distorsione digitale del segnale. Questa distorsione è facilmente evitabile tramite processi preventivi, o tramite normalizzazione dell audio in uscita Ascolto in cu a Viene fortemente consigliato l ascolto in cu a per quanto riguarda l audio binaurale. Questa scelta è motivata principalmente da tre caratteristiche dell ascolto in cu a:

15 CAPITOLO 1. AUDIO BINAURALE 9 l ascolto a 180 gradi, l assenza di riverbero e di cross-talk. Mentre l ascolto con altoparlanti ha solitamente due sorgenti frontali spaziate fra loro, l ascolto in cu a è basato su due sorgenti laterali, direttamente collegate ognuna con ciascun orecchio. Essendo direttamente appoggiate alle orecchie, le cu e creano uno spazio acusticamente isolato dal resto degli ambienti in cui si trova l ascoltatore, e per questo l ambiente non influisce sull ascolto. Le cu e hanno la possibilità di fornire segnali di erenti alle due orecchie, senza che vi sia alcuna interazione fra essi. Nell ascolto normale questa particolare caratteristica può comportare un problema, poiché ci si trova in una situazione particolarmente irrealistica per l apparato uditivo; tuttavia nel caso dell audio binaurale questo permette di mandare segnali di erenti, filtrati secondo le HRTF misurate orecchio per orecchio, senza che interagiscano fra loro (Figura 9). Figura 9: Acquisizione e uso delle HRTF in cu a Ascolto tramite altoparlanti Nell ascolto con altoparlanti la situazione si modifica in maniera significativa. Si hanno infatti due sorgenti frontali, spaziate fra loro, che liberano onde sonore nello spazio per poi essere percepite dall ascoltatore. L ambiente in cui avviene l ascolto influenza in maniera importante la percezione del suono, modificando il contenuto del segnale sia nel dominio del tempo che in quello della frequenza. Un altro di cile aspetto dell ascolto tramite altoparlanti è la presenza del cross-talk. Questo fenomeno prevede che ad ogni orecchio arrivi sia il segnale dell altoparlante più vicino, sia il segnale dell altoparlante più lontano, seppur in ritardo e diminuito in intensità.

16 CAPITOLO 1. AUDIO BINAURALE 10 Chiaramente questo influisce sull uso dell audio binaurale che ha bisogno di poter stimolare le due orecchie con segnali di erenti, senza che interferiscano fra loro. Per ottenere quindi un ascolto binaurale con gli altoparlanti si è provato ad utilizzare sistemi di cancellazione del cross-talk, basati sulla cancellazione di fase. Questi sistemi mandano all altro altoparlante parte del proprio segnale, che viene opportunamente invertito e riprodotto, come in Figura 10. Con questo accorgimento e l ascolto in un ambiente controllato si può ottenere l audio binaurale anche tramite altoparlanti, ma lo sweet spot, ovveroilpuntoincuiisegnali interferiscono tra loro in maniera perfetta, ha un area molto ridotta, non permettendo quindi l ascolto in gruppo Potenza di calcolo Figura 10: Ascolto con altoparlanti normale (a sinistra) e con cancellazione del crosstalk. La convoluzione è un operazione complessa che richiede molto potere computazionale, equindiungenerosotempodielaborazioneamenochesidispongadiun architettura DSP (Digital Signal Processing) dedicata. Itempiquindidell elaborazionesonodi cilidaintegrareconl esigenzadiunariproduzione real-time. Per ovviare a questo problema, si può e ettuare la convoluzione prima della riproduzione, salvando il file ottenuto in uno qualsiasi dei formati validi per l audio stereo. Infatti, l audio binaurale non ha bisogno di formati e schede audio particolari. Avendo due canali, si può adattare alle tecnologie sviluppate per l audio stereo; la natura binaurale dell audio sta infatti nello spettro del segnale stesso.

17 Capitolo 2 Dataset HRTF In questo capitolo verrà descritta la componente che permette la sintesi binaurale nell applicazione di spazializzazione: il dataset HRTF. Il dataset utilizzato è HRTF Measurements of a KEMAR Dummy Head Microphone, sviluppato da B. Gardner e K. Martin al MIT Media Lab nel Misurazione delle HRTF Le HRTF sono state misurate utilizzando un manichino KEMAR, dotato di due padiglioni di erenti (DB-061 small pinna edb-065large red pinna). Per la registrazione sono stati utilizzati i microfoni Etymotic ER-11 con relativi preamplificatori, il cui output è stato collegato ad una scheda audio Audiomedia II DSP di un Macintosh Quadra, cheoperaunaconversionedaanalogicoadigitaleconquantizzazione a 16 bit e frequenza di campionamento 44.1 khz. Le misurazioni sono state e ettuate nella camera anecoica del MIT, nella quale sono stati posizionati il manichino KEMAR ed un altoparlante Optimus Pro 7. Per poter ruotare facilmente e in maniera precisa il manichino, esso è stato posizionato sopra una piattaforma rotante a controllo numerico, mentre l altoparlante è stato montato a1,4metrididistanzasuun astatelescopica,inmododapoterpermettereunposizionamento verticale di precisione. L Optimus Pro 7 è un altoparlante passivo a 2 vie, dotato di un woofer da 4 pollici e un tweeter da 1. Per via delle sue piccole dimensioni, è molto semplice da posizionare accuratamente nello spazio. La precisione del sistema è infatti di 0,5 gradi. Gli angoli di elevazione considerati vanno da -40 a 90 gradi, con un intervallo di 10 gradi. Per ogni angolo di elevazione è stata fatta una misura a 360 gradi sull azimuth, seppur con intervalli di misurazione non fissi, ma che variano da 5 a 30 in base all elevazione. Gli intervalli di misurazione sono specificati nella Tabella 1. 11

18 CAPITOLO 2. DATASET HRTF 12 Elevazione Numero di Intervallo di misurazioni Azimuth x Tabella 1: Numero di misurazioni HRTF in base all angolo di elevazione. 2.2 Estrazione dei dati Ognuna delle misurazioni ha dato come risultato una risposta all impulso composta da campioni, ma buona parte di questi dati è ben poco rilevante. Infatti, 180 campioni corrispondono circa al tempo di propagazione dell onda nello spazio, per gli 1,4 metri di distanza fra l altoparlante e il manichino. A questi vanno aggiunti 50 campioni che rappresentano la latenza del sistema di riproduzione e acquisizione. In coda alla risposta della testa al segnale si trovano le riflessioni provenienti dalle altre superfici presenti nella camera anecoica. Per questo motivo sono stati scartati i primi 200 campioni, e conservati solamente i successivi 512. Ogni HRTF in questo dataset avrà quindi una lunghezza di 512 campioni Rapporto segnale-rumore Facendo un confronto fra i primi 100 campioni registrati, privi di segnale, e 100 campioni nella zona di dati rilevanti, si ottiene un rapporto segnale-rumore di 65 db. Essendo i campioni numeri interi a 16 bit, il range dinamico è d i 9 6 d B, q u i n d i p i ù che adatto per contenere queste informazioni.

19 CAPITOLO 2. DATASET HRTF Organizzazione dei file Le HRTF così ottenute sono salvate in file.dat, e rinominate secondo un codice specifico, che permette di identificare a quale orecchio e con quali angoli di elevazione eazimuthcisiriferisca. La posizione ad azimuth ed elevazione 0 corrisponde al fronte del manichino, mentre l angolo di azimuth viene misurato in senso orario dall alto, per cui un azimuth di 90 gradi corrisponde a una posizione accostata all orecchio destro Filtraggio delle non-linearità Idatiestrattiecosìorganizzatinonsonoperòprontiperessereutilizzati: contengono ancora il filtraggio operato dal sistema di riproduzione che, non avendo una risposta in frequenza piatta, cambia il suono sorgente. Viene quindi misurata la risposta all impulso del sistema di riproduzione, in modo da poter ottenere un filtro inverso che, applicato alle funzioni ricavate, possa restituire delle HRTF pure. Il filtro inverso viene ottenuto applicando la trasformata discreta di Fourier (DFT ), invertendo la fase e l ampiezza dello spettro ottenuto, per poi applicare la trasformata inversa e ottenere nuovamente un segnale nel dominio del tempo. 2.3 Scelta dei dati Allo scopo di realizzare un applicazione per la spazializzazione binaurale per la mia tesi, è stato scelto questo dataset per due motivi principali: l utilizzo del manichino KEMAR e la sua longevità ed a dabilità. L utilizzo del manichino KEMAR o re un ottimo grado di approssimazione di HRTF umane, un compromesso che permette l utilizzo da parte di un pubblico molto vasto. Se fossero state scelte HRTF ricavate da ascoltatori umani avremmo avuto delle funzioni molto dettagliate, ma inutilizzabili perché completamente estranee a buona parte del pubblico. La longevità di questa libreria e l assenza di grossi aggiornamenti sono garanti della qualità ed utilizzabilità di queste funzioni, oltre ad essere una pietra miliare per i ricercatori in questo campo. Nello specifico, sono state scelte le HRTF rilevate con il padiglione di tipo large pinna, poiché si ritiene più simile alla maggior parte del pubblico, e quindi più facilmente recepibile dal cervello.

20 Capitolo 3 Sviluppo del Software Note le informazioni presenti al capitolo 1, e scelto il dataset descritto nel capitolo 2, si può finalmente passare alla fase di sviluppo del software. Questo verrà illustrato partendo dalla sua interfaccia grafica, ovvero da come l utente vede esternamente l applicazione, per poi addentrarsi nel cuore del codice delle funzioni di cui è composto. Il linguaggio scelto per la programmazione di questa applicazione è il C++, chepermette di creare oggetti secondo le proprie esigenze, raggiungendo un alto grado di sintesi ed utilità. 3.1 Interfaccia grafica Eseguendo l elaborato, l utente si trova di fronte un interfaccia grafica molto semplice (Figura 11), composta da una finestra rettangolare. All interno di questa si possono riconoscere facilmente gli elementi principali: una barra delle funzioni, una lista ed un pannello, che contiene al suo interno un immagine Pannello Il pannello presente in basso a sinistra permetterà all utente di visualizzare le sorgenti nello spazio e di modificarne la posizione. L immagine presente nel pannello ra gura infatti lo spazio visto dall alto, diviso in settori dagli assi X e Y e da due circonferenze che consentono di approssimare la distanza dal centro. Al centro dell immagine si trova una testa umana stilizzata, che rappresenta l ascoltatore. Le sorgenti audio saranno inserite nel pannello sotto forma di punti bianchi; passando 14

21 CAPITOLO 3. SVILUPPO DEL SOFTWARE 15 Figura 11: Interfaccia grafica all apertura. il mouse sopra ognuno di essi, verrà visualizzato il nome del file, rendendo identificabili dall utente le sorgenti l una dall altra (Figura 12) Lista dei file La lista presente a destra del pannello raccoglierà tutti i file che verranno combinati nel file di output, e mostrerà di essi le seguenti informazioni: nome del file, o set, asse X, asse Y, asse Z e percorso del file. Le informazioni presenti all interno della lista riguardanti l o set e l asse Z possono essere modificate cliccandoci sopra ed inserendo il valore desiderato. I valori per gli assi X e Y possono essere modificati trascinando il punto bianco presente all interno del pannello, mentre i valori di nome e percorso non possono essere ovviamente modificati. Il doppio clic sopra questi valori riproduce invece il file desiderato. Questo insieme di dati funge da riepilogo per l utente, che ha sempre sott occhio tutte le informazioni importanti legate ad ogni singolo file Barra delle funzioni Sopra le due componenti già illustrate si trova la barra delle funzioni. Essa raccoglie al suo interno tutte le funzioni del software, utilizzabili facilmente dall utente tramite irelativipulsanti. Itastisonoposizionatiperraggruppamentitematici,inmododarenderepiùfacile ed intellegibile l accesso all utente. Le funzioni collegate ai pulsanti possono essere identificate tramite il disegno, oppure

22 CAPITOLO 3. SVILUPPO DEL SOFTWARE 16 Figura 12: Interfaccia grafica durante l uso. dal testo che viene visualizzato passando il puntatore del mouse sopra l icona, come avviene in Figura 13. Figura 13: Barra degli strumenti e riconoscimento pulsanti. 3.2 Funzioni In questo testo, vengono considerate funzioni tutti i servizi che l applicazione mette adisposizionedell utente,chesonodiduetipi:opportunitàdimodificadell audioin output e personalizzazioni per l utente. Le funzioni presenti all interno dell applicazione sono le seguenti, in ordine progressivo: aggiungi file, elimina file, render, riproduci, impostazioni, scala grandezze, salva progetto, apri progetto e nuovo progetto, a cui vanno aggiunte le opportunità di modifica di posizione e o set per ogni sorgente Aggiunta ed eliminazione dei file L aggiunta ed eliminazione dei file riguarda solamente l inserimento o esclusione dell audio dal file di output.

23 CAPITOLO 3. SVILUPPO DEL SOFTWARE 17 Il file audio selezionato infatti, viene aggiunto o eliminato dalla lista dei file; essa contiene tutti i dati necessari per generare correttamente l audio in uscita. Il pulsante di aggiunta file apre una finestra di dialogo tramite la quale l utente può navigare nel proprio file system eselezionareunfileconestensione.wav. Al click di conferma, il file viene aggiunto alla lista, e i suoi valori di o set e di posizionamento (asse x, y, z) vengono automaticamente impostati a 0. Ifileaggiuntinonvengonocaricatiinmemoria,bensìvengonoacquisiteleloroinformazioni per poterli trovare ed elaborare successivamente. Le sorgenti rappresentate nel pannello si adeguano alle operazioni e ettuate sulla lista, aggiungendo un nuovo puntino bianco o rimuovendo quello relativo al file dal pannello Gestione dei progetti Iprogettipermettonodisalvareunasessioneperpoterlarichiamaresuccessivamente. Il salvataggio di un progetto prevede una prima fase in cui, tramite una finestra di dialogo, l utente sceglie il percorso ed il nome del progetto da salvare. Viene creato quindi un file di testo, all interno del quale vengono salvati i dati contenuti all interno della lista dei file, riga per riga. I valori contenuti nelle varie colonne sono intervallati da un separatore, nel nostro caso il carattere. Codice 3.1: Contenuto di un file di progetto. okay -1.wav \\Mac\Home\Desktop\Tesi\Audio\okay -1.wav over-here -1.wav 0, \\Mac\Home\Desktop\Tesi\Audio\over-here -1.wav La presenza del separatore permette infatti una lettura del file di progetto semplice eprivadierrori:unavoltachel utentehalocalizzatoilfile.txt da aprire, esso viene letto riga per riga; la stringa generata viene separata ad ogni occorrenza del carattere separatore, creando delle sotto-stringhe che possono essere direttamente inserite nella lista dei file. Per ogni file del progetto aperto viene creato e posizionato un puntino bianco nel pannello, a rappresentare la sorgente con i suoi valori per l asse x ed y. Il file di progetto non contiene al suo interno i file audio a cui i dati si riferiscono, per cui nel caso in cui il percorso dei file presenti nel progetto cambiasse, non sarebbe più possibile per l applicazione recuperarli. La gestione dei progetti rende necessario creare una funzione per creare un nuovo progetto, partendo da zero, eliminando quindi tutti i file presenti nella lista dei file. La funzione nuovo progetto e apri progetto chiedono all utente, nel caso in cui ci siano file nella lista, se intende salvare il progetto corrente prima di aprirne uno nuovo, evitando di perdere dati per disattenzione.

24 CAPITOLO 3. SVILUPPO DEL SOFTWARE Scala grandezze Nell applicazione è prevista la possibilità di utilizzare due grandezze di erenti per posizionare le sorgenti nello spazio. Il guadagno di ogni sorgente è infatti relativo alla distanza dall ascoltatore. Facendo clic su questo pulsante, infatti si passa da una scala ad alta precisione, con valori fino a 50 centimetri, ad una a bassa precisione, in cui è possibile posizionare le sorgenti a più di 15 metri. Per riconoscere facilmente la scala che stiamo utilizzando, il pannello cambia a seconda della precisione utilizzata, come visibile in Figura 14. Il guadagno relativo al raggio permette un miglior grado di approssimazione alla spazializzazione in campo aperto, dando ulteriori opzioni all utente per la personalizzazione del proprio paesaggio sonoro. Figura 14: Le due di erenti modalità per la spazializzazione Impostazioni Il bottone impostazioni permette, per ora, solamente di poter scegliere il percorso in cui salvare il file di output. Se questo non viene specificato, infatti, l output verrà salvato in una cartella di file temporanei, creata automaticamente dall applicazione O set e posizionamento I valori di o set e posizionamento vengono inseriti dall utente in due modalità: tramite doppio clic sul valore nella lista dei file, o per trascinamento della sorgente nel pannello. Questi valori permettono all utente la creazione del proprio paesaggio sonoro, decidendo da dove e quando ogni sorgente deve intervenire.

25 CAPITOLO 3. SVILUPPO DEL SOFTWARE Rendering La funzione di rendering è la più complessa, ed è il cuore dell applicazione stessa. Verrà introdotta in questo paragrafo, per poi essere spiegata nel dettaglio nella sezione 3.3 di questo capitolo. Il rendering avviene in due fasi: nella prima si elabora ogni file presente nella lista singolarmente, mentre nella seconda tutti i file elaborati vengono uniti per formare un singolo file di output. Nella prima fase innanzitutto viene controllato che il file.wav sia idoneo, poiché vengono accettati solamente file stereo con frequenza di campionamento a 44.1 khz. Successivamente, se il file rispetta i criteri predefiniti, vengono acquisite le informazioni relative al suo posizionamento ed o set dalla lista dei file. Le informazioni sul posizionamento vengono utilizzate per trovare la funzione HRTF più adatta all interno del dataset, che tramite la convoluzione dei segnali, permette di applicare al file di input il filtraggio voluto. Una volta ottenuto il file risultato della convoluzione, qualora sia indicato un valore di o set, esso viene elaborato aggiungendo un periodo di silenzio all inizio del file, tramite l inserimento di campioni audio con valore 0, per il valore inserito dall utente. Questo permette di spaziare temporalmente i file, facendo intervenire l audio contenuto in essi in un momento preciso. Finiti questi passaggi per tutti i file, essi sono pronti per essere sommati e formare quindi il file di output. La somma dei segnali ottenuti avviene tramite bu er, ovverospezzettandoifilein frammenti di lunghezza fissa. Questo procedimento viene e ettuato per rendere più veloce la somma ed evitare di intasare la memoria. Alla fine del processo di rendering viene e ettuato il controllo anti-clipping. Se ci sono infatti dei campioni con valore superiore a 1, che causerebbero una distorsione clipping in riproduzione, il file viene normalizzato, dividendo tutti i suoi campioni per il valore più alto contenuto all interno Riproduzione Il pulsante di riproduzione permette all utente di sentire il file di output generato dalla fase di rendering. Viene cercato il file nel percorso specificato dall utente, oppure nella cartella di file temporanei del programma, e viene creato uno stream di dati che viene assegnato allo strumento Soundplayer del sistema operativo. La riproduzione è una fase critica, poiché è l unico modo per l utente di verificare l e cacia delle HRTF sul proprio apparato uditivo, oltre che essere lo scopo principale di questa applicazione. Per questo sono necessari un processo di codifica a dabile,

26 CAPITOLO 3. SVILUPPO DEL SOFTWARE 20 delegato dunque al sistema operativo, ed una scheda audio di buona qualità, per permettere una giusta conversione del segnale da digitale ad analogico. 3.3 Elaborazione dei segnali L elaborazione dei segnali in questa applicazione avviene principalmente nella fase di rendering del paesaggio sonoro, precedentemente delineata nel paragrafo Entrando nello specifico, sono state adottate particolari soluzioni, sfruttando le opzioni messe a disposizione dal linguaggio e dalla libreria scelta, per permettere la corretta elaborazione dei segnali in maniera quanto più scorrevole possibile L oggetto SorgenteAudio Utilizzando il linguaggio C++ è stato possibile definire un oggetto che raccogliesse tutte le informazioni utili alla fase di rendering: coordinate cartesiane degli assi, valore di o set, contatore di lettura, coordinate sferiche, alle quali si aggiungono ovviamente il file audio e le sue informazioni, memorizzate tramite le strutture SNDFILE e SF INFO messe a disposizione dalla libreria libsndfile. All interno dell oggetto sono inoltre contenute le funzioni che permettono di ricavare le coordinate sferiche (azimuth, elevazione, raggio) dallecoordinatecartesiane(x, y, z) fornitedall utente. Codice 3.2: Header dell oggetto SorgenteAudio. public ref class SorgenteAudio{ public: double x,y,z; double offset; int readcount; int azimuth; int elevation; int radius; SNDFILE *audiofile; SF_INFO *audioinfo; SorgenteAudio(); ~SorgenteAudio(); double calcradius(double x, double y, double z); int calcazimuth(double x, double y); int calcelevation(double x, double y, double z); }; La conversione da coordinate cartesiane a sferiche converte anche il valore delle stesse da variabili double a int, ovverodanumerirealiadinteri,nonessendonecessaria una precisione così alta.

27 CAPITOLO 3. SVILUPPO DEL SOFTWARE 21 Il valore di o set è di tipo double, mentreilcontatorediletturadelfileèint, poichè rappresenta il numero di campioni letti dal file audio. Nella struttura SF INFO sono memorizzatele informazioni relative al fileaudio, quali: il numero di canali, il formato del file, la frequenza di campionamento ed il numero dei frames, che corrisponde al numero dei campioni diviso per il numero di canali Preparazione dei file La preparazione alla fase di rendering prevede la creazione di una lista di oggetti SorgenteAudio, unoperognirigapresenteall internodellalistadeifile. Ogni oggetto SorgenteAudio viene riempito con le informazioni presenti nella riga relativa al file, dopodiché vengono preparate le strutture SNDFILE e SF INFO grazie alla funzione sf open presente all interno della libreria. Qui viene controllato che i file inseriti abbiano frequenza di campionamento a 44.1 khz e siano file stereo, dotati quindi di due canali audio. In questa fase inoltre viene controllata la scala di grandezze scelta dall utente Scelta dell HRTF Le HRTF sono situate in una cartella all interno dei file del programma. Per permettere la scelta della giusta risposta all impulso, i file che contengono le HRTF hanno nomi che rispettano un codice specifico, che permette di identificare l angolo di elevazione e di azimuth (Hxxxeyyya, dove xxx rappresenta l angolo di elevazione e yyy quello di azimuth). I file sono stereo, quindi racchiudono al loro interno le due di erenti funzioni per l orecchio destro e sinistro. Le coordinate devono essere convertite da cartesiane a sferiche, chiamando le apposite funzioni presenti nell oggetto SorgenteAudio. Una volta ottenuti i valori di raggio, azimuth ed elevazione, bisogna però adattarli agli angoli considerati nella misurazione delle HRTF nel dataset: viene per prima approssimata l elevazione, che ha funzioni ogni 10 gradi, da -40 a 90, dopodiché in base all angolo di elevazione si approssima la misura dell azimuth in base alla tabella di misurazione (Tabella 1), grazie ad un costrutto switch-case. Codice 3.3: Costrutto per la scelta della corretta HRTF int elev40[57] = { 0, 6, 13, 19, 26, 32, 39, 45, 51, 58, 64, 71, 77, 84, 90, 96, 103, 109, 116, 122, 129, 135, 141, 148, 154, 161, 167, 174, 180, 186, 193, 199, 206, 212, 219, 225, 231, 238, 244, 251, 257, 264, 270, 276, 283, 289, 296, 302, 309, 315, 321, 328, 334, 341, 347, 354, 360 }; int el = round((float)fileaudio[i]->elevation / 10) * 10; if (el < -40) el = -40; int az;

28 CAPITOLO 3. SVILUPPO DEL SOFTWARE 22 switch (el) { case 30: case -30: az = round((float)fileaudio[i]->azimuth / 6) * 6; break; case 40: case -40: if (fileaudio[i]->azimuth == 360) fileaudio[i]->azimuth = 0; while (elev40[j] < fileaudio[i]->azimuth) j++; if (fileaudio[i]->azimuth - elev40[j] > elev40[j + 1] - fileaudio[i]->azimuth) az = elev40[j + 1]; else az = elev40[j]; break; case 50: az = round((float)fileaudio[i]->azimuth / 8) * 8; break; case 60: az = round((float)fileaudio[i]->azimuth / 10) * 10; break; case 70: az = round((float)fileaudio[i]->azimuth / 15) * 15; break; case 80: az = round((float)fileaudio[i]->azimuth / 30) * 30; break; case 90: az = 0; break; default: az = round((float)fileaudio[i]->azimuth / 5) * 5; } Tramite la concatenazione di stringhe viene successivamente generato il percorso ed il nome corretto del file, che viene poi caricato in una struttura SNDFILE, conle sue caratteristiche memorizzate in SF INFO. Il raggio viene moltiplicato per la scala di grandezza utilizzata, di modo da rispettare il grado di attenuazione voluto Convoluzione La convoluzione avviene tramite una funzione esterna, chiamata dalla routine principale, a cui vengono passati il file audio di input e la risposta all impulso, insieme alle relative informazioni e il numero del file nella lista.

29 CAPITOLO 3. SVILUPPO DEL SOFTWARE 23 I campioni dei file audio vengono caricati in vettori monodimensionali, e sono perciò file stereo interlacciati, con campioni alternati per canale destro e sinistro. Per questo vengono de-interlacciati e salvati su ulteriori array, che conterranno ognuno un solo canale. Viene quindi calcolata la lunghezza del file risultato della convoluzione, per creare i vettori dei due canali del file di output della funzione. Siamo quindi pronti per l operazione di convoluzione, che sarà eseguita separatamente per ogni canale. Nel processamento di ognuno dei canali, viene presa in considerazione prima la seconda parte del file (dalla fine della risposta all impulso), per poi recuperare la parte iniziale, avendo esse algoritmi di erenti. Nel processamento della seconda parte infatti, per ricavare ogni campione del file di output viene moltiplicata ai campioni dell input tutta la risposta all impulso; al contrario, per la prima frazione ne viene utilizzata solo una parte, che cresce di grandezza al crescere del numero del campione di output da ricavare. Codice 3.4: Convoluzione del canale sinistro //convoluzione da out[iirinfo ->frames -1] a fine for (i = iirinfo ->frames - 1; i < datasize/2; ++i) { outdatal[i] = 0; for (j = i, k = 0; k < iirinfo ->frames; --j, ++k) outdatal[i] += indatal[j] * iirdatal[k]; } //convoluzione da inzio ad out[iirinfo ->frames -2] for (i = 0; i < iirinfo ->frames - 1; ++i) { outdatal[i] = 0; } for (j = i, k = 0; j >= 0; --j, ++k) outdatal[i] += indatal[j] * iirdatal[k]; Finito il complesso processo di convoluzione per entrambi i canali, essi devono essere re-interlacciati in un vettore di lunghezza doppia rispetto al risultato della convoluzione. Alternati nuovamente i campioni dei canali, il vettore viene caricato in una struttura SNDFILE per essere salvato come file.wav nella cartella dei file temporanei del programma. Per permettere il riconoscimento dei file alla routine principale, alla fine del nome viene inserito il numero del file nella lista. La funzione quindi termina, e la routine principale può caricare il file risultato dalla cartella indicata, sostituendolo al file di input.

30 CAPITOLO 3. SVILUPPO DEL SOFTWARE Gestione dell o set Anche per la gestione dell o set viene chiamata una funzione esterna, a cui viene passato però solamente il file di input, le sue informazioni, il valore dell o set in campioni e il numero del file nella lista. La conversione dell o set da secondi in campioni audio è banale: lavorando sempre a 44.1 khz infatti, basterà moltiplicare il valore di o set per e per il numero di canali, che nel nostro caso sono 2. La funzione esterna, ricevuti i valori in ingresso, carica il file di input interamente su di un vettore e calcola la lunghezza del vettore di uscita, sommando ai campioni del file di input il valore di o set. Questo vettore viene riempito di valori 0 fino al valore di o set desiderato, dopodiché vengono copiati all interno i valori dal file di input. Codice 3.5: Estratto dalla funzione esterna per la creazione dell o set. offset = offset*44100; int framesout = sfinfo ->frames + offset; double *data = new double[framesout*2]; double *indata = new double[sfinfo->frames * 2]; //leggo file su array sf_read_double(sndfile, indata, sfinfo->frames * 2); //aggiungo 0 all inizio int i; for (i = 0; i < offset*2; i++) data[i] = 0; for (int j = 0; j < sfinfo ->frames * 2; j++) data[i + j] = indata[j]; sf_write_double(out, data, framesout * 2); Il vettore viene caricato poi in una struttura SNDFILE per essere salvato come file.wav nella cartella dei file temporanei. Viene adottato il metodo visto nel paragrafo per il riconoscimento dei file da parte della routine principale che, una volta terminata la funzione, carica nuovamente il file risultato della funzione sostituendo il precedente Unione delle sorgenti Ottenuti tutti i file correttamente spazializzati, e con l o set richiesto dall utente, si passa all unione di essi per poter ottenere il file finale di output. E necessario quindi identificare il file contenente il maggior numero di campioni, per una corretta scansione degli stessi; questa procedura viene e ettuata tramite un ciclo ed una variabile in cui memorizzare il valore massimo. Ottenuto questo valore si può inizializzare la struttura SNDFILE per il file di output. L unione dei file viene e ettuata tramite bu er, ovveropiccolivettorichescandiscono i file progressivamente, evitando quindi di intasare la memoria nel caso in cui fossero

31 CAPITOLO 3. SVILUPPO DEL SOFTWARE 25 presenti in ingresso grandi quantità di file, oppure file di grandi dimensioni. La dimensione del bu er utilizzata è di 1024 frame, chenell audiostereocorrispondonoa 2048 campioni. Viene calcolato, in base al raggio, il coe ciente di guadagno per ognuno dei file, e memorizzato in un vettore con la stessa lunghezza della lista dei file, in modo da permettere l attenuazione del volume in base alla distanza virtuale della sorgente dall ascoltatore. Ifilediinputvengonovoltapervoltacaricatiinunvettorebidimensionalecontenente i bu er per ognuno dei file presenti nella lista, elaborati secondo le funzioni precedenti. Icampionipresentiinognunodeibu erdiinputvengonoscanditiesommatiaicampioni già presenti nel bu er di output. Ogni campione, precedentemente alla somma con il campione presente nel bu er di output, viene moltiplicato per il coe ciente di guadagno relativo al proprio file. Una volta ottenuto il bu er di output, i dati presenti al suo interno vengono riportati nella struttura SNDFILE, eilbu ervieneliberato,settandoilvaloredituttii campioni a 0. Le operazioni precedenti vengono ripetute per ogni avanzamento del bu er, fino al raggiungimento del valore di lunghezza massima del file, calcolato precedentemente. Il file di output viene infine scritto nella cartella specificata dall utente, come file.wav stereo interlacciato. Codice 3.6: Somma sequenziale dei bu er while (outcount < maxlen) { for (int i = 0; i < BUFFER_LEN * 2; i++) OutData[i] = 0; for (int i = 0; i < fileaudio ->Length; i++) { fileaudio[i]->readcount = sf_readf_double(fileaudio[i]->audiofile, indata[i], BUFFER_LEN); } for (int i = 0; i < fileaudio ->Length; i++) { for (int j = 0; j < BUFFER_LEN * 2; j++) { outdata[j] = (ampcoeff[i] * indata[i][j] + outdata[j]); } } for (int j = 0; j < BUFFER_LEN * 2; j++) if (abs(outdata[j]) > maxval) maxval = abs(outdata[j]); sf_writef_double(outfile, outdata, BUFFER_LEN); outcount += BUFFER_LEN; }

32 CAPITOLO 3. SVILUPPO DEL SOFTWARE Normalizzazione Alla fine della somma delle sorgenti, prima che la scrittura su file avvenga, viene controllato che i campioni non superino la soglia massima, che in digitale è pari a ±1. Nel caso si verificasse un superamento della soglia, l intero file viene normalizzato, ovvero ognuno dei campioni presenti all interno del file viene diviso per il valore massimo, riportando in scala tutti i valori di modo che quello massimo sia ora a ±1. Questo semplice metodo permette di evitare la distorsione clipping durante la riproduzione, migliorando quindi l esperienza dell utente, che non ha alcun modo di controllare i volumi in ingresso se non tramite la lontananza della sorgente dal suo punto di ascolto virtuale. Figura 15: Confronto fra audio prima e dopo la normalizzazione. La soglia è indicata in rosso.

33 Capitolo 4 Utilizzo ed e cacia dell applicazione L applicazione oggetto di questa tesi, dopo la spiegazione dettagliata dello sviluppo, presente nel capitolo 3, deve essere testata per quanto riguarda la sua esecuzione ed e cacia. Saranno necessarie quindi tre valutazioni: una riguardante la facilità di approccio da parte dell utente, una valutazione tecnica sulla velocità dei processi software ed una terza sull e cacia e riconoscibilità della provenienza dei suoni, ovvero delle HRTF utilizzate. 4.1 Approccio utente-applicazione In questa sezione verrà valutata l utilizzabilità dell applicazione da parte dell utente. E importante infatti che il software sia performante e valido, ma che sia anche accessibile facilmente ad ogni utente. Per questo, un campione di persone di età di erente è stato messo in condizione di interagire col programma, con l obiettivo di comprenderne le funzionalità e di sfruttarlo per i propri scopi. Ad ognuna delle persone che hanno condotto questa prova è poi stato richiesto di valutare la propria esperienza in termini di qualità; veniva inoltre misurata la quantità di tempo necessaria perché l utente arrivasse alla fase finale, ovvero quella di riproduzione del file e riconoscimento di tutte le funzionalità. Per tutti gli utenti che si sono sottoposti al test l esperienza è stata confortevole e non particolarmente di cile, ed i tempi di apprendimento rilevati sono corrispondenti a quelli attesi. La semplicità dell applicazione, dotata di una sola barra delle funzioni con pulsanti di facile identificazione, permette l utilizzo e l apprendimento di tutte le funzioni in breve tempo. 27

34 CAPITOLO 4. UTILIZZO ED EFFICACIA DELL APPLICAZIONE 28 Figura 16: Tempistiche di apprendimento per età dell utente. Le variazioni di tempistica di apprendimento, rilevate in base all età dell utente, indicano che i giovani presentano un maggiore grado di familiarizzazione con l utilizzo di tecnologie informatiche, quali computer e relativi programmi, come atteso. Tuttavia, nonostante l età e l assenza di un training software, anche gli utenti meno abituati riescono ad apprendere in modo completo l utilizzo di ogni funzione del software messo loro a disposizione. 4.2 Velocità di rendering La velocità di rendering è l indice più importante che ci permette di misurare quanto il programma sia performante. Questa caratteristica è infatti fondamentale per evitare attese prolungate all utente in caso di architetture hardware poco recenti, oppure abasseprestazioni. Per condurre questo test è semplicemente stato inserito un timer all interno della funzione di rendering, che viene avviato all inizio della routine, per essere fermato e resettato alla fine, dopo averci permesso di memorizzarne il valore. I valori che possono variare il tempo di elaborazione sono la lunghezza dei file, il numero dei file e l o set. La convoluzione, per quanto sia complessa e lunga da realizzare tramite cicli (vedi sezione 3.3.4), ha un tempo fisso per ogni file, che dipende dalla sua lunghezza. Tutte le risposte all impulso hanno infatti la stessa lunghezza, il che significa che neanche il punto di collocamento nello spazio, e ettuato da parte dell utente, modifica significativamente il tempo di rendering complessivo.

35 CAPITOLO 4. UTILIZZO ED EFFICACIA DELL APPLICAZIONE 29 E ettuati i test con diverso numero di file e con diversa lunghezza ed o set, i dati risultanti sono stati salvati su un file per e ettuare le analisi necessarie a ricavare delle informazioni rilevanti sulle prestazioni del software. Itestsonostaticondotticonhardwareabasseprestazioni,ovverosuunamacchina virtuale Windows, in esecuzione su un portatile MacBook Pro del 2012, dotato di processore dual-core Intel i5 da 2,5 GHz e 16 GB di Memoria RAM, di cui solamente 4adisposizionedallamacchinavirtuale. Parte rilevante ed esplicativa dei risultati è espressa nella Tabella 2. I valori rilevati sono divisi in 4 colonne: la prima riporta il tempo di elaborazione misurato dal timer, mentre le altre i valori a cui è strettamente connesso. Tempo (msec) Numero file Lunghezza max file (s) Somma o set(s) , Tabella 2: Tempo di elaborazione in base all input. Il numero dei file e la loro lunghezza influisce sul tempo poiché richiede un maggior numero di processi di convoluzione, o dei processi più lunghi. Nel primo caso, la funzione esterna che si occupa di questa operazione dovrà essere chiamata più volte, nel secondo si vedrà aumentata la durata dei cicli all interno della funzione, essendo quest operazione condotta campione per campione. La funzione di o set si basa anch essa su un ciclo, che opera campione per campione sul file di output aggiungendo dei valori 0 all inizio del file. Per questo è rilevante la somma di tutti gli o set utilizzati, ovvero per quanto è stato necessario rimanere nel ciclo di o set durante l intera fase di rendering. Si evince dalla tabella che il valore che modifica in maniera significativa il tempo di elaborazione è il numero di file presenti. Procedendo per esclusione infatti, si nota che la presenza di o set nei file (righe 3-4, 6-7) non aumenta di molto il tempo di elaborazione dei dati; nelle righe 3-4, per 1 secondo di o set il tempo di elaborazione aumenta di 54 msec dai 629 precedenti, mentre nelle righe 6-7 la somma degli o set è d i 1 0 s e c o n d i, e r i c a d e s u l t e m p o d i e l a b o r a z i o n e p e r m s e c, s u i m i s u r a t i senza presenza di o set. La lunghezza dei file utilizzati, sorprendentemente, incide in maniera ancora meno

36 CAPITOLO 4. UTILIZZO ED EFFICACIA DELL APPLICAZIONE 30 significativa rispetto alla presenza di o set. Come verificabile dalle righe 1-2, il raddoppio della lunghezza del file incide sul tempo di elaborazione per 35 msec. Nelle righe 4-5, la di erenza di 47 msec nell elaborazione è causata dall aumento dell o set totale da 1 a 3 secondi, e dal raddoppio della lunghezza per uno dei file. Al raddoppio del numero di file invece, il tempo di elaborazione quasi raddoppia, come si nota facilmente dal confronto fra le righe 2-3-6; nel primo caso si ha un aumento di 275 msec su 354, nel secondo di 574 msec su 629. Questi valori vengono motivati semplicemente: il fatto che il raddoppio della lunghezza dei file incida in maniera scarsamente significativa rispetto al raddoppio del numero di file è indice di lentezza nella chiamata della funzione esterna e della preparazione alla fase di convoluzione. Infatti, a parità di campioni da processare, gli e etti sul tempo di elaborazione sono totalmente di erenti. Questo avviene perché la funzione esterna di convoluzione richiede fasi di preparazione e di ultimazione, come la scrittura su file e la riapertura nella routine principale, che influiscono pesantemente sul tempo di calcolo. Resta comunque da specificare che un maggior numero di file richiede un maggior tempo di elaborazione, anche perché aumentano i processi necessari per l apertura e la memorizzazione dei file, la scelta dell HRTF e l apertura della risposta all impulso relativa, tutte operazioni costose a livello di tempo. La di erenza che si ricava fra l aumento della lunghezza dei file e la presenza di o set è inaspettato. Data la complessità dell operazione, ci si aspetterebbe che la convo - luzione incida maggiormente sul tempo di elaborazione, mentre invece la situazione rilevata è totalmente opposta. Il motivo è invece semplice: mentre il raddoppio dei campioni di ogni file influisce significativamente solo sul tempo di ciclo all interno della funzione di convoluzione, la presenza di o set rende necessaria una chiamata ad una funzione esterna, con la scrittura e riapertura del file processato. 4.3 E cacia delle HRTF Per misurare l e cacia delle HRTF utilizzate è stato necessario e ettuare un terzo test, nel quale l ascoltatore, stimolato da suoni posizionati in diverse posizioni dello spazio, deve riconoscere la posizione delle sorgenti. Questo test non ha tenuto conto dell attenuazione relativa al raggio poiché questa valutazione avrebbe influito in maniera negativa sul riconoscimento della spazializzazione delle sorgenti, che è invece di prim ordine per lo scopo dell applicazione Premesse Il test è stato e ettuato in ambiente controllato, acusticamente isolato dall esterno, per permettere di dare rilevanza scientifica ai dati ed evitare di distrarre l ascoltatore dal test. Le sedute hanno avuto infatti luogo nella stanza di ripresa di uno studio di

37 CAPITOLO 4. UTILIZZO ED EFFICACIA DELL APPLICAZIONE 31 registrazione, ben isolata quindi dall esterno e dagli altri spazi interni presenti. Ogni test è stato condotto tramite delle cu e chiuse circumaurali Audio Technica ATH-M50, utilizzandounxr18 come scheda audio per la conversione del segnale da digitale ad analogico. Alla persona veniva chiesto, domanda per domanda, di indicare sopra un disegno, analogo a quello presente nel pannello (Figura 14), da dove sentisse arrivare il suono. Figura 17: Risposta in frequenza delle cu e Audio Technica ATH-M50 Le domande sono state divise in 3 sezioni: la prima richiedeva il riconoscimento solamente dell angolo di azimuth, la seconda solamente di quello di elevazione ed una fase finale in cui gli angoli venivano utilizzati in maniera congiunta Training Prima di e ettuare il test, ogni ascoltatore è sottoposto ad una breve fase di training, in cui il suo apparato uditivo è sottoposto alle HRTF presenti nell applicazione, per tentare di abituare il cervello alle funzioni presenti, totalmente di erenti da quelle in uso quotidianamente dal soggetto. Il training viene e ettuato puramente su angoli di azimuth ed elevazione in maniera separata. In mancanza di apparecchiature in grado di creare stimoli visivi per l ascoltatore, in una fase appena precedente l ascolto viene illustrato nello spazio dove saranno posizionate le sorgenti, utilizzando anche un illustrazione e degli indizi tattili. In questa fase vengono utilizzati due tipi di training per ogni angolo in esame: prima ne viene somministrato uno più semplice, ovvero con angoli che hanno ampiezze rilevanti (45 per azimuth, 30 per elevazione), ed in una fase successiva uno con angoli più stretti, che variano di 10 alla volta. L e cacia di questi ultimi è però minata dalla di coltà di rappresentazione visiva da parte dell ascoltatore, che spesso si perde

38 CAPITOLO 4. UTILIZZO ED EFFICACIA DELL APPLICAZIONE 32 in un numero così vasto di sorgenti. Il training viene ripetuto più volte in base alla capacità di apprendimento dell ascoltatore Descrizione del test Il test è stato e ettuato su un campione di 40 persone di sesso ed età misti, 26 uomini e14donnedietàcompresafra19ed85anni. Ogni test è composto da 16 quesiti, 6 per l angolo di azimuth ad elevazione 0, 8 per quello di elevazione ad azimuth 0 e 2 quesiti finali in cui gli angoli sono combinati. I primi 4 test per ogni angolo prevedono la presenza di un solo stimolo sonoro, mentre isuccessivicontengono2sorgenti. Gli angoli di spazializzazione delle sorgenti sono contenuti nella Tabella 3. Le prime 4 righe presentano infatti un solo angolo, mentre le successive ne hanno 2, per l individuazione di entrambe le sorgenti. Caso particolare nella colonna dei quesiti combinati, che inizia dalla riga 5 poiché entrambi i quiz contengono due sorgenti, che hanno sia un angolo di azimuth, che un angolo di elevazione, opportunamente separati, per ogni sorgente, dal simbolo :. Ifileaudioutilizzatinelcorsodeltrainingedeltestsono4: dueondesinusoidali(440 e 1000 Hz) e due campioni di voce umana, una maschile ed una femminile. I file sono stati scelti poiché hanno risposte in frequenza diverse, e rappresentano quindi segnali molto di erenti, con relative risposte dell apparato uditivo. L angolo di azimuth considerato è completo, va da 0 a360,conilfrontefissatoa 0,misuratoinsensoorariodall alto(90 è la posizione direttamente sulla destra). L angolo di elevazione considerato invece è di 260, ma per mantenere il fronte a 0, la misurazione va da -40 a220,dove180 è la posizione alle spalle dell ascoltatore. Azimuth Elevazione Combinati (A:E) /215 0/130 42:30 / 295: /25 0/50 225:0 / 336:80 0/180 80/-30 Tabella 3: Angoli di stimolo dell ascoltatore.

39 CAPITOLO 4. UTILIZZO ED EFFICACIA DELL APPLICAZIONE Risultati Finali Idatirilevatidaltestsonostatiestrattiperessereelaboratiedotteneredelleinformazioni rilevanti. Nel passaggio dalla carta al foglio digitale si è utilizzato un goniometro con precisione di 1. Questa precisione è su ciente, poiché le HRTF utilizzate hanno sensibilità di minimo 5 (vedi Tabella 1). Nella Figura 18, possiamo vedere mostrati i risultati del test per ogni quesito. I quesiti che contenevano più sorgenti sono stati divisi sorgente per sorgente, per questo il numero dei valori riportati nelle colonne è 24 e non 16; non è stato riportato inoltre l angolo di elevazione per gli ultimi due test, poiché agli ascoltatori non è stato richiesto di stimare un angolo preciso, ma solamente l elevazione delle sorgenti rispetto al proprio punto di ascolto. Sull asse delle ordinate sono rappresentati i valori degli angoli espressi in gradi. In questa rappresentazione i valori vanno da -40 a 360 per poter tenere conto contemporaneamente sia degli intervalli di azimuth che di elevazione. In blu è rappresentata la media dei valori inseriti dagli ascoltatori, la barretta in nero rappresenta la deviazione standard dei valori, ed infine il puntino rosso indica il valore reale dell angolo di posizionamento della sorgente. Si nota quindi facilmente che nel 70% dei casi l angolo di stimolo è fuori dal range di valori composto dalla media e dalla deviazione standard. Questo rispecchia una scarsa capacità di individuazione specifica della posizione della sorgente, a partire dalla diversità dei dati rilevati e della grandezza dell intervallo di deviazione standard. Tuttavia la percezione della spazializzazione generale rimane buona: per quanto riguarda l azimuth le risposte rispettano comunque il quadrante di provenienza del suono, a dimostrazione del fatto che la distinzione fronte-retro e destra-sinistra agiscono comunque in maniera corretta. Analizzando invece l angolo di elevazione, si ha un maggiore scostamento delle risposte dalla posizione della sorgente, dovuto alla maggiore di coltà di individuazione, forse data anche dalla stessa distanza da entrambi i punti d ascolto. Itestcombinatidiazimuthedelevazionerilevanoinveceunpiccoloaumentonella precisione dell individuazione della posizione delle sorgenti. I dati qui citati sono facilmente riscontrabili nel grafico presente in Figura 19. Per quanto riguarda questo tipo di quesiti, in grafico sono mostrati i dati relativi allo scostamento dall azimuth, ma anche le risposte per l elevazione danno ottimi risultati. Il 23% rileva infatti correttamente il posizionamento dell elevazione assoluta, mentre il 70% individua in maniera corretta la di erenza di elevazione fra le due sorgenti. Ne consegue che sia e ettivamente più facile individuare l elevazione se la sorgente è

40 CAPITOLO 4. UTILIZZO ED EFFICACIA DELL APPLICAZIONE 34 Figura 18: Risultati del test spostata dall asse mediano dell ascoltatore, ovvero quello che taglia la testa in maniera longitudinale. Risultati così approssimativi sono indice di una fase di training non troppo curata a livello di tempistiche e di strumentazione. Non è stato infatti possibile creare stimoli visivi per l ascoltatore, in modo da facilitare l apprendimento delle HRTF utilizzate nell applicazione. Di conseguenza, la fase di training avrebbe dovuto richiedere più tempo di quello dedicato, oltre ad una fervida immaginazione da parte dell ascoltatore, che avrebbe dovuto autonomamente immaginare le sorgenti presenti nello spazio. Si è rilevato oltretutto un grado di lateralizzazione maggiore dell atteso, ovvero che le posizioni che si scostavano dall asse mediano venivano percepite più prossime all orecchio; ad esempio una posizione ad azimuth 45,ametàdelquadrantedifronteea destra dell ascoltatore, veniva percepita quindi come un angolo di 60. Questo e etto inserito dal filtraggio HRTF ha allargato il margine di errore, confondendo spesso le risposte degli ascoltatori. Come precedentemente riferito nel Capitolo 2, le HRTF scelte sono infatti quelle di un manichino KEMAR, che non rispecchiano quindi nessuna delle HRTF umane, ma che le approssima come modello generale anatomico umano. Ognuno degli ascoltatori quindi deve sforzare il proprio cervello ad abituarsi a queste funzioni per percepire in modo corretto la provenienza dei suoni nello spazio. Si nota infatti, riguardando la Figura 18, un aumento della precisione delle risposte da circa metà dei quesiti relativi all elevazione (sesta barra da sinistra), fatta eccezione

41 CAPITOLO 4. UTILIZZO ED EFFICACIA DELL APPLICAZIONE 35 Figura 19: Media degli scostamenti per tipo di quesito. per alcuni angoli particolamente critici (ventesima barra, angolo di -30 di elevazione). Questo è dovuto al processo di apprendimento ed abitudine del cervello che si verifica durante il test: anche questo parametro influisce sull aumento di precisione negli ultimi quesiti che, dall esterno, sembrerebbero i più complicati. Analizzando le risposte per tipo di suono utilizzato nel quesito, si scopre una grossa di erenza nel rilevamento delle relative sorgenti, visibile in Figura 20. Come conseguenza dei dati visibili nel grafico presente in Figura 19, il valore di scostamento medio per ognuno dei suoni utilizzati sarà compreso fra il valore dello scostamento medio dell azimuth e quello più elevato dell elevazione. Mentre i suoni del parlato umano hanno valori simili, con aumento di precisione sul parlato femminile, i suoni di sintesi sinusoidali con frequenza 440Hz e 1kHz hanno un angolo di scostamento decisamente di erente. L onda con frequenza 440Hz ha uno scostamento medio di oltre 73, mentre quella con frequenza 1 khz solo di 18, decisamente più piccolo anche di entrambi i suoni del parlato umano. In questo caso la di erenza è da ricercare nello spettro sonoro di queste sorgenti: quelle umane hanno un contenuto comprendente tutte le frequenze udibili, che si attenuano andando verso i limiti di percezione, mentre quelle di sintesi contengono al loro interno solo un valore di frequenza. Riguardando le nozioni presenti all interno del Capitolo 1, si capisce come le due frequenze di erenti agiscano in maniera totalmente diversa sull apparato uditivo per quanto riguarda la localizzazione, ed è per questo appunto che sono state scelte. Inoltre, la di erenza delle due frequenze è anche riscontrabile nelle curve isofoniche (Figura 21), nelle quali ad 1 khz si trova il punto di linearità utilizzato come indice delle curve; non è stato utilizzato il punto di sensibilità massima poiché si riteneva fastidiosa un onda sinusoidale a quella frequenza.

42 CAPITOLO 4. UTILIZZO ED EFFICACIA DELL APPLICAZIONE 36 Figura 20: Angolo di scostamento medio per suono e tipo di quesito. La frequenza di 1kHz è oltretutto particolare: essendo lo snodo fra l utilizzo della tecnica di di erenza di tempo e livello interaurale, oltre ad essere intaccata in maniera determinante dal filtraggio relativo alla direzione, è più facilmente individuabile dall orecchio. Si ottiene una maggiore precisione rispetto al parlato poiché questi segnali hanno uno spettro più ampio, e la risposta dipende anche da quali frequenze prende come riferimento l ascoltatore nel riconoscimento della localizzazione spaziale. Tenendo conto dei dati fin qui ottenuti, è stato scelto un angolo di tolleranza di 40 (±20 ), per tenere conto di quanti ascoltatori per ogni quiz rilevavano la sorgente entro questo range di valori. I risultati sono mostrati nel grafico presente in Figura 22, e sono diversi dalla media e deviazione standard poiché è invertita la maniera in cui sono misurati: mentre nel grafico di Figura 18 venivano elaborati i dati delle risposte degli ascoltatori al test, e si rilevava quante volte gli angoli di stimolo reali cadessero in quegli intervalli, questa volta si parte dall angolo di stimolo, a cui viene aggiunto un angolo di tolleranza, e viene verificato quante risposte degli ascoltatori ricadano in tale intervallo. Tramite questo grafico possiamo rilevare che gran parte delle risposte ai quiz ricade in questo angolo di tolleranza, con una percentuale complessiva del 54,7%. In più del 62% dei quiz le risposte all interno dell angolo di tolleranza superano quelle all esterno, con picchi del 90%. I valori più bassi si attestano al 20% e 30%, su soli tre quesiti: il quesito A3 so re del problema relativo alla percezione maggiormente lateralizzata riscontrato precedentemente; il quesito E1 invece è uno dei pochi suoni posizionati sotto il fronte dell ascoltatore, quindi più di cile da individuare, oltre

43 CAPITOLO 4. UTILIZZO ED EFFICACIA DELL APPLICAZIONE 37 Figura 21: Curve isofoniche che subire il problema di localizzazione relativo al suono, che in questo quesito è la sinusoide a 440 Hz; il primo suono del quesito E6, ancora la sinusoide a 440 Hz, è di cilmente rilevato, ma è in realtà lo stesso suono posizionato nello stesso punto del quesito E5. Da considerare in questo caso è la di erenza fra le sorgenti che compongono un singolo paesaggio sonoro; nei quesiti E5 ed E6 sono infatti presenti due sorgenti: una sinusoide a 440 Hz, posizionata di fronte all ascoltatore, ed un parlato umano, che proviene nel primo caso da dietro e nel secondo da davanti, con inclinazione ±40 rispetto all asse verticale. E interessante notare quanta di erenza vi sia nella percezione dello stesso suono, posizionato nello stesso punto nei due di erenti quesiti: sicuramente l ascoltatore, alla presenza di più di una sorgente nel paesaggio sonoro, opera più per di erenza che per assoluti, e questo ragionamento può portarlo fuori strada o aiutarlo nel riconoscimento. Riferendoci infatti nuovamente al grafico possiamo notare altre situazioni in cui la di erenza aiuta il riconoscimento: per esempio nei quesiti A5 ed A6 la sinusoide a 440 Hz viene riconosciuta in maniera più incisiva rispetto al quesito A1, considerando anche la piccola di erenza di posizionamento della sorgente tra i quesiti A1 e A6, di soli 15. Altro dato rilevante si ottiene dalla di erenza delle risposte fra i quesiti E3 ed E5, in cui è presente in entrambi i casi il parlato di donna, che vede impennarsi il riconoscimento della sorgente dal 37% al 70%, aiutata molto probabilmente dalla di erenza con l altro suono. Analizzando ulteriormente i dati secondo le caratteristiche dei soggetti esaminati, possiamo creare 4 classi basate sulla di erenza di età e di sesso. Si riscontra l assenza

44 CAPITOLO 4. UTILIZZO ED EFFICACIA DELL APPLICAZIONE 38 Figura 22: Percentuale di risposte nell angolo di tolleranza. di di erenze significative fra uomini e donne, per cui si procede solamente con la suddivisione d età. I gruppi così formati sono composti da 10 persone con età superiore a40anni,e30aldisottodei25anni. Vi sono, fra questi due gruppi, di erenze significative nelle risposte ai quesiti di elevazione a due sorgenti e nei quesiti finali combinati. La di erenza fra la media delle risposte arriva fino a 90 nel quesito F2, ma vi sono grossi scostamenti anche nel quiz E6 (40 )ede8(50). Inoltre, negli ultimi due quiz combinati, in solo 5 casi su 20 (due quesiti per dieci persone) viene indovinata la posizione relativa delle sorgenti e mai quella assoluta, cosa che avviene nell 80% dei casi invece nell altro gruppo, di cui il 27% in maniera assoluta. Possiamo quindi osservare una maggiore di coltà di individuazione nei paesaggi sonori più complessi per le persone adulte, dovuta all invecchiamento dell apparato uditivo ed alla di coltà di apprendimento di nuove HRTF da parte del cervello. 4.4 Conclusioni L applicazione è stata testata per tutti i suoi parametri di funzionamento, e si è dimostrata facilmente utilizzabile da qualunque tipo di utente, mediamente performante nonostante la presenza di molti cicli annidati e funzioni particolarmente complesse. Inoltre, è a dabile per quanto riguarda la spazializzazione HRTF poiché si prospetta