Echo and Narcissus John William Waterhouse. Miglioramento Qualità del Segnale Audio nel VoIP

Transcript

1 Echo and Narcissus John William Waterhouse Miglioramento Qualità del Segnale Audio nel VoIP

2 VoIP Voice over Internet Protocol

3 Fattori che influenzano la qualità Delay e latenza Jitter Voice Compression (coding/decoding) Perdite di pacchetti (packet loss) Voice activity detection Echo

4 Delay e latenza E il tempo che intercorre da quando il segnale audio esce dalla bocca del parlatore ed arriva alle orecchie dell ascoltatore tutto compreso! Ci sono principalmente due cause di delay nelle comunicazioni VoIP Delay di propagazione: è il tempo fisico di attraversamento del mezzo trasmissivo (es: comunicazioni satellitari ) Delay di Handling: è il tempo necessario per gestire i pacchetti (pacchettizzazione, compressione, instradamento )

5 Delay e Latenza ITU (International Telecommunication Union) raccomanda di non superare i 150ms

6 Delay e latenza Esempio di un Delay Budget end-to-end

7 Jitter In una rete ideale i pacchetti arrivano ad intervalli regolari (es: 20ms); in realtà questo non avviene ed i pacchetti arrivano un po a caso Il Jitter è la differenza tra il tempo di arrivo vero e quello ideale

8 Jitter e Jitter Buffer Per compensare il Jitter i client hanno un Jitter Buffer; Questo buffer ovviamente introduce ulteriore delay Il protocollo RTP contiene informazioni (sequence information e time stamps) per recuperare l ordine dei pacchetti e gli inter-intervalli di arrivo Queste informazioni sono utili anche per adattare dinamicamente la lunghezza del Jitter buffer a seconda del grado di congestione ed affidabilità della rete. Un Jitter buffer adattativo è la soluzione migliore anche per contenere il delay introdotto dal buffer

9 Coding E un argomento vastissimo Un codec riduce il bit rate del segnale da trasmettere, per cui, a parità di frequency sample, si riduce l occupazione di banda Gli algoritmi più efficienti per la compressione sono i lossy. Essendo lossy introducono distorsione perché il segnale, dopo la codifica, viene irreversibilmente alterato.

10 Packet Loss Nelle applicazioni VoIP è molto importante che la conversazione continui, piuttosto che interrompersi se alcuni pacchetti sono in ritardo Per questo motivo non si usano protocolli come il TCP (Trasmission Control Protocol - se un pacchetto non arriva: fermo tutto ed aspetto) ma altri come l RTP (real-time protocol) Si accetta quindi che alcuni pacchetti possano andare persi, però questo degrada la qualità

11 Packet Loss La parte ricevente attende per un periodo di tempo che arrivi il pacchetto altrimenti mette in atto una strategia di Packet Loss Concealment La strategia più semplice è replicare il pacchetto precedente. Dal momento che i frame sono brevi, tipicamente il pacchetto ricostruito non introduce alterazioni percepibili sensibilmente Se più pacchetti vengono persi, si applica il concealment solo al primo.

12 VAD (Voice Activity Detection) La comunicazione è sempre bidirezionale ma è raro che tutt e due le parti parlino sempre contemporaneamente La banda viene comunque riservata ma è inutile tenere banda inutilizzata. Quando la banda è inutilizzata si utilizza per inviare altre informazioni Per determinare se un frame è speech o non speech si usa un Voice Activity Detector Lo vedremo più avanti in maggior dettaglio

13 VAD

14 Come nasce l eco acustica Sistema di comunicazione hands-free Accoppiamento acustico tra altoparlante e microfono: il segnale x(k) generato dall altoparlante al lato far-end si propaga nella stanza ricevente e viene captato dal microfono NEAR END SIDE u(k) FAR END SIDE y(k) x(k) IO

15 Due diversi tipi di eco acustica Eco generata da accoppiamento diretto Altoparlante-Microfono Eco generata da riflessioni e diffusione nell ambiente ricevente

16 Come viene modellizzata l E.A. Modello lineare (combinanzione lineare di repliche attenuate e ritardate di x(k)) u(k)= )=h 0 x(k)+ )+h 1 x(k-1)+ 1)+ +h M-1 x(k-m+1)= +1)=h T x(k) dove M è il numero di campioni in successione del segnale dell altoparlante h=[h 0,,h M-1 ] è la risposta all impulso del percorso dell eco acustica NEAR END SIDE FAR END SIDE y(k) u(k) x(k) IO

17 In realtà In realtà all eco h T x(k) si aggiunge anche il segnale v(k) di LUI, il parlatore al lato del NEAR END NEAR END SIDE v(k) FAR END SIDE y(k) LUI u(k) x(k) IO

18 In realtà Ed anche il rumore ambientale w(k) che viene captato dal microfono Il segnale spedito al FAR END è somma di tre contributi: y(k)= )=h T x(k)+ )+v(k)+w(k) NEAR END SIDE v(k) w(k) FAR END SIDE y(k) LUI u(k) x(k) IO

19 Il problema della cancellazione Il cancellatore di eco acustica (AEC: Acoustic Echo Canceller) deve rimuovere la componente u(k)=h T x(k) dal segnale y(k) y(k)= )=h T x(k)+ )+v(k)+w(k) NEAR END SIDE v(k) w(k) FAR END SIDE y(k) LUI u(k) x(k) IO

20 Il problema dell AEC Eliminare eco con stima û(k) dell eco u(k) w(k) v(k) + y(k) - e(k) u(k)=h T x(k) û(k) h ĥ x(k)

21 Il problema dell AEC Eliminare eco con stima û(k) dell eco u(k) Segnale errore: e(k)= )=y(k)-û(k)=[u(k)-û(k)]+v(k)+w(k) w(k) v(k) + y(k) - e(k) u(k)=h T x(k) û(k) h ĥ x(k)

22 Il problema dell AEC Tecnica: minimizzare il valore quadratico medio di u(k)-û(k) E{[ {[u(k)-û(k)])] 2 }=E{[ {[e(k)-v(k)-w(k)])] 2 }= = E{[ {[e(k) 2 }+E{[ {[v(k) 2 }+E{[ {[w(k) 2 }+ +2E{v(k)w(k)} )}-2E{e(k)[v(k)+w(k)]})]} w(k) v(k) + y(k) - e(k) u(k)=h T x(k) û(k) h ĥ x(k)

23 Come viene generata la stima û(k) Il segnale û(k) viene generato filtrando x(k) tramite un filtro FIR di lunghezza L M (echo tail length) tale che venga minimizzato E{e 2 (k)} û(k)=[ )=[hˆ T,0]x(k)

24 L adattamento Poiché in generale h è variabile nel tempo, i coefficienti del filtro stimato sono variabili nel tempo. Occorre quindi un Algoritmo Adattativo w(k) e(k) v(k) + y(k) - u(k)=h T x(k) û(k) h ĥ Algoritmo Adattitivo x(k)

25 Esempio: NLMS Algoritmo molto utilizzato Minimizzazione di E{e 2 (k)} facendo variare ĥ nella direzione del gradiente negativo di E{e 2 (k)} rispetto ad ĥ d { 2 E e ( k) } = 2E[ x( k ) e( k )] dh ˆ La velocità con cui muoversi in questa direzione è indicata dallo step size μ Per rendere μ indipendente dal dato misurato di ingresso viene normalizzato a x(k) 2

26 Esempio: NLMS Dopo la normalizzazione si ottiene l equazione di aggiornamento di ĥ h ˆ ( k 1) = h( k ) + ˆ x + μ x ( k ) e( k ) ( k ) 2 NLMS converge bene per rumore bianco, è lento per speech o rumore colorato

27 Algoritmi più evoluti L NLMS ha prestazione scarse in presenza di rumore colorato o semplicemente segnale vocale Un algoritmo particolarmente utilizzato è l APA (Affine Projection Algorithm) Altri algoritmi non sono adatti, per esempio, per via di elevata complessità computazionale (es.: RLS)

28 Elementi di un AEC Sottrattore Digitale per sottrarre la stima dell eco acustica alla vera eco Filtro FIR per la stima della IR del percorso dell eco Circuito Adattativo per l aggiornamento dei coefficienti del filtro di stima

29 Parametri di Targa di un AEC Definiti dalla norma ITU G.168 ERL (Echo Return Loss): Attenuazione del percorso dell eco acustica ERLE (Echo Return Loss Enhancement): Attenuazione dell eco acustica data dal cancellatore di eco NEAR END SIDE ERLE FAR END SIDE ERL u(k) + Stimatore y(k) x(k) IO

30 L AEC e la sua macchina a stati Un AEC è tipicamente strutturato come macchina a stati perché si possono individuare alcune condizioni di funzionamento in cui il sistema deve comportarsi diversamente: Stato Receive : solo speech del Far End è presente (attivo altoparlante del Near End) Stato Send : solo speech del Near End è presente (attivo altoparlante del Far End) Stato Double Talk : entrambi i lati parlano Stato Idle : nessuno dei due lati parla

31 L AEC e la sua macchina a stati Per distinguere gli stati della macchina a stati occorrono dei sistemi /algoritmi in grado di ricavare informazioni dal segnale e prendere decisioni. La corretta progettazione della macchina a stati e dei sensori dell AEC è una delle parti più critiche di un AEC In generale: l algoritmo di cancellazione (NLMS, etc.) è il cuore del sistema, ma non è in grado di funzionare correttamente se: Ciò che sta intorno non funziona correttamente Il segnale audio non viene opportunamente addomesticato per renderlo più digeribile all algoritmo di cancellazione di eco

32 Schema AEC NEAR END SIDE u FAR END SIDE y h Stimatore ĥ Control Unit x

33 Elementi di un AEC Sottrattore Digitale per sottrarre la stima dell eco acustica alla vera eco Filtro FIR per la stima della IR del percorso dell eco Circuito Adattativo per l aggiornamento dei coefficienti del filtro di stima Macchina a stati e relativo controllore

34 Il VAD (Voice Activity Detector) Esempio (Stato in cui uno solo dei due lati parla): occorre un sistema/algoritmo in grado di capire se c è attività di un parlatore. Diverse soluzioni, tutte basate su un criterio di confronto di una grandezza misurata e smooth nel tempo con una soglia opportuna Geigel: basato sull ampiezza Basati sull energia Basati sulla correlazione/coerenza tra speech e rumore Basati su metodi statistici (attraversamento per lo zero, chiquadro, etc.) Metodi misti

35 Importanza del VAD Parametri di bontà del VAD: Deve ridurre al minimo i falsi detect (segnalare speech quando non c è speech) Deve ridurre al minimo i miss detect (non segnalare speech quando c è speech) E critico, quindi i buoni VAD non sono mai circuiti Aperto/Chiuso, ma semplicemente comunicano il loro stato alla Process Unit che poi deciderà come comportarsi anche in funzioni di altri dati che raccoglie dal sistema

36 Schema AEC NEAR END SIDE FAR END SIDE VAD u VAD y h Stimatore ĥ Control Unit x VAD VAD

37 Elementi di un AEC Sottrattore Digitale per sottrarre la stima dell eco acustica alla vera eco VAD Filtro FIR per la stima della IR del percorso dell eco Circuito Adattativo per l aggiornamento dei coefficienti del filtro di stima Macchina a stati e relativo controllore

38 Il Double Talk Detector (DTD) Tra i possibili stati c è anche quello in cui entrambi i lati parlano (Double Talk) Il segnale di near-end v(k) si comporta come un rumore incorrelato di alta potenza additivo all eco acustica u(k) La progettazione del DTD è una delle parti più importanti dell AEC v(k) LUI u(k) NEAR END SIDE x(k) IO

39 Il Double Talk Detector (DTD) Il cancellatore d eco dovrebbe essere in grado di distinguere il segnale di near-end v(k) dall eco u(k), ma questo è molto difficile da ottenere Se il circuito adattativo continua a funzionare, i coefficienti del filtro di cancellazione cambiano nella direzione di voler cancellare u+v La soluzione più adottata è quella basata su: Double Talk Detector (DTD) per segnalare uno stato di double talk Stop completo dell adattamento (μ=0) oppure, nelle soluzioni più avanzate, legare un valore continuo di uscita al DTD (espresso come probabilità P(DTD) allo step di adattamento μ.

40 Il Double Talk Detector (DTD) Se il DTD non funziona correttamente c è il rischio che il filtro di adattamento diverga Meccanismo analogo al VAD: si calcola un indice di presenza del DT e lo si confronta con una soglia Algoritmi utilizzati: Basati su correlazione/coerenza Confronto spettrale Soluzioni miste e più complesse

41 Cosa succede se DTD non funziona Se non viene individuata la situazione di DT il rischio più grosso è che il filtro diverga e che passi tutta l eco (in certi casi anche amplificata) Per evitare rischi, i sistemi più semplici funzionano chiudendo uno dei due lati (il primo che inizia a parlare ne acquisisce il diritto ma non può sentire l altro lato): half-duplex, effetto walkie-talkie; I sistemi più belli sono full-duplex, ovvero non chiudono mai il canale e comunicano il loro stato alla control unit che prende opportune decisioni

42 Schema AEC con DTD NEAR END SIDE FAR END SIDE h VAD u Stimatore ĥ DTD VAD Control Unit y x VAD VAD

43 Elementi di un AEC Sottrattore Digitale per sottrarre la stima dell eco acustica alla vera eco DTD VAD Filtro FIR per la stima della IR del percorso dell eco Circuito Adattativo per l aggiornamento dei coefficienti del filtro di stima Macchina a stati e relativo controllore

44 Anti Howling (Larsen) Si potrebbe pensare che lo stato in cui nessuno dei due lati parli sia il più semplice da gestire In certe configurazioni può instaurarsi un feedback acustico in grado di far manifestare il cosiddetto effetto Larsen I buoni sistemi incorporano un filtro antihowling tipicamente fatto da: Circuito adattativo che individua la frequenza di howling Uno o più filtri notch a frequenza variabile per attenuare la riga spettrale dell howling E importante che l antihowling sia veloce e preciso e capace di spostare il notch non appena l howling viene attenuato.

45 Anti Howling (Larsen) Filtro Notch Spettro

46 Elementi di un AEC Sottrattore Digitale per sottrarre la stima dell eco acustica alla vera eco DTD Anti Howling VAD Filtro FIR per la stima della IR del percorso dell eco Circuito Adattativo per l aggiornamento dei coefficienti del filtro di stima Macchina a stati e relativo controllore

47 Riduttore di Rumore Oltre all eco u(k), al segnale del parlatore di Near- End v(k), può essere presente anche del rumore ambientale w(k) NEAR END SIDE v(k) w(k) LUI u(k) x(k)

48 Riduttore di Rumore Esistono diversi tipi di riduttore di rumore, il più utilizzato è l algoritmo di Ephraim-Malah In generale la progettazione di un riduttore di rumore deve tenere conto di un imporante compromesso tra: Quantità di rumore eliminato Distorsione del segnale

49 Riduttore di Rumore L algoritmo più semplice è quello basato sulla sottrazione spettrale Ipotesi fondamentale: il rumore è un processo quasi stazionario, mentre lo speech è molto più variabile

50 Riduttore di Rumore: sottrazione spettrale STEP 1: Il VAD distingue se il frame i-esimo del segnale di ingresso x(k) è Speech o Non Speech STEP 2: viene calcolata l FFT di x(k) nella forma ampiezza X(ω) e fase X(ω)

51 Riduttore di Rumore: sottrazione spettrale STEP 3.a: Se il frame è Non Speech (rumore) l ampiezza dello spettro del frame X(ω) viene memorizzata e filtrata passa basso per creare lo spettro stimato N(ω) del rumore; la fase X(ω) viene memorizzata con il corrispondente indice di frame i STEP 3.b: Se il frame è Speech, non viene aggiornata la stima del rumore N(ω) STEP 4: Viene generato il segnale d uscita a partire dall ampiezza dello spettro Y(ω) = X(ω) - N(ω) STEP 5: Si recupera l informazione di fase salvata X(ω) e si antitrasforma ottenendo il segnale di uscita y(k)=ifft[ Y(ω) ; X(ω) ]

52 Riduttore di Rumore: sottrazione spettrale e musical tones Il metodo della sottrazione spettrale è semplice e computazionalmente poco oneroso però soffre di un problema noto come musical tones Per via del fatto che la stima del rumore è fatta sotto l ipotesi di quasi-stazionarietà, ad una certa riga spettrale m può accadere che Y m (ω) = X m (ω) - N m (ω) sia sufficientemente grande da essere udito. Il fenomeno è noto come musical tones perché è un rumore artificiale che suona come una serie casuale di toni puri a frequenze distribuite casualmente nei vari frame.

53 Riduttore di Rumore: sottrazione spettrale e musical tones - esempio NOISE REDUCTION Noisy Clean Audio Wave Segnale con rumore amplitude MT Segnale con Musical tones -0.5 Good Segnale con Rumore residuo time x 10 4

54 Riduttore di Rumore: sottrazione spettrale ed il ruolo del VAD Poiché la stima del rumore viene fatta sulla base del segnale del VAD, è evidente che la buona cancellazione di rumore e l assenza di musical tones sono strettamente legati alla capacità del VAD di non sbagliarsi

55 Riduttore di Rumore: Ephraim-Malah Il problema dei musical tones è stato studiato molto ma la vera svolta è avvenuta con l algoritmo proposta da Ephraim-Malah

56 Elementi di un AEC Sottrattore Digitale per sottrarre la stima dell eco acustica alla vera eco Noise Reduction DTD Anti Howling VAD Filtro FIR per la stima della IR del percorso dell eco Circuito Adattativo per l aggiornamento dei coefficienti del filtro di stima Macchina a stati e relativo controllore

57 Il controllo della dinamica Per migliorare le prestazioni di un AEC è importante che i segnali in gioco siano controllati: Processore di dinamica (compander) Softclipping Precompensazione delle non-linearità di speaker e microfoni Controllo dei guadagni di microfoni e/o speakers

58 Altri elementi di un AEC Confort Noise Generator: genera opportuno rumore rosa che permette di evitare la sensazione di uomo morto Non Linear Processor: è un controllo non lineare sul segnale prima del send al Far End è molto usato, ma non è una bella soluzione Residual Echo Canceller: elimina la coda residua di eco. E un blocco molto importante che se ben progettato può fare la differenza tra un buon sistema ed uno di prestazione normali

59 Elementi di un AEC Precompensazione delle non linearità Sottrattore Digitale per sottrarre la stima dell eco acustica alla vera eco Filtro FIR per la stima della IR del percorso dell eco Compander DTD Circuito Adattativo per l aggiornamento dei coefficienti del filtro di stima Residual Echo Canceller Noise Reduction Anti Howling CNG VAD Macchina a stati e relativo controllore Non linear Processor Controllo guadagni Compander Softclipper

60 Demo di un AEC semplice Sin OFFSET NULL Lret + Lres Sout Σ NLP Noise MIC GAIN FILTRO FILTRO ADATTATIVO ADATTATIVO CONTROL CONTROL UNIT UNIT & DTD DTD Far-End LRout-AECHO Near-End Rout AGC OFFSET NULL Rin

61 Per finire Dopo aver compreso cosa è l eco e come di controlla vediamo chi èeco

62 Per finire Ninfa dei boschi e delle sorgenti. Con Pan generò Jince. Dotata di grande parlantina Zeus, si serviva di lei per trattenere la gelosa Era, ogni volta che s'incapricciava di qualche donna. Era apprezzava molto la ninfa, finché accortasi della presa in giro, la punì a non potere parlare se non interrogata e nel rispondere poteva solo ripetere le ultime sillabe della domanda rivoltale. Quando si innamorò di Narciso non potendogli dire dell'amore che provava, gli ripeteva sempre le ultime sillabe delle parole da lui pronunciate. Narciso stanco di quel fatto non si fece più vedere. Eco dalla disperazione di averlo perduto si mise a cercarlo e non trovandolo dal dolore si lasciò morire e di lei restò solo la voce. Gli dèi impietositi la mutarono in roccia. (Ovidio, Metamorfosi III).