Audio Coding. Sistemi per la Codifica e Trasmissione di Segnali Multimediali CdL Ing. TLC (INF) Specialistica. L. A. Grieco DEE Telematics Lab.

Transcript

1 Audio Coding Sistemi per la Codifica e Trasmissione di Segnali Multimediali CdL Ing. TLC (INF) Specialistica L. A. Grieco DEE Telematics Lab. 1

2 Time/Frequency (T/F) Audio Coding Codifica il segnale audio utilizzando una rappresentazione spettrale La rappresentazione spettrale rende possibile adattare la codifica ai limiti della percezione umana dell audio (la precisione della codifica può essere adattata alla potenza convogliata in ciascuna sottobanda) 2

3 T/F Generic Encoder: schematics Perceptual Model Input Audio Signal Analysis Filterbank Quantization & Coding Bitstream Multiplex Bitstream 3

4 T/F Generic Decoder Bitstream Bitstream Demultiplex Inverse Quantization Synthesis Filterbank Output Audio Signal 4

5 T/F Generic Encoder: description Il segnale di ingresso è processato da un banco di filtri (ogni filtro estrae l informazione convogliata dal segnale d ingresso in una specifica sottobanda) La soglia di percettibilità nel tempo e in frequenza è stimata dal modello di percezione La soglia di percettibilità esprime il massimo errore di quantizzazione che può essere introdotto nel segnale audio senza alterarne la qualità percepita Il modello di percezione considera: Effetti psico-acustici Selettività in frequenza dell udito Impatto del rumore I coefficienti spettrali sono quantizzati e codificati con una precisione che dipende dalla soglia di percettibilità 5

6 Temporal Spread dell errore di quantizzazione in presenza di segnali transienti Rumore Segnale Finestra di osservazione utilizzata dal banco di filtri Il segnale non ha un comportamento statistico stazionario Il segnale presenta elevata energia nelle sottobande in alta frequenza In alta frequenza verrà introdotto un elevato errore di quantizzazione Il rumore di quantizzazione sarà udito in tutta la finestra di osservazione del segnale coprirà il segnale utile 6

7 MPEG Audio Coding Si basa su codifica T/F Il segnale di input è rappresentato mediante codifica PCM con 16 bit/sample Le frequenze di campionamento ammesse sono 44.1 khz, 48 khz e 32 khz per MPEG-1 (22.05 khz, 24 khz e 16 khz per MPEG-2) Prevede tre livelli Layer I compressione 4:1 32 sottobande l output di ciascun filtro è sotto-campionato di una fattore 32 i coefficienti in uscita da ciascun filtro sono raggruppati in frame (12 campioni) Layer II ottimizza le tecniche per il raggruppamento dei campioni e per la quantizzazione utilizzate nel Layer I Layer III (mp3) si basa su un banco di filtri a due livelli con maggiore risoluzione spettrale Adotta tecniche di window scaling per ridurre l impatto di segnali transienti 7

8 MPEG-2 Advanced Audio Coding (AAC) Si basa su tecniche T/F Definisce 3 profili Low-complexity (LC): buon compromesso tra efficienza e complessità Main: maggiore efficienza a spese di maggiore complessità Scalable Sampling Rate (SSR) 8

9 MPEG-2 AAC encoder Perceptual Model Audio Signal Gain Control Filter-bank Data Control TNS Intensity/Coupling Prediction Bitstream Multiplex AAC Coded Audio Stream Quantized Spectrum of Previous Frame M/S Quantiz. & Coding 9

10 MPEG-2 AAC: Gain Control Utilizzato per il profilo SSR Il segnale in ingresso è suddiviso in 4 sottobande 0 6 khz (I) 6 12 khz (II) khz (III) khz (IV) I segnali delle sottobande II-IV sono esaminati da opportuni gain detector per rivelare eventuali bruschi cambiamenti nell energia del segnale Sulla base dell analisi condotta, i gain modifier amplificano il segnale per comprimerne la dinamica Il decoder opererà le amplificazioni inverse per ripristinare la dinamica originaria del segnale In questo modo, in presenza di segnali transienti, si riduce l effetto del temporal spread dell errore di quantizzazione Per la banda I si utilizza il blocco TNS al fine di limitare gli effetti del temporal spread dell errore di quantizzazione 10

11 MPEG-2 AAC: Filterbank Banco di filtri ad alta risoluzione per ottenere rappresentazioni spettrali sottocampionate del segnale Il filtro analizza finestre successive di campioni del segnale audio Le finestre presentano un overlapping del 50% Nel modo standard di funzionamento le finestre contengono 2048 campioni (sampling frequency = 48kHz) Il banco di filtri fornisce 1024 coefficienti spettrali, relativi a 1024 sottobande uniformemente distribuite (risoluzione spettrale = 23.4 Hz) Se vengono rivelati segnali transienti la finestra di osservazione viene ridotta a 256 campioni la risoluzione spettrale è ridotta di un fattore 8:1 11

12 MPEG-2 AAC: Quantizzazione non uniforme ix( i) sign( x( i)) nint x(i): valore non quantizzato x( i) 4 scale_ 2 factor 0.75 ix(i): valore quantizzato : costante scale_factor: dipende dalla risoluzione della quantizzazione Agisce come una compressione i valori più piccoli sono quantizzati in modo più fine l errore di quantizzazione è maggiore nelle regioni spettrali dove c e maggiore potenza (il mascheramento dell errore è più semplice) 12

13 MPEG-2 AAC: scalefactors Sono utilizzati per controllare la distribuzione dell errore di quantizzazione in frequenza I 1024 coefficienti spettrali sono raggruppati in scalefactor band Per ogni scalefactor band è definito un unico scalefactor Ogni scalefactor band deve comprendere un multiplo intero di 4 coefficienti, al max 32 Gli scalefactor sono codificati in modo differenziale e poi mediante codifica entropica 13

14 MPEG-2 AAC: Temporal Noise Shaping (TNS) E stato introdotto per gestire segnali audio transienti Sfrutta il dualismo tempo-frequenza: E noto che un segnale con spettro non piatto mostra una correlazione tra i propri campioni tale segnale può essere efficacemente codificato mediante tecniche di predizione nel dominio del tempo Un segnale transiente mostra un andamento temporale non piatto tale segnale può essere efficacemente codificato utilizzando tecniche di predizione nel dominio della frequenza 14

15 MPEG-2 AAC: TNS filtering (encoder side) LPC Analysis Predictor Coefficients Analysis Filterbank TNS Filtering Quantization & Coding 15

16 MPEG-2 AAC: TNS inverse filtering (decoder side) Predictor Coefficients Inverse Quantization & Coding Inverse TNS Filtering Synthesis Filterbank 16

17 MPEG-2 AAC: Prediction Il predittore stima i coefficienti spettrali del nuovo frame in funzione dei coefficienti spettrali ottenuti nei precedenti frame L errore di predizione è quantizzato e codificato riduzione del bitrate 17

18 MPEG-2 AAC: Joint Stereo Coding the architecture Left Audio Signal Right Analysis Filterbank Analysis Filterbank Joint Stereo Processing Quantization & Coding Quantization & Coding Bitstream Encoding MPEG-2 AAC consente di codificare segnali audio stereofonici e multicanale Bitstream 18

19 MPEG-4 Audio: additions to AAC Perceptual Noise Substitution (PNS) Long-Term Prediction (LTP) Transformation Domain Weigthed Interleave Vector Quantization (TwinVQ) Low-delay AAC (AAC-LD) Error-resilience (ER) Scalable Audio Coding Parametric Audio Coding 19

20 MPEG-4 Audio: PNS E utilizzato per rappresentare in modo compatto le componenti del segnale audio di tipo noiselike Per tali componenti una codifica di forma d onda è poco efficiente possono essere codificate in modo più compatto per mezzo di una rappresentazione parametrica Il segnale d ingresso è analizzato dall encoder per determinare quali componenti del segnale (scalefactor band) sono noiselike Se una scalefactor band è di tipo noiseiike, i rispettivi coefficienti spettrali non sono codificati come in MPEG-2 AAC è trasmesso al decoder un noise substitution flag e la potenza totale del sub-set di coefficienti spettrali Il decoder sostituisce i coefficienti spettrali delle scalefactor band di tipo noiselike, con numeri pseudo-casuali in modo da soddisfare la specifica sulla potenza totale 20

21 MPEG-4 PNS: Encoding Principle Perceptual Model Audio Signal Analysis Filterbank Quantization & Coding Bitstream Multiplex Bitstream Noise Detection PNS Information 21

22 MPEG-4 PNS: Decoding Principle Bitstream Bitstream Demultiplex Inverse Quantization Synthesis Filterbank Audio Signal PNS Information Noise Generator 22

23 MPEG-4 Audio: LTP Tecnica ereditata dallo speech coding sfrutta le ridondanze nel segnale vocale legate alla periodicità dello stesso (pitch e gain) I coefficienti spettrali quantizzati dei precedenti frame sono usati per ricostruire una versione approssimata del segnale audio nel frame corrente l errore di predizione è codificato mediante i parametri ottimali per il pitch lag e il gain Il segnale originale e quello predetto sono rappresentati per mezzo di coefficienti spettrali Le rappresentazioni spettrali sono sottratte l una all altra ed il segnale residuo è codificato E possibile selezionare per ogni scalefactor band l uso di LTP a seconda che esso produca o meno un guadagno in termini di riduzione del bitrate 23

24 MPEG-4 Audio: TwinVQ E utilizzato per garantire prestazioni accettabili anche a bitrate molto bassi (< 6 kbps) La quantizzazione dei coefficienti spettrali opera in due fasi: Spectral Normalization: I coefficienti spettrali sono scalati e riportati in un opportuno intervallo di valori (i parametri utilizzati per la normalizzazione sono trasmessi al decoder) Weigthed VQ 24

25 MPEG-4 Audio: Weighted VQ Interleaving: I coefficienti spettrali normalizzati sono ordinati per frequenze crescenti i coefficienti corrispondenti alle frequenze più basse necessitano di una quantizzazione più fine per mezzo dell interleaving i coefficienti sono suddivisi in sottovettori di coefficienti ognuno dei quali esibisce le stesse prerogative in termini di quantizzazione Vector Quantization: quantizza in modo vettoriale i sottovettori di coefficienti spettrali per mezzo di un opportuno codebook 25

26 MPEG-4 Audio: TwinVQ Encoding Input Vector Interleaving Weigthed VQ Weigthed VQ Weigthed VQ Weigthed VQ Weigthed VQ Sub-Vectors Perceptual Weights Index Values 26

27 MPEG-4 Scalable Audio Coding (SAC) Hierarchical Encoding large-step scalable audio framework Bit-Sliced Arithmetic Coding (BSAC) FGS 27

28 MPEG-4 SAC: hierarchical coding Il segnale audio è codificato da un primo encoder per produrre il base layer Il segnale residuo (differenza tra il segnale originale e il base layer) è codificato da un encoder successivo Il processo di raffinamenti successivi della codifica si ripete per M-layer (2 M 4) 28

29 MPEG-4 SAC: hierarchical coding Audio Signal Encoder #1 Local Decoder #1 - + Bitstream #1 Bitstream #2 Local MUX Encoder #2 Decoder #

30 MPEG-4 SAC: BSAC La codifica gerarchica è efficiente se il numero complessivo di strati è basso a causa delle informazioni aggiuntive convogliate da ciascun bitstream BSAC consente di ottenere strati da 1kbps BSAC è utilizzato per quantizzare i coefficienti spettrali Per ogni coefficiente si utilizza una rappresentazione segno/ampiezza, l ampiezza è rappresentata con 13bit I bit dell ampiezza sono organizzati in strati, a seconda del loro peso (da MSB a LSB) Gli strati cosi definiti sono poi codificati mediante codifica entropica 30

31 MPEG-4 Parametric Audio Coding Consente la codifica del segnale audio a bassissimo bit rate (circa 4 kbps) Il segnale audio è processato frame per frame Ogni frame è decomposto in molteplici componenti Sinusoidi singole frequenza ed ampiezza Toni armonici frequenza e ampiezza della fondamentale, inviluppo spettrale delle armoniche a frequenza superiore Noise ampiezza ed inviluppo spettrale I parametri di ciascuna componente sono codificati in modo da minimizzare l errore percepito 31

32 Architecture of a MPEG-4 Parametric Encoder Perceptual Model Audio Signal Individual Sinusoid Extraction Sinusoid Parameters Grouping to Harmonic Component Harmonic Component Sinusoidal Component Parameter Coding & Quantization Residual Signal Noise Parameter Estimation Noise Component Bitstream 32