La Raccomandazione JVT H.264/AVC

Transcript

1 Capitolo 10 La Raccomandazione JVT H.264/AVC 10.1 Principi dello standard H.264 Il progetto congiunto Joint Video Team (JVT), che ha coinvolto i gruppi ITU-T Video Coding Expert Group (VCEG) e ISO-IEC JTC1 Motion Photo Expert Group (MPEG), ha condotto alla definizione dello standard H.264/ MPEG-4 Advanced Video Coding. Tale standard, oltre a prevedere strumenti di codifica innovativi ed efficaci rispetto ai sistemi precedenti, si presta ad essere utilizzato su reti estremamente diversificate dal punto di vista della banda, del formato di trasporto e della percentuale di errori introdotta sui dati trasmessi. Il sistema H.264/ MPEG-4 AVC prevede due strati logicamente distinti: il Video Coding Layer (VCL) e il Network Adaptation Layer (NAL). Il VCL codifica i dati video, mentre il NAL incapsula le unità sintattiche codificate in NAL Unit (NALU) adatte al trasferimento in rete, come illustrato in Fig Il Video Coding Layer H.264 Il VCL dell H.264 utilizza uno schema di codifica ibrida di video nel formato interallacciato o progressivo e raggiunge prestazioni superiori rispetto agli standard precedenti in termini di efficienza di compressione, grazie all introduzione di alcuni strumenti di codifica innovativi: predizione spaziale per la codifica Intra, che aumenta l efficacia di compressione, ma può essere disabilitata in ambienti radiomobili per diminuire la propagazione spaziale e temporale degli artefatti dovuti ad errori di trasmissione; motocompensazione a blocchi di dimensione variabile spazialmente, che riduce gli artefatti di codifica ma é computazionalmente onerosa; uso di quadri di riferimento multipli, che migliorano l efficacia di compressione e, in presenza di un canale di feedback, diminuiscono la propagazione temporale degli artefatti dovuti ad errori di trasmissione; richiedono maggiori risorse per il buffering trasformata a coefficienti interi 4x4 e trasformate di Hadamard 4x4 e 2x2 che eliminano i disallineamenti numerici fra codificatore e ricevitore, riducendo la complessità di calcolo della trasformata; 116

2 10.2. IL VIDEO CODING LAYER H Figura 10.1: Architettura dello standard H.264. tabelle di codice Context Adaptive, che aumentano l efficienza di compressione, ma sono computazionalmente onerose e possono ridurre la resistenza agli errori di trasmissione; formato di quadro (Switching frame) per la commutazione fra differenti flussi precodificati La predizione spaziale La codifica dei macroblocchi Intra sfrutta la predizione spaziale, in cui i campioni del macroblocco attuale sono predetti a partire dai campioni di luminanza e di crominanza dei macroblocchi adiacenti già ricostruiti, ed é codificato unicamente il residuo di predizione trasformato, quantizzato e trasmesso. Osserviamo che la predizione spaziale é giá sfruttata nello standard MPEG-4, dove é applicata nel dominio trasformato. La predizione opera su base macroblocco 16x16 pixel o su base blocco 4x4 pixel. Nel caso di predizione 16x16 si utilizzano quattro differenti tipologie orizzontale, verticale, continua e planare Nel caso di predizione su base blocco 4x4, per ogni macroblocco il codificatore genera un vettore di 16 elementi in cui sono memorizzate le modalità di predizione assegnate ai 16 sottoblocchi 4x4, per ciascuno dei quali puó essere scelta una fra 9 modalitá di predizione. I 16 campioni di luminanza, appartenenti al sotto-blocco 4x4, sono predetti a partire dai 13 campioni ricostruiti, 10.2, situati ai bordi del sotto-blocco Per ogni macroblocco 16x16 pixel, nel formato di rappresentazione 4:2:0 sono presenti anche due blocchi 8x8 pixel relativi ai coefficienti di crominanza Cb e Cr. Questi due blocchi subiscono, separatamente, la stessa predizione spaziale, e le modalità direzionali sono ancora quattro, orizzontale, verticale, continua e planare Lo standard prevede la possibilitá di utilizzare un filtro adattativo, detto deblocking filter,chesfumiipixelaibordideisottoblocchi4x4, riducendo l effetto della blocchettizzazione ai bassi bit-rate. La predizione opera sui valori ricostruiti al decodificatore (cioé quantizzati) ma non deblocchettizzati.

3 118 CAPITOLO 10. LA RACCOMANDAZIONE JVT H.264/AVC Figura 10.2: La predizione spaziale nello standard H Trasformazione e quantizzazione Tanto i residui di segnale a valle della predizione spaziale o temporale quanto i segnali originali relativi a macroblocchi codificati senza predizione subiscono una trasformazione, la quantizzazione e infine la codifica entropica. L H264 utilizza tre diverse trasformate, relativamente al tipo di residuo che deve essere processato: una trasformata intera 4x4 per tutti i residui di predizione spaziale e temporale. una trasformata di Hadamard 4x4 dei coefficienti DC di luminanza per i macroblocchi codificati come INTRA una trasformata di Hadamard 2x2 per i coefficienti DC di crominanza per i macroblocchi codificati come INTRA 10.3 ; Le due trasformate 4x4 e 2x2, applicate ai termini DC, sono state sviluppate poiché sia nel caso del macroblocco 16x16 codificato INTRA e sia per i coefficienti di crominanza, le aree di interesse hanno una notevole estensione spaziale; é quindi tipicamente presente una ulteriore ridondanza tra i termini in continua dei vari sotto-blocchi 4x4. La base sottesa alla trasformazione intera é qualitativamente rappresentata in Fig L applicazione successiva delle trasformazioni é anch essa illustrata in Fig La quantizzazione é realizzata mediante 52 diversi passi di quantizzazione che vengono indicizzati in modo non lineare attraverso un Parametro di Quantizzazione (QP), che puó essere differente per i campioni di luminanza e di crominanza Si osservi che a causa del campionamento 4:2:0 ad un macrobloco di luminanza 16x16 corrispondono due blocchi di crominanze 8x8.

4 10.2. IL VIDEO CODING LAYER H Figura 10.3: Base della trasformata intera 4x4 (rappresentazione qualitativa). Figura 10.4: Trasformazioni utilizzate nello standard H.264.

5 120 CAPITOLO 10. LA RACCOMANDAZIONE JVT H.264/AVC Figura 10.5: Passi di quantizzazione e Parametro di Quantizzazione (QP) La motocompensazione ed il controllo di codifica Il VCL H.264 prevede l utilizzo della predizione temporale mediante una tecnica di motocompensazione innovativa, che offre un elevato grado di flessibilitá nella scelta della modalità di codifica. Per ogni macroblocco, la motocompensazione si articola in due fasi, di stima del movimento e di decisione sulla modalità di codifica. L H264 supporta la motocompensazione di blocchi di pixel di dimensione variabile nell intervallo compreso tra 16x16 e 4x4 campioni di luminanza, detta Motocompensazione ad albero (vedi fig. 10.6). I vettori di moto arrivano a risoluzioni di 1/2 e 1/4 di pixel. I campioni utilizzati per la motocompensazione con passi frazionari non sono disponibili ma possono essere calcolati mediante interpolazione. Poiché ad ogni blocco o sotto-blocco é associato un vettore di moto, la suddivisione in aree piú estese necessita di un minor numero di bit per le informazioni di moto, ma genera residui mediamente piú elevati. D altro canto la suddivisione in aree piú limitate richiede piú vettori di moto ma genera residui di minor energia. I vettori di moto sono codificati in modo differenziale rispetto ad un valore predetto; la modalitá di predizione dipende dalla partizione adottata nella motocompensazione. La motocompensazione opera su quadri di riferimento multipli, fino ad un massimo di 5 quadri di riferimento. Un macroblocco predetto può essere partizionato in blocchi o sottoblocchi, e in linea di principio il quadro di riferimento puó variare per ciascun blocco 8x La scelta della modalitá di codifica ottima, ovvero della partizione, dei vettori spostamento, e del quadro di riferimento discende da un compromesso fra la riduzione dell informazione associata ai residui e l incremento del Quando un blocco 8x8 é ulteriormente suddiviso, tutti i sottoblocchi componenti devono essere predetti partire dallo stesso quadro di riferimento.

6 10.2. IL VIDEO CODING LAYER H l informazione associata ai vettori di moto, oltre che da considerazioni di complessitá computazionale al codificatore e di risorse di memorizzazione al decodificatore. Lo standard prevede la predizione bidirezionale, ed i quadri B possono essere utilizzati come riferimenti per la predizione. Infine, per applicazioni ad alta qualitá, é prevista la possibilitá di effettuare una predizione pesata a partire da due quadri di riferimento, al fine di comprimere con efficienza dissolvenze e cambi scena. Figura 10.6: Motocompensazione ad albero nello standard H Algoritmi di codifica entropica Lo standard H264 prevede l impiego di due algoritmi avanzati di codifica entropica, Context-Adaptive Variable Lenght Coding, (CAVLC), e Context-Adaptive Binary Arithmetic Coding, (CABAC); l algoritmo CABAC ha un efficienza di compressione maggiore rispetto al CAVLC, ma anche un maggiore complessità computazionale. I vari elementi sintattici presenti nel flusso codificato vengono diversamente trattati, relativamente alla loro tipologia. Gli elementi sintattici connessi ai parametri di sequenza e di quadro, detti Parameter Set, vengono codificati utilizzando codici binari a lunghezza fissa oppure mediante codici a lunghezza variabile detti codici Exp- Golomb. I codici Exp-Golomb (Exponential Golomb codes) sono a lunghezza variabile con una struttura regolare di [M zeri][1][info]. A livello di slice e di macroblocco, invece, gli elementi sintattici sono trattati utilizzando il CAVLC o il CABAC. Il codificatore CAVLC é il codificatore a lunghezza variabile utilizzato per i residui trasformati e quantizzati e ordinati secondo una scansione a zig-zag, e rappresenta in modo compatto tanto valori nulli (Run lengths) quanto successioni di valori pari a ±1 (Trailing Ones); le tavole VLC utilizzate dipendono da un contesto causale. Il codificatore CABAC è un codificatore aritmetico di tipo adattativo, basato su un modello probabilistico dipendente dall elemento sintattico e dal relativo contesto di codifica; i parametri del modello sono adattati in tempo

7 122 CAPITOLO 10. LA RACCOMANDAZIONE JVT H.264/AVC reale, sfruttando le statistiche locali. Il CAVLC e il CABAC sono pertanto macchine a stati, che evolvono nel tempo modificando le proprie variabili di stato, pilotando, rispettivamente, una Codifica VLC oppure una Codifica Aritmetica Binaria Flessibilità di accesso ed efficienza di compressione: i quadri di Switching Lo standard H.264/AVC include delle importanti strutture sintattiche assenti nei precedenti standard ma già presenti in forma embrionale in alcuni sistemi di codifica video proprietari, denominate Switching pictures. Tali strutture consentono la commutazione, in fase di decodifica, tra flussi codificati a differente bit rate, consentendo di adattare in tempo reale il bit rate del flusso video alle effettive condizioni di rete non agendo sul codificatore durante la codifica ma sfruttando flussi già codificati. Tali strutture si prestano ad essere utilizzate principalmente in applicazioni di streaming video. I Switching P picture consentono l accesso casuale al flusso video di destinazione; dal momento che sfruttano la somiglianza di quadri codificati nei diversi flussi richiedono un minor numero di bit e una minore latenza in decodifica rispetto ad un quadro INTRA. Ogni quadro SP ammette due rappresentazioni codificate, una primaria ed una secondaria. La modalitá di codifica primaria é adottata per quadri scelti ad intervalli regolari nel flusso codificato, ed offre i punti di accesso alla sequenza di destinazione. La modalitá di codifica secondaria costituisce una rappresentazione alternativa di questi stessi quadri, ed é utilizzata, cioé trasmessa, solo all atto della commutazione fra flussi differenti, come rappresentato in fig La rappresentazione secondaria convoglia il residuo di predizione fra il quadro da rappresentare (appartenente al flusso di destinazione) ed una sua versione predetta, ottenuta a partire dal flusso precedentemente decodificato. La differenza é calcolata direttamente nel dominio dei coefficienti trasformati e quantizzati, al fine di garantire la perfetta uguaglianza fra il quadro decodificato utilizzando la rappresentazione primaria e il quadro decodificato utilizzando la rappresentazione secondaria. Lo standard prevede inoltre la definizione di Switching I picture, che sono utilizzati per commutare fra sequenze a contenuto completamente differente. Principi base per la codifica e decodifica dei quadri SP primari e secondari. Sia x mn l area da predire e sia X k1k 2 la sua rappresentazione nel dominio trasformato. Sia poi p (1) mn la versone predetta dal flusso 1 e sia P (1) (1) la sua rappresentazione nel dominio trasformato; sia inoltre P una versione quantizzata di quest ultima. Il codificatore calcola il residuo di predizione E (1) = X k1k 2 P (1), la relativa versione quantizzata Ẽ (1), che viene trasmessa insieme ai vettori spostamento nel quadro SP primario. Il decodificatore a partire dal flusso 1 ricostruisce X (1) k1k 2 = P + Ẽ(1). Si supponga ora che sia p (2) mn la versone predetta dal flusso 2 e sia P (2) la sua rappresentazione nel dominio trasformato; sia inoltre P (2) una versione opportunamente quantizzata di quest ultima a. Il codificatore calcola il residuo di predizione definito come E (2) = X k1k 2 P (2), che consente la ricostruzione esatta dei coefficienti X k1k 2 a partire dal flusso 2; tale residuo viene codificato insieme ai relativi vettori spostamento nel quadro SP secondario. Nel caso che si voglia abilitare la ricostruzione di Xk1k 2 non a partire dal flusso 1 di appartenenza ma dal flusso 2, si trasmette il quadro SP secondario. Il decodificatore a partire dal flusso 2 ricostruisce X k1k 2 = P (2) + E (2). a Le predizioni P (1) k 1 k e P (2) 2 k 1 k adottano la stessa quantizzazione, che in definitiva governa l efficienza di compressione dei quadri SP: 2 tanto piú essa é fine, tanto piú efficiente risulta la compressione dei quadri SP primari, a scapito dell efficienza di compressione dei quadri SP secondari.

8 10.3. FUNZIONALITÁ DI ROBUSTEZZA AGLI ERRORI DI H Figura 10.7: Uso di quadri SP per commutazione fra flussi differenti Funzionalitá di robustezza agli errori di H.264 H.264 include numerosi strumenti di robustezza agli errori, mutuati da sistemi precedenti, fra i quali citiamo la codifica a segmenti indipendenti (Slice), l Adaptive INTRA Refresh, il Data Partitioning. Oltre a tali strumenti l H.264 introduce tre nuovi strumenti che lo rendono più robusto e adatto alla trasmissione in ambienti di rete differenti, tanto fissi quanto mobili, ovvero il Flexible Macroblock Ordering (FMO) l Arbitrary Slice Ordering (ASO), l uso di Redundant Slices (RS), che saranno brevemente richiamati. Infine, ulteriori caratteristiche di robustezza sono dovute alla particolare architettura sintattica definita in H.264, in accordo alla quale alcune informazioni essenziali alla decodifica ma condivise a livello di sequenza o di quadro viaggiano in strutture sintattiche indipendenti dette Parameter Set, e possono essere protette in misura maggiore rispetto agli altri dati mantenendo un elevata efficienza di compressione.

9 124 CAPITOLO 10. LA RACCOMANDAZIONE JVT H.264/AVC Slice e Data Partitioning La struttura fondamentale prodotta dal video coder è la slice, che rappresenta un evoluzione del concetto di slice dell H.263 Annex K. Le slice di un quadro sono decodificabili independentemente, ma possono importare tessiture esterne ai confini della slice durante la fase di motocompensazione. Una slice può essere suddivisa in tre partizioni. La partizione A comprende sempre le informazioni di header, i vettori spostamento, i modi di codifica dei singoli macroblocchi. La Partizione B contiene le informazioni di tipo Intra e la Partizione C le informazioni di tipo Inter. In alternativa, tutti i dati possono essere inseriti in un unica partizione. L informazione sull adozione della modalità di Data Partitioning deve essere trasferita fuori banda. Ciascuna partizione inizia con una parola di codice che indica il tipo di partizione. Si osservi che un errore in tale campo può essere utilizzato per rivelare la perdita di dati ed attivare conseguentemente gli algoritmi di mascheramento dell errore, alla stessa stregua di un errore di numerazione di sequenza RTP o H.223-AL3 a livello di multiplexing. Il Flexible Macroblock Ordering e l Arbitrary Slice Ordering (ASO) Una Slice può essere costituita da macroblocchi adiacenti estratti in ordine lessicografico, oppure scelti secondo in ordinamento arbitrario, nella modalità Flexible Macroblock Ordering (FMO). Questa modalità di ordinamento dei macroblocchi rende il sistema di codifica più robusto rispetto alla perdita di slice. Usando la modalità FMO, le Slice possono rappresentare regioni di maggiore importanza visuale (Foreground Slice), ovvero regioni costituite da MB non adiacenti (Scattering Slice, Interleaving Slice). Infatti, la perdita di una Slice costituita da MB non spazialmente adiacenti può essere meglio fronteggiata con tecniche di mascheramento visuale degli errori e condurre ad una sequenza decodificata di migliore qualità visuale. Tale miglioramento della robustezza è pagato in termini di efficienza di compressione, che è lievemente ridotta a causa della minore efficacia dei meccanismi di predizione della Slice L opzione di codifica Arbitrary Slice Ordering (ASO) consente di utilizzare un ordine arbitrario di trasmissione delle Slice, anche su piú quadri della sequenza video, realizzando cosi una forma di interleaving a livello di applicazione. Le Redundant Slices L H.264/AVC prevede la possibilità di rappresentazioni ridondanti di Slice, o anche di quadri, particolarmente importanti. A differenza di una eventuale duplicazione introdotta dallo strato di rete, le Slice ridondanti utilizzano parametri di codifica differenti rispetto alla rappresentazione primaria. Il decoder utilizza tali Slice ridondanti solo quando la primary slice non é disponibile. Le Slice ridondanti sono particolarmente utili nel caso di trasferimento a pacchetto su rete mobile. La robustezza offerta dalle Slice ridondanti puó ulteriormente migliorare se adottata congiuntamente all interleaving di livello di applicazione realizzato mediante ASO La sintassi del VCL H.264 La sintassi del VCL H.264 é caratterizzata dal fatto che alcune informazioni pertinenti ai livelli di sequenza e di quadro sono trasmessi in strutture sintattiche distinte dal contenuto codificato vero e proprio. In particolare i parametri di 10.5 Affinché la Slice sia decodificabile in modo indipendente, il suo contenuto- vettori spostamento, macroblocchi INTRA- non puó essere predetto a partire da dati appartenenti ad altre Slice. Per tanto le tecniche di predizione possono essere applicate in misura minore, diminuendo l efficienza di compressione a vantaggio della robustezza agli errori.

10 10.4. LA SINTASSI DEL VCL H Figura 10.8: Aree dell immagine decodificata nel caso di perdita di una slice, al variare della dimensione e dell ordinamento dei macroblocchi. codifica condivisi a livello di sequenza e di quadro sono trasmessi utilizzando le strutture sintattiche dette Parameter Set. I contenuti codificati veri e propri sono organizzati nelle strutture sintattiche di Slice e di macroblocco. La architettura sintattica risultante é riassunta in Tabella Parameter Sets I Parameter Sets H.264, contenenti alcune informazioni essenziali alla decodifica ma condivise a livello di sequenza, possono essere trasmesse in banda o fuori banda, eventualamente in modo affidabile. I parameter Sets comprendono i Sequence Parameter Sets (SPS), i Picture Parameter Sets (PPS), Tali unità sintattiche contengono rispettivamente informazioni necessarie per la decodifica di un insieme di dati prodotti a livello di VCL o NAL (VCL o NAL Access Unit), corrispondenti ad una sequenza consecutiva di quadri (Sequence Parameter Set) o ad un quadro (Picture Parameter Set). Pertanto i Parameter Set convogliano, nel contesto H.264, l informazione tradizionalmente convogliata da Sequence header, Group-Of-Picture/Group-Of-VOP (GOP/GOV) header, o Picture/VOP header. I Sequence PS e i Picture PS sono trasferiti prima delle VCL Unit cui si riferiscono, tipicamente fuori banda, e utilizzando adeguati meccanismi di protezione. Tali informazioni sono condivise da più Slice, che le indirizzano mediante un elemento sintattico che identifica il Parameter Set appropriato. I Parameter set rendono il flusso non autocontenuto, ma presentano alcuni vantaggi: efficienza di compressione, in quanto lo scambio di parametri nella fase di capability exchange consente di

11 126 CAPITOLO 10. LA RACCOMANDAZIONE JVT H.264/AVC risparmiare la trasmissione ripetuta di alcune informazioni, per esempio a livello di quadro (e.g. di picture headers); robustezza, in quanto tali parametri possono essere protetti in modo molto piú accurato del flusso principale; sicurezza, in quanto la decodifica del bitstream è più ardua in assenza di tali parametri, e ciò consente di diminuire la protezione del flusso del video in un sistema protetto; flessibilità, in quanto a valle della fase di capability exchange, il costo del cambio dei parametri di codifica è contenuto, in quanto cambia solo l indirizzamento del parameter set corretto. Il codificatore e il decodificatore devono mantenere la sincronizzazione di un insieme di Parameter Sets, ciascuno dei quali convoglia le informazioni a livello di quadro o a livelli sintattici superiori. La sincronizzazione si stabilisce tipicamente per mezzo di protocolli di controllo all atto dell apertura del canale logico, e, nei sistemi più complessi, può essere gestita dinamicamente. Nel contesto di servizi conversazionali realizzati mediante H.323, H.324 e H.324/M (3G-324 M) essi sono trasferiti mediante la segnalazione H Nel contesto di servizi di streaming o di servizi conversazionali realizzati mediante pila di controllo SIP/SDP, essi sono trasferiti mediante i protocolli di controllo della sessione, tipicamente in formato SDP o MIME Sequence Parameter Set profile idc e level idc pic width in mbs, height in mbs num ref frames arbitrary slice order allowed flag, redundant pictures allowed flag seq parameter set id massimo numero di quadri, metodo di codifica del contatore d'ordine del quadro, modalità field o frame, con o senza adattamento. Picture Parameter Set pic parameter set id, seq parameter set id entropy coding mode flag (CAVLC, o CABAC). num slice groups, mb slice group map type numero di macroblocchi consecutivi assegnati al gruppo di slice, estremità di un gruppo di slice valore iniziale del parametro di quantizzazione (modificato da slice qp delta, o da mb qp delta), chroma qp index offset deblocking filter, constrained intra pred flag Slice Layer first mb in slice, slice type (P, B, I, SI, SP ) picparameter set id frame num, idr pic id redundant pic cnt, direct spatial mv pred flag slice qp delta, slice qs delta disable deblocking filter idc (tutti, nessuno, interni) numero di macroblocchi skipped Macroblock Layer mb type inter, intra, tipo di predizione (dimensione, direzione) CodedBlockPattern Chroma Luma mb qp delta, numero di coefficienti non nulli e il numero di trailing ones. Tabella 10.1: Strutture sintattiche utilizzate in H Profili e livelli del codificatore H.264 L H264 è stato disegnato per operare in applicazioni differenti in bit-rate, qualità, risoluzione e servizi. Per efficienza di implementazione esso presenta una suddivisione in profili estremamente semplificata. I profili introdotti nella prima fase di standardizzazione H.264 sono tre: il profilo Baseline, il profilo Main e il profilo Extended. I profili non sono esattamente gerarchici, nel senso che il baseline è un sottoinsieme del profilo extended, ma alcune modalità 10.6 E possibile anche utilizzare la segnalazione estesa H Il formato Multipurpose Internet Mail Extension (MIME) é stato definito in ambito IETF per cooperare con il protocollo SMTP al trasferimento di di dati di tipo composito, che utilizzassero, accanto al formato plain text, anche dati di tipo differente. Il formato si é evoluto consentendo la descrizione di dati via via piú complessi, corredati da parametri opzionali, fino a rappresentare un alternativa al protocollo SDP per la descrizione di dati di tipo multimediale.

12 10.6. IL NETWORK ADAPTATION LAYER H previste nel baseline non compaiono nel profilo main. Tale profili sono stati successivamente affiancati da profili per le applicazioni a qualitá molto elevata (Fidelity Range Extension, FRExt), per le quali H.264 si propone come successore di MPEG-2. Il profilo Baseline è destinato ad applicazioni con scansione progressiva in cui si richieda un ridotto ritardo di codecodifica, ad esempio videotelefonia, video-over-ip, le applicazioni mobili. Il profilo supporta alcuni strumenti di robustezza all errore, quali l FMO, l ASO e le RS. D altro canto non sfrutta gli strumenti più avanzati come i segmenti di tipo B, la predizione pesata, la codifica CABAC, i segmenti SP e SI. Il profilo Extended include tutti gli strumenti di codifica più efficiente (segmenti di tipo B, predizione pesata) e di robustezza all errore. Supporta i quadri SP e SI, finalizzati ad offrire scalabilità in bit-rate basata su flussi precodificati. E particolarmente appropriato per applicazioni di streaming su rete fissa e mobile. Non supporta il codificatore entropico CABAC. Il profilo Main è appropriato per una codifica efficiente sia dei formato progressivi che dei formati televisivi interallacciati. E destinato ad applicazioni in cui la probabilità di errori sui bit o di perdita di pacchetto siano contenuti, e non siano presenti restrizioni sul ritardo di co-decodifica. Contiene tutti gli strumenti del profilo base ad eccezione di quelli specificatamente finalizzati alla robustezza di trasmissione, quali l FMO, l ASO e le Redundant Slices. Sono inoltre presenti i segmenti di tipo B, la codifica CABAC e la predizione pesata. Oltre ai profili sopra definiti, l H.264 definisce un insieme di livelli e sottolivelli che stabiliscono diversi livelli di complessità del codec. Ciascun livello prevede dei limiti di capacità che possono essere indipendenti dal profilo, come la frequenza di quadro massima, la massima risoluzione, etc., ovvero dipendenti dal profilo, come il massimo numero di Slice per quadro Il Network Adaptation Layer H.264 Lo strato di adattamento alla rete, o NAL, ha l obiettivo di adattare il formato dei dati codificati alle caratteristiche del trasporto offerto dalla rete. La pacchettizzazione nativa operata dal NAL è esplicitamente disegnata per consentire il trasferimento dati tanto nella modalità a pacchetto che nella modalità a circuito, e per ridurre l impatto di errori dello strato di trasporto sul video decodificato. I formati di trasporto sono differenti, e fra essi citiamo i formati di trasporto byte-oriented, quali i sistemi H.222.0/MPEG-2 TS per servizi diffusivi e H.221 di H.320 per video conferenza su ISDN; il formato di multiplazione RTP/UDP/IP, per servizi di streaming, con attivazione via RTSP, http, WAP o MMS e servizi conversazionali a pacchetto, con controllo della sessione SIP/SDP o H.323; il formato di multiplazione H.223 Annex B di H.324, per servizi conversazionali a circuito, con controllo della sessione H.324 per videotelefonia e videoconferenza; i formati di file basati sul modello ISO MP4 per la memorizzazione e lo streaming su rete fissa e mobile. Per i formati di trasporto byte-oriented, quali i sistemi H.320 e MPEG-2/H per servizi diffusivi, lo standard prevede l adattamento delle NALU mediante l inserzione di Start Code di 3 o 4 byte in corrispondenza dei NALU header, secondo quanto descritto in H.264 Annex B.

13 128 CAPITOLO 10. LA RACCOMANDAZIONE JVT H.264/AVC Per i formati a pacchetto, non é applicato l Annex B, ed il NALU header é progettato per cooperare con l intestazione del pacchetto di rete. I formati sopra citati presentano una pila protocollare molto simile, e pertanto ci si riferirà d ora in poi alla pacchettizzazione RTP/UDP/IP. Il bit-stream codificato è organizzato in Slice. Ciascuna Slice costituisce il payload di una NALU. Il NALU header è costituito da un byte che contiene indicazioni sul tipo di dati trasportati nella NALU, sulla integrità dei dati, ed è progettato per integrare l header del pacchetto RTP nel caso di trasferimento a pacchetto Mentre nei sistemi byte-oriented ogni NALU contiene tre o quattro byte per la risincronizzazione del decoder in caso di errore, nel caso di trasferimento a pacchetto l inizio della NALU è identificato dall header del pacchetto RTP. L header della NALU è formato dai seguenti campi: FORBIDDEN BIT (F) (1 bit) indica l integrità della NALU segnalata dagli strati inferiori; NAL REFERENCE IDR (NRI) (2 bit) che segnala l importanza di una NALU per la ricostruzione del video; il valore a zero indica che la NAL Unit non e usata per la predizione e può essere scartata dal decoder o dagli elementi della rete senza propagazione di artefatti visuali; NALU TYPE (T) (5 bit) che consente di indirizzare 32 differenti tipi di NALU, di cui solo 12 definiti; fra i principali tipi di NALU segnaliamo i tipi Slice non partizionata, Partizione A, B o C, Parameter Set, Slice marcata per essere aggregata ad altre in un solo pacchetto RTP; i rimanenti sono riservati per usi futuri. Figura 10.9: Pacchettizzazione di NALU nella pila RTP/UDP/IP. Il Trasferimento delle unità NALU in un contesto di trasporto a pacchetto mediante l uso della pila di protocolli RTP/UDP/IP sfrutta l incapsulamento delle NALU in pacchetti RTP in modalità Simple Packetization (una NALU in 10.8 Si osservi che l header non contiene informazioni di sincronizzazione.

14 10.6. IL NETWORK ADAPTATION LAYER H un pacchetto RTP), Fragmentation (una NALU in diversi pacchetti RTP) o Aggregation (più NALU in un pacchetto RTP); la modalitá ottimale, ai fini di minimizzare l impatto della perdita di un pacchetto RTP sul video decodificato, dipende dal trasporto disponibile. In primo luogo, la dimensione delle NALU dovrebbe essere adattata alla dimensione della MTU della rete sottostante, in modo che il livello IP non frammenti il pacchetto RTP contenente la NALU. Poiché una slice è formata da un numero arbitrario di macroblocchi di un quadro, la lunghezza della Slice puó essere scelta in funzione della dimensione della Maximum Transfer Unit (MTU) della rete interessata dal trasferimento. Laddove la NALU ecceda la dimensione delle MTU delle reti sottostanti, è opportuno frammentare la NALU in diversi pacchetti RTP. Ció accade ad esempio quando il flusso trasmesso é di alta qualitá, e precodificato, oppure quando si voglia introdurre FEC su segmenti di dati appartenenti a pacchetti RTP di lunghezza fissa. Laddove una o più NALU siano molto piccole, come nel caso di NALU contenenti un Parameter Set, possono essere aggregate in un unico pacchetto RTP in modo tale da contenere l overhead dovuto alla trasmissione dell header del pacchetto RTP. Il meccanismo di aggregazione prevede che le NALU del pacchetto possano essere contrassegnate da un unico riferimento temporale, dando luogo ad un Single Time Aggregation Packet (STAP), o da differenti riferimenti temporali, dando luogo al Multi Time Aggregation Packet (MTAP).

15 Bibliografia [1] T. Wiegand, G.J. Sullivan, G. Bjøntegaard, A. Luthra, Overview of the H.264/AVC video coding standard, IEEE Trans. on Circuits and System for Video Technology, Vol. 13, pp , July [2] S. Wnger, H.264/AVC over IP, IEEE Trans. on Circuits and System for Video Technology, Vol. 13, pp , July [3] RFC 3984, RTP Payload Format for H.264 Video, Wenger S. et al., February [4] T. Stockhammer, M.M. Hannuksela, T. Wiegand, H.264/AVC in Wireless Environment, IEEE Trans. on Circuits and System for Video Technology, Vol. 13, pp , July