RETI INTERNET MULTIMEDIALI Codifica e Compressione del Video: H.264 e HEVC Il documento è adattato da materiale cortesemente messo a disposizione dal Prof. Stefano Paris
H.264 (MPEG-4 Part 10 AVC) ITU-T H.264, MPEG4 Part 10 (ISO/IEC 14496-10 AVC), AVC (advanced video codec) 1998: Avviato come ITU-T Q.6/SG16 (VCEG - Video Coding Experts Group) H.26L Dicembre 2001: Formazione del Joint Video Team (JVT) tra VCEG e MPEG per finalizzare H.26L come progetto congiunto Maggio 2003: pubblicazione dello standard sul sito ITU-T http://www.itu.int/rec/... Obiettivi: Incremento significativo nell efficienza della codifica Robustezza rispetto agli errori e network readiness Capacità di lavorare con obiettivi di bassa latenza (qualità migliore a latenza maggiore)
Applicazioni H.264 Entertainment Video (1-8+ Mbps, alta latenza): Broadcast / Satellite / Cable / DVD / VoD / FS-VDSL / Servizi conversazionali H.32 (usu. <1Mbps, bassa latenza): H.320 Conversazionale 3GPP Conversazionale H.324/M H.323 Conversazionale Internet/unmanaged/best effort IP/RTP 3GPP Conversazionale IP/RTP/SIP Streaming (bit rate inferiore, latenza maggiore): 3GPP Streaming IP/RTP/RTSP Streaming IP/RTP/RTSP
H.264: caratteristiche distintive Negli standard precedenti la codifica delle frame INTRA derivava dalla codifica dei campioni della frame stessa In precedenza: Codifica INTRA utilizza molti bit Qualità povera della codifica INTRA (quantizzatori grezzi per risparmiare sul numero di bit) In H.264, la codifica INTRA è la codifica dell errore basato su una predizione spaziale applicata all interno della medesima frame (non più DCT dei campioni) Predizione spaziale nella stessa frame per ridurre la quantità di bit della codifica INTRA Blocchi di dimensione variabile per una migliore predizione spaziale Dettagli: Codifica senza perdita (I_PCM) Metodi di codifica INTRA differenziati per luma (INTRA_16x16, INTRA_4x4) e chroma (INTRA_8x8) Predittori diversi per ciascuna codifica (fino a 9) Predizione spaziale fra i bordi di blocchi adiacenti per codifica "intra
H.264: caratteristiche distintive Multi-picture motion compensation Può usare fino a 32 frame differenti per la predizione di una frame Le B-frame di MPEG-2 ne usano solo 2 Variable block-size motion compensation Da 4x4 a 16x16 pixel per luminanza Sottocampionamento per crominanza 4:2:0: macroblocchi 16x16 luminanza + 2 x 8x8 crominanza Consente una segmentazione precisa dei bordi delle regioni in movimento Precisione di un quarto di pixel per la motocompensazione Predizione pesata (può scalare o spostare il blocco predetto) Utile per fade-to-black o cross-fade tra scene Scelta tra molteplici più avanzati schemi di codifica context-aware di lunghezza variabile (in alternativa a Huffman)
H.264: caratteristiche distintive Macro-blocchi di dimensione variabile
H.264: caratteristiche distintive Macro-blocchi di dimensione variabile
H.264: caratteristiche distintive Precisione di un quarto di pixel per motocompensazione
H.264: caratteristiche distintive Predizione blocchi 4x4
H.264: caratteristiche distintive Predizione blocchi 16x16
Struttura H.264 Macroblock: area rettangolare di 16x16 pixel Slice: numero intero di macroblocchi contigui che può essere decodificato indipendentemente
H.264 (MPEG-4 Part 10 AVC) Tipicamente bitrate dimezzato rispetto ad MPEG-2 HDTV: MPEG-2: 1920x1080 tipicamente 12-20 Mbps H.264: 1920x1080 tipicamente 7-8 Mbps Usato in MacOS e da Video ipod Adottato tra 3GPP per il Mobile Video Obbligatorio in HD-DVD e Blu-ray High Definition DVD
Codifica H.264 Input Video Signal Coder Control Control Data Split into Macroblocks 16x16 pixels - Decoder Transform/ Scal./Quant. Inv. Scal. & Transform Quant. Transf. coeffs Entropy Coding Intra/Inter Intra-frame Prediction Motion- Compensation De-blocking Filter Output Video Signal Motion Estimation Motion Data
Profili H.264 Sono previsti 4 profili: Baseline, Main, Extended, High Baseline (videoconferenza e wireless) Picture di tipo I e P (no B) Filtro deblocchettizzante Moto-compensazione a 1/4-di campione Segmentazione gerarchica con blocchi minimi di 4x4 pixel Codifica entropica VLC-based: CAVLC (Context-based Adaptive Variable Length Coding) Alcune funzioni di resilienza ad errori Ordine flessibile dei macroblocchi Ordine arbitrario delle slice Slice ridondati
Profili H.264 Main (broadcast e video storage) Tutte le caratteristiche del profilo Baseline ad eccezione delle funzioni di resilienza ad errori (Main non è un superset di Baseline) Picture B CABAC (Context-based Adaptive Binary Arithmetic Coding) per la codifica entropica Trasformate a blocchi adattativi MB-level frame/field switching Pesatura adattativa per la predizione di picture B e P Extended (streaming video) Tutte le caratteristiche del profilo Baseline (Extended è un superset di Baseline) Picture B Resilienza ad errori potenziata: data partitioning SP/SI: picture di tipo I e P speciali per consentire lo spostamento rapido lungo il filmato
Profili H.264 High (distribuzione di livello studio TV) Trasformate su blocchi più estesi 8x8 transform Drop 4x8, 8x4, or larger, 16-point Modalità di predizione intra-frame filtrata su blocchi 8x8 Matrice di quantizzazione 4x4, 8x8, intra, inter trans. coefficients weighted differently Codifica con diverse condizioni di colore 4:4:4, 4:2:2, 4:2:0, Monochrome Nuova trasformata per campioni di colore
Profili H.264 Baseline Main Extended High I & P Slices Deblocking Filter ¼ Pel Motion Compensation Variable Block Size (16x16 to 4x4) CAVLC/UVLC Error Resilience Tools Flexible MB Order, ASO, Red. Slices SP/SI Slices B Slice Interlaced Coding CABAC Data Partitioning
Profili H.264
Banda e spettro H.264 Format Source coding Video data rate (Mbit/s) Programme associated data (Mbit/s) Total data rate for one programme (Mbit/s) SD H.264/AVC 1.80 0.85 2.65 HD 720p/50 H.264/AVC 7.00 0.85 7.85 HD 1080i/25 H.264/AVC 7.50 0.85 8.35 HD -1080p/50 H.264/AVC 10 0.85 10.85 Numero di programmi per multiplex (fixed Multi Frequency Network, Fixed Single FN and portable SFN mode con DVB T2 e multiplazione statistica): Number of programmes per multiplex Fixed MFN DVB-T2 Fixed SFN DVB-T2 Portable SFN DVB-T2 SD H.264/AVC 18 16 12 HD 720p/50 H.264/AVC 6 5 3 HD 1080i/25 H.264/AVC 5 5 3 HD 1080p/50 H.264/AVC 4 3 2
H.264/MPEG-4 Part 10 - AVC (Advanced Video Coding) Struttura a tre livelli: Video Coding Layer (VCL): Come comprimere il video Network Abstraction Layer (NAL): Come strutturare il bitsream per la pacchettizzazione in modo da sostenere la resilienza rispetto agli errori Transport Encapsulation Layer (TEL): Come mappare le strutture NAL sul protocollo di trasporto
H.264/MPEG-4 Part 10 - AVC (Advanced Video Coding) Flexible Macroblock Ordering (FMO) Switching I Frames (SI), Switching P Frames (SP) RBSP (Raw Byte Sequence Payload), EBSP (Encapsulate Byte Sequence Payload) SEI (Supplemental Enhanced Information)
Trasporto di H.264 su RTP IETF RFC 6184 RTP Payload for H.264 Video IETF RFC 3550 RTP: A Transport Protocol for Real-Time Applications
Trasporto di H.264 su RTP V (2 bits): RTP Protocol Version (=2) P (1 bit): (Payload) Uguale a 1 se il pacchetto contiene uno o più ottetti di riempitivo che non fanno parte del payload (1 bit): (Extension) Se =1 l intestazione DEVE essere seguita da una Header Extension CC (4 bits): Il CSRC Count contiene il numero di identificativi CSRC a valle dell header fisso M (1 bit): L interpretazione del Marker è definita dal profilo ha lo scopo di consentire di marcare eventi significativi nel payload, es. I confini di una frame Payload Type (7 bits): Identifica il formato del payload RTP e l interpretazione dell applicazione Sequence Number (16 bits): Il Sequence Number incrementa di 1 ogni pacchetto RTP inviato e può essere usato dal ricevente per rilevare perdite e ripristinare la sequenza (valore iniziale casuale) Timestamp (32 bits): Il Timestamp è l istante di campionamento del primo ottetto nel payload RTP. DEVE essere derivato da un clock che incrementa linearmente in modo monotono per consentire sincronizzazione e calcolo del jiiter SSRC (32 bits): Identifica la Synchronization Source scelto casualmente per evitare che due sorgenti abbiano lo stesso ID CSRC (32 bits): Identificativo delle sorgenti che contribuiscono al payload contenuto nel pacchetto RTP Padding (M bytes): Padding bytes aggiunti per raggiungere una dimensione minima del pacchetto
Trasporto di H.264 su RTP La sintassi seguente è applicabile solo a pacchetti video RTP H.264: F (1 bit): Se uguale a 0 indica che l ottetto NAL Unit Type e il payload non devono contenere errori o violazioni di sintassi. Se uguale a 1 indica che l ottetto NAL Unit Type e il payload possono contenere errori o violazioni di sintassi NRI (2 bits): Un valore 00 indica che il contenuto della NAL Unit non è usato per ricostruire immagini di riferimento per predizione interpicture valori maggiori di 00 indicano che la decodifica della NAL Unit è richiesta per mantenere l integrità delle immagini di riferimento NAL Unit Type (5 bits): I valori del NAL Unit Type nell intervallo 0-23 sono gli stessi della Racc. ITU-T H.264 Per valori nell intervallo 24-29 vedere RFC 6184 Table 3 Raw Byte Sequence Payload (N bytes): una sequenza di byte che costituiscono l H.264 video NAL bitstream La sintassi seguente si applica solo a pacchetti RTP AAC Audio: Audio Data Transport Stream (1024 bytes): una sequenza di byte che costituiscono l AAC audio bitstream http://www.itu.int/rec/t-rec-h.264-201304-s https://tools.ietf.org/html/rfc6184
Trasporto di H.264 su RTP
HEVC: High-Efficiency Video Coding Iniziativa di standardizzazione congiunta di ISO- IEC/MPEG e ITU-T/VCEG: JCTVC Successore di H.264/MPEG AVC ITU- H.265 e ISO- MPEG H Part 2 Obiettivi Guadagno di compressione oltre il 50% rispetto a H.264/AVC Complessità massima x10 per l encoder e x2/3 per il decoder A gennaio 2013 FDIS (Final Draft International Standard) https://research.technicolor.com/rennes/wp-content/uploads/publications/pub_100.pdf
Piano temporale
Integrazione con il system/transport layer NAL: Network Abstraction Layer PES: Packetized Elementary Stream PSI: Program Specific Information ULE: Ultra Light Encapsulation MPE: Multi-Protocol Encapsulation GSE: Generic Stream Encapsulation
Risoluzione
Ancora un codificatore ibrido Molto simile a codificatori ibridi tradizionali, ma con flessibilità addizionali e ottimizzazioni importanti Sample Adaptive Offset
H.264/AVC e HEVC a confronto
Confronto MPEG-2, H.264 e HEVC
Cosa definiscono gli standard? Gli standard di codifica e compressione del video (secondo le convenzioni adottate in MPEG) non specificano come deve essere l encoder o il decoder Specificano solo la sintassi del bitstream e il processo di decodifica (es. si usa la IDCT ma non come deve essere implementata) Implicitamente, attraverso la specifica del processo di decodifica, si definisce in certa misura il decoder Questa impostazione consente ai vendor di differenziare i propri prodotti, assicurando l interoperabilità multivendor Encoder bitstream Decoder Ambito indirizzato dagli standard di codifica video Processo di decodifica
Video scalabile Temporale: cambio il frame rate 30 Hz 15 Hz 7.5 Hz Spaziale: cambio la dimensione della frame (risoluzione) QCIF CIF TV Fedeltà: cambio la qualità (es SNR) grezzo accettabile
Data stream 2048 kbit/s Video scalabile: esempio Scalable video encoder QCIF @ 7,5 Hz scena 32 kbit/s 256 kbit/s 512 kbit/s 2048 kbit/s video decoder Sc. video decoder Sc. video decoder Sc. videodecoder CIF @ 15 Hz CIF @ 30 Hz TV @ 60 Hz
Approfondimenti Link: http://www.itu.int/rec/t-rec-h.261-199303-i/en Articoli: Ming Liou, Overview of the px64 kbits/s Video Coding Standard. Communications of the ACM, vol. 34, no. 4, pp. 59-63, April 1991. D. LeGall, MPEG: a Video Compression Standard for Multimedia Applications. Communications of the ACM, vol. 34, no. 4, pp. 46-58, April 1991.