RETI INTERNET MULTIMEDIALI

Transcript

1 RETI INTERNET MULTIMEDIALI Codifica e Compressione del Video: Introduzione, H.261 e H.263 Il documento è adattato da materiale cortesemente messo a disposizione dal Prof. Stefano Paris

2 Introduzione I formati di compressione per contenuti audio e video introducono nuovi elementi per aumentare il rapporto di codifica Codifica nello spazio e nel tempo Coordinamento per la sincronizzazione audio e video Esistono numerosi standard specifici per diverse applicazioni multimediali Internet streaming (Digital TV broadcasting, VoD, etc.) Video conference

3 Introduzione Standard di compressione video Standard Applicazione Rate Raster Motion JPEG Camcoders 30 Mbps Digital Video Camcoders 25 Mbps 720 x 480 H.261 Video Interattivo su ISDN 64 kbps H.263 Video Interattivo su reti a pacchetto kbps MPEG-1 Streaming Video (VCR quality) Fino 1.5 Mbps 352 x 240 MPEG-2 Streaming Video (Broadcast quality) MPEG-4 (H.26L) Video su dispositivi low-rate 4-15 Mbps 704 x 480 > 32 kbps HDTV Televisione ad alta qualità 20 Mbps 1920 x 1080

4 Standard codifica video Gli standard della codifica video sono stati sviluppati da ITU (organismo di stampo telefonico) e da ISO (organismo di stampo informatico)

5 Standard codifica video Transizione da MPEG-2 a H.264/AVC Miglioramento delle prestazioni 2:1 Nuova generazione H.265/HEVC in sviluppo 30-50% miglioramento prestazioni Ancora più complesso

6 Introduzione Standard delle dimensioni delle immagini Common Intermediate Format (CIF) Formato Immagine Matrice Luminanza (HxV) Bit Rate a 30 fps SQCIF 128 x Mbps QCIF 176 x Mbps CIF 352 x Mbps 4CIF 704 x Mbps 16CIF 1408 x Mbps

7 Dimensione delle immagini Gli standard hanno definito diverse risoluzioni per le applicazioni TV, HDTV e videoconferenza Es. H.261 specifica l impiego di formati CIF e QCIF organizzati in un modo ben definito Risoluzione TV GOB: Group Of Blocks 176 x x 288 QCIF CIF

8 VIDEO COMPRESSO Motion JPEG, Digital Video

9 Motion JPEG Motion JPEG è una semplice applicazione di JPEG per realizzare video: non è standardizzata Si codifica ogni frame della successione che rappresenta il video con uno degli algoritmi JPEG Il rapporto di compressione è molto contenuto in quanto non si sfrutta il contenuto informativo ridondante presente in frame successivi (codifica iterframe) Es. 30 fps 30Mbps L implementazione è molto semplice in quanto si possono riutilizzare algoritmi e strutture dati di JPEG Semplifica editing, memorizzazione, reverse play

10 Motion JPEG F1 F2 F4 F3 JPEG Data Stream

11 Digital Video Digital Video (DV) è una versione migliorata di Motion JPEG utilizzato da videocamera Viene eseguita un ottimizzazione locale della tabella di quantizzazione utilizzata per i coefficienti della DCT per codificare più efficacemente parti del frame Utilizza, come la televisione, frame composte da linee interlacciate per migliorare la velocità di visualizzazione Produce un flusso dati con un rate di 25 Mbps, che aumenta fino a 29 Mbps con l aggiunta di tecniche di correzione degli errori

12 Digital Video

13 Digital Video

14 Digital Video

15 Digital Video F1 F2 F3 F4 DCT X uv /D uv Scaled DCT Coefficients Scaling Coefficients D uv

16 Digital Video F1 8x8 F2 8x8 8x8 DCT interleaved

17 Digital Video F1 8x8 F2 8x DCT Field 1 Field 2

18 Digital Video

19 VIDEO CONFERENZA H.261, H.263

20 Introduzione H.261 e H.263 sono due standard ITU-T per applicazioni di videoconferenza real-time in reti con rate di trasmissione contenuti H.261 per connessioni a rate costante ISDN H.263 per reti a pacchetto Entrambi utilizzano risoluzioni minori rispetto a MPEG-1 e MPEG-2 Entrambi i formati di codifica appartengono ai gruppi H.320 e H.323 definiti per multimedia conference

21 Introduzione A differenza degli standard MPEG, H.261 e H.263 sono stati sviluppati per applicazioni interattive bidirezionali I ritardi in entrambe le direzioni devono essere comparabili e contenuti Non si fa alcuna assunzione sulla tipologia di canale di trasmissione (full-duplex, half-duplex, etc.) La complessità implementativa per la codifica e la decodifica deve rimanere contenuta Codifica e decodifica simmetriche DCT per compressione delle immagini e codifica motioncompensated inter-frame

22 H.261 H.261 supporta due tipi di risoluzione: CIF e Quarter CIF (QCIF) Le componenti di crominanza C r e C b hanno una risoluzione dimezzata rispetto alla luminanza Y Il frame rate nominale di H.261 è pari a fps, riducibile fino a una fattore 4 Resolution Component Horizontal Vertical CIF QCIF Luminanza Crominanza Luminanza Crominanza 88 72

23 Applicazioni H.261 Videotelefonia: Risoluzione video e frame rate: CIF,QCIF; frame-rate (7.5), 10, (25), 30 fps Bit-rate: 48-96kbit/s Audio bit-rate: kbit/s Videoconferenza: Risoluzione video e frame rate: CIF; frame-rate (25), 30 fps Bit-rate: kbit/s Audio bit-rate: 64 kbit/s Lavoro cooperativo: Risoluzione video e frame rate: QCIF; frame-rate (7.5), 10 fps Bit-rate: 48kbit/s Audio bit-rate: kbit/s

24 Caratteristiche tecniche di H.261 Data rate (p x 64) kbps: 64Kbps (p=1) < data rate < 1920Kbps (p=30) Codifica ibrida DCT-DPCM Codifica operante su macroblocchi 16x16: INTRA: codifica senza predizione INTER: codifica dell errore di predizione dopo motion estimation/compensation NB: Alcuni macroblocchi sono forzati alla sola codifica INTRA per evitare la propagazione dell errore, ma non è possibile navigare nella sequenza perché la sola frame interamente codificata INTRA è la prima Per i macroblocchi codifica INTER: motion estimation e motion compensation su macroblocchi di 16x16 pixel; finestra di ricerca +/-15 pixel Trasformata DCT su blocchi 8*8 seguita da quantizzazione scalare Codifica entropica: run-length seguito da codifica di Huffman

25 Strutture dati di H GOB QCIF CIF MB Cb Cr Y

26 H Codifica Inter-frame JPEG

27 H Codifica I dati che compongono l immagine sono elaborati in macro-blocchi: 4 blocchi 8x8 dei coefficienti di luminanza Y 1 blocco dei coefficienti di crominanza C r 1 blocco dei coefficienti di crominanza C b I macro-blocchi sono soggetti a due tipi di codifica: Intra-frame: codifica spaziale Inter-frame: codifica temporale (motion prediction)

28 H.261 Codifica Intra-frame Ognuno dei blocchi 8x8 di luminanza e crominanza DCT: coefficienti trasformati con DCT Quantizzazione: output della DCT quantizzato Entropy coding: coefficienti quantizzati vengono codificati utilizzando uno schema lossless Il processo è del tutto simile a quello eseguito da JPEG sequenziale Una copia di ogni blocco viene ricostruita per ricreare una copia del frame originale Rescaler: inverso della quantizzazione IDCT: inverso della DCT

29 H.261 Codifica Intra-frame

30 H.261 Quantizzazione La quantizzazione in H.261 usa uno step_size costante per tutti i coefficienti DCT in un macroblocco Se usiamo DCT e QDCT per indicare i coefficienti DCT prima e dopo la quantizzazione i coefficienti DC Intra mode valgono: DCT QDCT round round DCT step _ size 8 Mentre gli altri coefficienti (AC): QDCT DCT DCT step _ size 2* scale In cui step_size è un intero [1,31].

31 H.261 Codifica Inter-frame La replica di ogni blocco ricostruita a partire dai coefficienti quantizzati è inserita nel frame store Dalle repliche dei blocchi si ricrea una replica del frame originale La replica del frame originale viene utilizzata come riferimento dall algoritmo di predizione per predire il successivo frame I dati trasmessi alla destinazione sono quindi composti da: Coefficienti della DCT Dati di movimento generati dall algoritmo di predizione

32 H Codifica Inter-frame La compressione Inter-frame si basa sulla compressione Intra-frame: Si codifica la differenza tra il frame corrente e quello immediatamente precedente anziché i dati grezzi Compressione Inter-frame Calcola le differenze tra blocchi dei due frame Utilizza motion estimation per codificare cambiamenti minimi come un vettore DCT - Quantizzazione - Entropy Coding sulla matrice che rappresenta le differenze

33 H Codifica Inter-frame Generalmente l informazione contenuta nel frame ottenuto dalla differenza di due frame successivi è nettamente inferiore a quella contenuta nel secondo frame F D = F 2 F 1 Il movimento aumenta le differenze tra due frame successivi Codificare il movimento come un vettore Codificare le differenze del blocco spostato con il classico schema DCT- Quantizzazione Entropy Coding

34 H Codifica Inter-frame Per tutti i frame successivi al primo, si esegue una predizione di ogni nuovo macro-blocco con uno dei macroblocchi nel frame precedente L algoritmo di motion-compensation si occupa di determinare quale macro-blocco del precedente frame rappresenta il miglior predittore per il frame corrente Macro-blocco composto da 256 (16x16) campioni di luminanza e da 2x64 (2x8x8) di crominanza H.261 individua il miglior predittore come il macro-blocco del frame precedente che minimizza la differenza tra i macroblocchi del frame corrente e quelli del frame precedente

35 H Codifica Inter-frame Per ogni macro-blocco viene generato un vettore di movimento L algoritmo di predizione deve cercare tra tutti i macro-blocchi del frame precedente quelli che occupano una posizione vicina rispetto al macroblocco del frame corrente Non è detto che il macroblocco precedente scelto per codificare il vettore indichi un movimento La ricerca del miglior predittore è un operazione complessa (richiede molta potenza di calcolo) Lo standard non specifica come eseguire la ricerca

36 H Codifica Inter-frame L algoritmo di predizione commette un errore di predizione Errori dei valori di luminanza e crominanza tra il frame corrente e quello predetto Errore codificato utilizzando lo schema DCT Quantizzazione Entropy Coding Il valore dell errore determina l informazione trasmessa: Basso (ε < th 1 ): solo vettore di movimento Medio (th 1 < ε < th 2 ): vettore di movimento ed errore di predizione Alto (ε > th 2 ): solo intra-frame (motion compensation controproducente)

37 H Codifica Inter-frame Difference image (= (with 0 without motion) motion) compensation) + - DCTencoder channel DCTdecoder Frame Motion compensation store Motion estimation Motion vectors

38 H Codifica Inter-frame

39 Stima del Moto Informazione di moto per ogni macroblocco di 16*16 Vettore di movimento ottimo? Investigare tutte le posizioni in una finestra di ricerca; Selezionare quella con il minimo Mean Square Error; Vettore di movimento = traslazione corrispondente Non standardizzato

40 Predizione e motocompensazione Quando c è movimento la semplice differenza tra frame fallisce Soluzione praticabile: dividere la frame in blocchi contigui e non sovrapposti e descrivere il movimento di ogni blocco Predizione del movimento e compensazione riducono l errore di predizione, aumentando la compressione

41 Predizione e motocompensazione

42 Schema a blocchi della codifica H.261 Start Frame Does the macroblock need to be forced intra? yes no Integer Pixel Motion Search Macroblocks loop Did the Motion Estimation find a good match? no yes Encode INTRA Encode INTER End Frame

43 H.261 Buffer Management La quantità di informazione del flusso video codificato varia nel tempo (tra frame successivi) ed è funzione di diverse componenti: Complessità del frame Movimento Il canale su cui viene trasmesso il flusso video ha un rate di trasmissione costante (CBR) Il buffer può essere soggetto a overflow se non gestito correttamente

44 H.261 Buffer Management L algoritmo di gestione del buffer evita l overflow L algoritmo agisce sugli intervalli di quantizzazione modificando opportunamente i coefficienti di quantizzazione Se la dimensione del buffer supera una determinata soglia t 1, la dimensione degli intervalli si allarga Aumenta il rapporto di compressione Diminuisce la qualità del video Se la dimensione del buffer scende sotto una soglia t 2, la dimensione degli intervalli si riduce Diminuisce il rapporto di compressione Aumenta la qualità del video

45 H Decodifica Buffer Compressed image data Entropy Decoder Rescaler IDCT + + Video Frame Motion Vector Motion Compensation Frame Store

46 H Decodifica Decodifica esegue le operazioni inverse della codifica in ordine inverso Vengono generati 2 frame I macro-blocchi degli errori sono decodificati utilizzando lo schema Entropy Decoding Rescaler IDCT per generare la replica del frame delle differenze Utilizzando l ultimo frame decodificato e il vettore di movimento contenuto nel frame corrente si genera un frame di riferimento (motion-compensated reference frame) La somma dei due frame precedenti permette di generare una replica del frame originale

47 H.261 Schema completo codificatore

48 H.261 Schema completo decodificatore

49 H Bitstream Formato del flusso video codificato (bitstream)

50 H Bitstream Struttura gerarchica Ogni frame contiene molti GOB (Group Of Block) Ogni GOB contiene a sua volta molti macro-blocchi (4:2:0) Ogni macro-blocco contiene i 6 blocchi 8x8 di luminanza e crominanza e il vettore di movimento Ogni blocco contiene i coefficienti della DCT codificati GOB (Group of Blocks) Contiene diversi macro-blocchi Utilizzato per la sincronizzazione con il flusso video

51 Struttura video H.261 formato CIF Ogni sequenza video è organizzata in frame Ogni frame (o picture) è organizzata in: 12 (2 x 6) Group of Block (punti di sincronizzazione) composti ciascuno da 11x3 macroblock Macroblock (motion estimation) (4 luminance block + 2 chrominance block, poichè 4:2:0) Block (DCT) (8x8 pixel) Group Of Blocks MacroBlock DCT block CIF (352x288) (2 x 6) GOB ciascuno (11 x 3) Macroblock Totale frame (22 x 18 Macroblock)

52 H.263 Evoluzione di H.261 Definito per applicazioni con bassi rate di trasmissione Utilizzato in applicazioni Internet-based con vincoli stringenti sul rate di trasmissione (es. Modem Kbps) Il progetto è derivato da H.261, ma sono introdotte nuove tecniche per migliorare il rapporto di compressione H.263 Versione 1 (1996) composto da una versione Baseline con quattro opzioni negoziabili (Unrestricted Motion Vectors Mode, Advanced Prediction Mode, PB Frame Mode, Syntax-based Arithmetic Coding Mode) H.263 Versione 2 (1998) e Versione 3 (2000), denominate anche H.263+ e H comprendono la Versione 1 oltre ad altre opzioni negoziabili che migliorano il rapporto di compressione e la qualità del video su reti con trasporto inaffidabile (reti a pacchetto e wireless)

53 H.263 H.263 utilizza half-pixel prediction per i vettori di movimento (a differenza della full-pixel utilizzata da H.261) Il vettore di movimento può cadere tra due pixel (il cui valore è ottenuto dalla loro interpolazione) Sono definiti i seguenti 4 miglioramenti Unrestricted Motion Vectors (vettori di movimento che possono cadere oltre la fine del frame) Arithmetic Coding Motion vector separati per ogni blocco di luminanza all interno di un macroblocco Bidirectional Coding Si utilizzano tutti i 5 formati CIF

54 Formati H.263

55 Struttura video H.263 Ogni sequenza video è organizzata in frame:...ipppp I... (alternanza di Intra Picture intercalate da Predicted Picture) Ogni frame è divisa in: Group of Blocks (punti di risincronizzazione). I GOB sono composti da un numero variabile di macroblocks in dipendenza della risoluzione (i.e. per CIF: 1 GOB = 1 riga di 22 macroblock) Macroblock (motion estimation) (composto da 4 blocks of luminance + 2 blocks of chrominance)» Block (DCT) 8x8 pixel Group Of Block MacroBlock DCT block

56 Schema a blocchi codifica H.263 baseline Start Frame I-picture P-picture MB-INTRA Macroblocks loop Integer Pixel search Macroblocks loop MB-INTRA MB-INTER Half-Pixel search MB-INTRA MB-INTER End Frame

57 Confronto H.261 H.263

58 H.263+ e H H.263+ Seconda versione di H.263 Ridefinisce l unrestricted vector mode Si usa la struttura Slice per rimpiazzare i GOB Implementa scalabilità temporale, SNR e spaziale Supporta modalità evolute per le PB-frame Usa filtri per ridurre effetto dei blocchi H L estensione più recente Enhanced Reference Picture Selection (ERPS) Data Partition Slice (DPS)