Di Carlo Frediano Maria.

Transcript

1 Di Carlo Frediano Maria

2 Immagini Video Risoluz. Standard NTSC = National Television System Committee (Standard US) 704 x 480 x 30 fps = pixel per second PAL = Phase Alternating Line (Standard EU) 704 x 576 x 25 fps = pixel per second Codifica Colore a 16 bit ( combinazioni) Frame Rate = bps 162 Mbps 2

3 Enti Standardizzatori Standard MPEG Motion Picture Expert Group (ISO/IEC) Progettati principalmente per rispondere ai requisiti di: Salvataggio di filmati (DVD); Broadcast video (broadcast TV); Invio di flussi video su rete (Internet, xdsl, Wireless, ecc.). Standard ITU-T International Telecommunication Union Progettati principalmente per applicazioni con comunicazioni real-time, quali: Videoconferenze; Videotelefonia. Si potrebbe dire che per diversi anni MPEG ha curato più la qualità dei filmati mentre ITU-T più le performance di trasmissione. 3

4 Timeline degli Standard di Compressione e Trasmissione 4

5 Timeline dello Standard JPEG Joint Photographic Expert Group ITU-T: T Information technology Digital compression and coding of continuous-tone still images Requirements and guidelines. ISO/IEC: Information technology Digital compression and coding of continuous-tone still images Requirements and guidelines. 5

6 Gli Standard H.26x H.120 Primo standard di compressione video pubblicato nel La qualità video era molto bassa, il throughput pari a Kbps in PAL e Kbps in NTSC. È considerato di fatto il precursore degli standard H.26x. H.261 Progettato per trasmissioni su linee ISDN px64 Kbps. In grado di operare tra 40 Kbps e 2 Mbps. Supporta solo due differenti formati: CIF Common Intermediate Format (352x288 pixel PAL); QCIF Quarter-CIF (174x144 pixel PAL); Con una revisione del 1993 è stato introdotto il formato 4CIF Quadri- CIF (704x576 pixel PAL). 6

7 Gli Standard H.26x H.262 Coincidente con la parte video di MPEG-2 (ISO/IEC ). H.263 Progettato per trasmissioni su linee telefoniche (PSTN) con bitrate molto bassi (< 64 Kbps). Rappresenta la parte video degli standard H.324 (videoconferenza su reti commutate), H.323 (videoconferenza su reti IP), H.320 (videoconferenza su ISDN), RTSP (real-time streaming protocol) e SIP (Session Initiation Protocol, per videoconferenze su Internet). Dispone di 4 modalità operative opzionali. 7

8 Gli Standard H.26x H.263+ Nel 1998 è stata introdotta la versione H.263v2, nota come H.263+, come estensione della precedente. Mantiene tutte le caratteristiche della precedente alle quali ne aggiunge delle altre specificate in ben 13 distinti annessi. Tra le caratteristiche aggiuntive principali si trovano: 12 modalità operative negoziabili; bit-rate scalabile; dimensioni del fotogramma e della frequenza di clock personalizzabili; maggior robustezza contro la perdita di dati in trasmissione. H.264 Coincidente con la parte video avanzata di MPEG-4 (ISO/IEC ). 8

9 Gli Standard MPEG MPEG-1 (ISO/IEC 11172) 1993 Coding of moving pictures and associated audio for digital storage media at up to about 1,5 Mbit/s. MPEG-2 (ISO/IEC 13818) 1994 Generic coding of moving pictures and associated audio information. MPEG-4 (ISO/IEC 14496) 1999 Coding of audio-visual objects. MPEG-7 (ISO/IEC 15938) 2002 Multimedia Content Description Interface. MPEG-21 (ISO/IEC 21000) 2003 Multimedia Framework. 9

10 Riferimenti MPEG Motion Picture Expert Group Fondato nel 1988 da un gruppo di ricercatori di cui, tra i promotori era presente Leonardo Chiariglione, allora dipendente CSELT (oggi Telecom Italia Lab), oggi professionista autonomo di fama internazionale. Nell anno di fondazione il gruppo di lavoro, in ambito ISO, corrispondeva a TC97/SC2/WG8/MPEG (Technical Committee 97, Sub-Committee 2, Working Group 8), oggi, dopo la convergenza tra ISO/IEC e ITU-T, è divenuto IEC-JTC1/SC29/WG11 (JTC = Join Technical Committee). Sono attualmente allo studio altri standard MPEG, precisamente MPEG A (Multimedia Application Format), MPEG B, MPEG C, MPEG D e MPEG E (anche definito M3W, MPEG Multimedia Middleware). Moltissime informazioni su MPEG ed altro è possibile reperirle sul sito di Chiariglione 10

11 MPEG-1 MPEG-1 ISO/IEC Prima pubblicazione 1993 Definizione: Coding of moving pictures and associated audio for digital storage media at up to about 1,5 Mbit/s. È composto dalle seguenti parti: ISO/IEC :1993/Cor 1:1996 Part 1: Systems ISO/IEC :1993/Cor 4:2006 Part 2: Video ISO/IEC :1993/Cor 1:1996 Part 3: Audio ISO/IEC :1995/Cor 1:2007 Part 4: Compliance Testing ISO/IEC :1998/Cor 1:2007 Part 5: Software Simulation 11

12 MPEG-1 Caratteristiche Originariamente è stato ottimizzato per le applicazioni video a basso bitrate con una risoluzione video di 352x240 pixel con 30 fotogrammi al secondo per lo standard tv NTSC oppure di 352x288 pixel con 25 fotogrammi al secondo per lo standard tv PAL. Lo standard non è strutturalmente limitato a questi formati in quanto può raggiungere ad esempio i 4095x4095 pixel con 60 fotogrammi al secondo, ma nelle applicazioni ha condotto il gioco la velocità di trasmissione e quindi il sistema è stato ottimizzato per un bit rate di 1,5 Mbit/s. Il limite più importante del sistema MPEG-1 è dovuto all'impossibilità di trattare immagini interlacciate come quelle impiegate nel broadcast TV Europeo che richiedono un doppio processo di codifica. I Video CD utilizzano il formato MPEG-1. La qualità dell'output ai bitrate tipici di un Video CD è quella di un videoregistratore VHS. MPEG-1 layer 3 è il nome completo del famoso formato audio mp3. 12

13 MPEG-2 MPEG-2 ISO/IEC Prima pubblicazione 1994 Definizione: Generic coding of moving pictures and associated audio information. È composto dalle seguenti parti: ISO/IEC :1996/Ed. 2007/Cor 1:2008 Part 1: Systems ISO/IEC :1996/Ed Part 2: Video ISO/IEC :1995/Ed Part 3: Audio ISO/IEC :1998/Ed. 2004/Cor 1:2007 Part 4: Conformance Testing ISO/IEC :1997/Ed Part 5: Software Simulation ISO/IEC :1998/Cor 2:2002 Part 6: Extensions for DSM-CC ISO/IEC :1997/Ed Part 7: Advanced Audio Coding (AAC) ISO/IEC :1996 Part 8: 10-bit Video Extension (successivamente ritirato per scarso interesse da parte dell Industria) 13

14 MPEG-2 ISO/IEC :1996 Part 9: Extension for real time interface for systems decoders ISO/IEC :1999 Part 10: Conformance extensions for Digital Storage Media Command and Control (DSM-CC) ISO/IEC :2004 Part 11: IPMP on MPEG-2 systems Caratteristiche: MPEG-2 è stato destinato al broadcast televisivo, fin dalla sua introduzione nel Una efficiente codifica per il video interlacciato e la scalabilità sono state le caratteristiche che hanno permesso di digitalizzare efficacemente i segnali televisivi. Grazie all'mpeg-2 si ottengono immagini televisive di buona qualità con bitrate compresi tra 4e9Mbit/s. 14

15 MPEG-2 MPEG-2 è costituito da "profili" e "livelli". I profili definiscono la modalità di compressione utilizzata e stabiliscono di fatto il compromesso tra tasso di compressione e costo del decodificatore. I livelli definiscono la risoluzione di immagine ed il bitrate massimo da associare ad ogni profilo. Ci sono complessivamente 4 livelli e 5 profili. La combinazione attualmente utilizzata dalle trasmissioni digitali per ricezione diretta impiega il cosiddetto "main main level" MP@ML. Il livello 7 descrive una nuova codifica audio migliorativa rispetto al precedente mp3 del MPEG-1. La nuova codifica è definita AAC. 15

16 MPEG-4 MPEG-4 ISO/IEC Prima pubblicazione 1999 Definizione: Coding of audio-visual objects. È composto dalle seguenti parti: ISO/IEC :1999/Ed. 2004/Cor 1:2008 Part 1: Systems ISO/IEC :1999/Ed. 2004/Cor 1:2008 Part 2: Visual ISO/IEC :1999/Ed. 2005/Cor 5:2008 Part 3: Audio ISO/IEC :2000/Ed. 2004/Cor 5:2008 Part 4: Conformance Testing ISO/IEC :2000/Ed. 2001/Amd 17:2008 Part 5: Reference Software ISO/IEC :1999/Ed 2000 Part 6: Delivery Multimedia Integration Framework (DMIF) ISO/IEC :2002/Ed Part 7: Optimized reference software for coding of audio-visual objects 16

17 MPEG-4 ISO/IEC :2004 Part 8: Carriage of ISO/IEC contents over IP networks ISO/IEC :2004/Ed Part 9: Reference hardware description ISO/IEC :2003/Ed Part 10: Advanced Video Coding (H.264) ISO/IEC :2005/Cor 6:2007 Part 11: Scene description and application engine ISO/IEC :2004/Ed Part 12: ISO base media file format ISO/IEC :2004 Part 13: Intellectual Property Management and Protection (IPMP) extensions ISO/IEC :2003/Cor 1:2006 Part 14: MP4 file format ISO/IEC :2004/Cor 2:2006 Part 15: Advanced Video Coding (AVC) file format ISO/IEC :2004/Ed 2006 Part 16: Animation Framework extension (AFX) 17

18 MPEG-4 ISO/IEC :2006 Part 17: Streaming text format ISO/IEC :2004/Cor 1:2007 Part 18: Font compression and streaming ISO/IEC :2004 Part 19: Synthesized texture stream ISO/IEC :2006/Cor 2:2008 Part 20: Lightweight Application Scene Representation (LASeR) and Simple Aggregation Format (SAF) ISO/IEC :2006/Cor 1:2007 Part 21: MPEG-J Graphics Framework extensions (GFX) ISO/IEC :2007 Part 22: Open Font Format ISO/IEC :2008 Part 23: Symbolic Music Representation ISO/IEC :2008 Part 24: Audio and systems interaction 18

19 MPEG-4 Caratteristiche: MPEG-4 supporta tutte le caratteristiche degli standard MPEG-1 e MPEG-2, oltre a tutta una serie di nuove caratteristiche come la gestione tridimensionale degli oggetti (tramite un'estensione del VRML). I flussi audio e video vengono trattati dallo standard MPEG-4 come oggetti che possono essere manipolati e modificati in tempo reale. Lo standard supporta caratteristiche specificate da terze parti come una particolare gestione dei DRM (Digital Right Management) o una gestione interattiva dei contenuti. La maggior parte delle caratteristiche dell'mpeg-4 sono opzionali e quindi la loro implementazione è lasciata alla discrezione dello sviluppatore. Questo implica che la maggior parte dei lettori di file MPEG-4 non saranno in grado di gestire tutte le caratteristiche del formato. Per permettere un'elevata interoperabilità, nel formato sono stati inclusi i concetti di profilo e di livello, quindi i vari lettori MPEG-4 potranno essere suddivisi a seconda dei profili e livelli supportati. 19

20 Motion JPEG M-JPEG è un popolare formato di compressione che applica la compressione JPEG delle immagini a ciascun fotogramma video. Questi non hanno alcuna correlazione gli uni con gli altri, come nella compressione MPEG, il che comporta una dimensione maggiore dei file, ma richiede un minor carico computazionale per la compressione e la decompressione (fattore molto critico nel caso di flussi video HD realtime). Ciò ha portato ad un ampia adozione a livello mondiale di tale formato nel campo del video editing non lineare, dove la codifica M-JPEG è spesso utilizzata per la cattura video ad alta qualità di formato raw. La successiva conversione in formati MPEG/H.264 produce flussi video di alta qualità. Altra caratteristica importante di tale formato è rappresentata dalla facilità di navigazione avanti (play) e indietro (playback) tra i fotogrammi, molto utilizzata in applicazioni di videosorveglianza e analisi di eventi sportivi. 20

21 Dimensioni dei Fotogrammi Standard Formato Dimensioni Pixel Mbps CIF 352x ,55 NTSC (1) 4CIF 704x ,20 D1 720x ,89 CIF 352x ,55 PAL (2) 4CIF 704x ,20 D1 720x ,89 720p 1.280x , p 1.920x ,00 High Definition (1) 30 fotogrammi al secondo 16 bit di colore (2) 25 fotogrammi al secondo 16 bit di colore (3) 30 fotogrammi al secondo 24 bit di colore 21

22 Confronto 4CIF 720p 1080p Panoramica della Scena 22

23 Confronto 4CIF 720p 1080p Ricchezza di Dettagli 4,0X 5,5X 8,6X 4-CIF 720p 1080p 23

24 Confronto MPEG-2, MPEG-4, H.264 Download di un filmato di qualità DVD della durata di 1 ora 24

25 Confronto MPEG-2, MPEG-4, H.264 = 165,89 Mbps 20,7 MBps 1 ora = (20,7 * 3600) = MB 74 GB Rapporti di Compressione: MPEG-2 1:37 MPEG-4 1:62 H.264 1:106 (1:81) 25

26 Dimensioni dei Fotogrammi Standard Formato Dimensioni Mbps (Raw) Mbps (MPEG-4) Mbps (H.264) CIF 352x240 40,55 0,65 0,50 NTSC 4CIF 704x ,20 2,62 2,00 D1 720x ,89 2,68 2,05 CIF 352x288 40,55 0,65 0,50 PAL 4CIF 704x ,20 2,62 2,00 D1 720x ,89 2,68 2,05 HD 720p 1.280x ,55 8, p 1.920x ,00 18,43 26

27 Compressione Video A. Compressione con perdita di qualità (loss) Sensibilità umana audio/video: sono stati condotti studi sull udito e la vista per capire cosa effettivamente vediamo e sentiamo ; la percezione è facilmente mascherata in presenza di segnali che ne sovrastano altri (es. il suono di una sirena o il lampo di un flash); la percezione audio è KHz, ma la maggior parte delle frequenze si concentra nella parte bassa della scala (tipicamente 2 4 KHz); la percezione visiva è poco sensibile ai picchi ed alle basse frequenze. 27

28 Compressione Video B. Compressione senza perdita di qualità (lossless o lossy) Eliminazione delle ridondanze Rimozione delle ridondanze all intero del singolo fotogramma (compressione spaziale): all interno di un immagine, ancor più all interno di un blocco 8x8 di pixel, è molto probabile trovare valori uguali contigui; per ottimizzare le dimensioni di sequenze di valori uguali si utilizza la codifica Run-length ; Rimozione delle ridondanze tra fotogrammi consecutivi (compressione temporale): tipica delle codifiche MPEG; si calcolano gli spostamenti degli oggetti nella scena e se ne trasmettono i soli vettori di movimento ; Ottimizzazione della rappresentazione di sequenze di simboli: al termine di tutti i processi di compressione si ottiene una sequenza di valori (o simboli) da trasmettere; per ridurre ulteriormente i dati da trasmettere si utilizza la codifica di Huffman che utilizza per ciascun simbolo una rappresentazione tanto più breve quanto maggiore è la frequenza di occorrenza dello stesso. 28

29 Compressione dei Flussi MJPEG M-JPEG Motion JPEG (Joint Photographic Experts Group) Ciascun fotogramma viene compresso utilizzando l algoritmo JPEG L algoritmo induce una perdita di qualità dell immagine (lossy compression) Maggiore è la compressione, minore risulteranno le dimensioni e la qualità del singolo fotogramma È possibile ridurre il numero dei fotogrammi trasmessi Minore è la quantità dei fotogrammi trasmessi, peggiore risulterà la fluidità del flusso in ricezione La trasmissione utilizza il protocollo TCP (Trasmission Control Protocol) a livello applicativo Il dispositivo sorgente deve attendere l ACK dal ricevente prima di trasmettere il fotogramma successivo Tale meccanismo lo rende particolarmente adatto a trasmissioni su canali a basso throughput 29

30 Processo di Codifica JPEG Blocco 8x8 Suddivisione dell immagine in blocchi da 8x8 pixel 64 Eliminazione Frequenze non percepibili

31 Color Subsampling Luminosità Normale Immagine Acquisita Sottocampionamento Quadrante 2 (255, 72, 25, 3, 117, 180, 0, 114, 177, 8, 108, 179) (255, 72, 25, 0, 114, 177, 0, 114, 177, 8, 108, 179) 31

32 Color Subsampling Luminosità Ridotta Immagine Acquisita Sottocampionamento Quadranti 2 e 4 (255, 28, 10, 1, 45, 73, 0, 44, 71, 3, 42, 72) (255, 28, 10, 0, 44, 71, 0, 44, 71, 0, 44, 71) 32

33 Color Subsampling Ci sono diverse modalità per rappresentare i colori di una immagine, tali modalità sono definite Spazi. I più comuni sono (R:G:B), (C:M:Y:K), (Y:U:V). Per sfruttare la caratteristica dell occhio umano, che è più sensibile alla luminosità e meno al colore, e ridurre le dimensioni di una immagine, senza ridurne eccessivamente la qualità, si utilizza lo Spazio (Y:U:V), definito Luminanza Crominanza, i cui fattori rappresentano rispettivamente: Luminanza (Y) rappresenta l intensità di luce complessiva dell immagine (originale dei televisori in Bianco e Nero), definita come Y=R+G+B, cioèla somma complessiva dei tre colori primari. C r (U) componente della Crominanza che rappresenta la differenza dal colore Rosso, definita come C r =Y-R. C b (V) componente della Crominanza che rappresenta la differenza dal colore Blu, definita come C b =Y-B. La componente Verde (G) si ottiene sottraendo alla Luminanza le informazioni sul Rosso e sul Blu. Questo schema permette ai televisori in Bianco e Nero di funzionare anche con trasmissioni a colori utilizzando la sola componente Y. Analogamente è possibile rappresentare immagini in tonalità di grigio. 33

34 Spazio Colore Luminanza/Crominanza Immagine a Colori Luminosità dell Immagine Y Componente Verde + Blu U V Componente Verde + Rosso 34

35 Sottocampionamenti Spazio Colore 4:4:4 4:2:0 4:2:2 4:1:1 35

36 Sottocampionamento 4:2:2 Y V U 36

37 Trasformata Discreta del Coseno La trasformata discreta del coseno è un operazione matematica che consente di scomporre una determinata curva (espressa come sequenza di valori) nelle componenti in frequenza che la costituiscono. La formula per rappresentare la trasformata è la seguente: n 1 n 1 4C( u) C( v) F( u, v) = 2 n j= 0 k = 0 (2 j + 1) uπ (2k + 1) vπ f ( j, k) cos( ) cos( ) 2n 2n C(w) = 1 w = w = 1,2..., n 1 Le immagini a colore seguenti rappresentano la scomposizione nel dominio delle frequenze dell immagine del fiore sulla sinistra. 37

38 Eliminazione Frequenze non Percepibili L intero processo di eliminazione delle frequenze non percepibili all occhio o all orecchio umano è rappresentato dai passaggi seguenti. Componente in continua Semiblocco (4x4) Componenti in alternata [ ]

39 Quantizzazione Il processo di Quantizzazione consiste nel dividere, arrotondando il risultato, la matrice frutto della Trasformata Discreta del Coseno, per una seconda matrice, detta appunto di quantizzazione, i cui coefficienti numerici sono correlati al fattore qualitativo (Q) di compressione JPEG Round / = Il processo inverso introduce ovviamente degli errori, a causa degli arrotondamenti, che impediscono l esatta ricostruzione della matrice DCT, e quindi dell immagine iniziale, manifestandosi come perdita di qualità X =

40 Eliminazione Ridondanze L ottimizzazione delle sequenze ripetitive si ottiene usando la codifica Run-length (spesso definita RLE, Run-Length Encoding). Lo schema successivo mostra le 7 coppie di numeri (14 numeri contro i 16 di partenza) che rappresentano la codifica RL della sequenza ottenuta con i passaggi precedenti. [ ] [( 79,1 )( 0,1 )( 2,1 )( 1,3 )( 0,2 )( 1,1 )( 0,7 )] 40

41 Ottimizzazione dei Simboli La sequenza finale (di 14 numeri) è ulteriormente ridotta utilizzando la Codifica di Huffman, sviluppata nel 1952 da David A. Huffman, allora laureando al MIT, che rappresenta un algoritmo, usato per la compressione di dati, basato sul sistema ottimale di codifica di stringhe in funzione della frequenza relativa di ciascun carattere. [ ] Simbolo Valore Ampiezza Frequenza A ,6% B ,4% C ,3% D ,1% E ,1% F 3 1 7,1% G 2 1 7,1% H 7 1 7,1% 41

42 Ottimizzazione dei Simboli La codifica binaria dei simboli da trasmettere si costruisce utilizzando un albero binario a partire dai simboli con frequenza inferiore per finire con quelli a frequenza maggiore che avranno quindi un minor numero di cifre di rappresentazione. 100,0 Simbolo Frequenza Cod. Binaria A 28,6% 00 B 21,4% 01 C 14,3% 100 D 7,1% 101 E 7,1% 1100 F 7,1% 1101 G 7,1% 1110 H 7,1% , , ,0 21,4 14,2 14, A B C D E F G H ,6 21,4 14,3 7,1 7,1 7,1 7,1 7,1 La sequenza dei bit trasmessi, pur essendo a lunghezza variabile, non crea ambiguità di interpretazione poiché, dato un certo numero di bit, la combinazione usata non è mai presente all inizio della sequenza con un bit in più. Nell esempio in figura le sequenze da due bit 00 e 01 non compaiono mai all inizio di quelle da tre e quattro bit, così come 100 e 101 non compaiono all inizio di quelle da 4 bit. Questo perché le sequenze di bit sono associate solo alle foglie dell albero binario e non ai nodi. 42

43 Calcolo della Riduzione di Bit Siamo partiti da 16 numeri da trasmettere per un totale di 128 bit. Con la codifica RLE tali numeri sono diventati 14. Con la codifica di Huffman occorrono, come da tabella, 39 bit per trasmetterli, ai quali occorre sommarne altri 64 per identificare gli 8 simboli (A H) da cui deriva la codifica, per un totale di 103 bit. La riduzione è di 25 bit, pari al 19,5%. Lavorando su blocchi da 8x8 pixel la riduzione è sostanzialmente maggiore rispetto all esempio (4x4). Simbolo Ripetizioni Cod. Binaria N. Bit A B C D E F G H

44 Creazione Flussi M-JPEG COMPRESSIONE RIDOTTA non viene sfruttata la ridondanza temporale (frame consecutivi possono essere anche molto simili fra loro) 44

45 Compressione JPEG Immagini Std Originale 720x576 Compressione 1:8,4 (Q100) Compressione 1:18,6 (Q50) Compressione 1:35,0 (Q0) 45

46 Compressione JPEG Immagini Std 720x576 Originale 46

47 Compressione JPEG Immagini Std 720x576 Compressione 1:35,0 (Q0) 47

48 Occupazione di Banda Standard Formato Mbps (Raw) Mbps (MPEG-4) Mbps (H.264) Mbps (M-JPEG 50) Mbps (M-JPEG 0) PAL/NTSC 4CIF 162,20 2,62 2,00 8,72 4,63 D1 165,89 2,68 2,05 8,92 4,74 Assumendo un fattore JPEG pari a 50, con il quale si ottiene una qualità del singolo fotogramma paragonabile (ma inferiore) a quella MPEG-4 / H.264 Il rapporto di banda impiegata tra M-JPEG e MPEG-4 è 1:3,3 Per avere con M-JPEG la stessa qualità di MPEG-4 con lo stesso throughput si devono trasportare solo 9 (7,5) fotogrammi al secondo invece di 30 (25) Il rapporto di banda impiegata tra M-JPEG e H.264 è 1:4,4 Per avere con M-JPEG la stessa qualità di H.264 con lo stesso throughput si devono trasportare solo 7 (5,7) fotogrammi al secondo invece di 30 (25) 48

49 Compressione JPEG Immagini Mpx Originale 1920x1080 Compressione 1:3,2 (Q100) Compressione 1:18,3 (Q50) Compressione 1:66,5 (Q0) 49

50 Compressione JPEG Immagini Mpx Originale 1920x1080 Compressione 1:3,8 (Q100) Compressione 1:18,0 (Q50) Compressione 1:56,4 (Q0) 50

51 Occupazione di Banda Standard Formato Mbps (Raw) 30 fps Mbps (H.264) 30 fps Mbps (M-JPEG 50) 30 fps Mbps (M-JPEG 50) 15 fps Mbps (M-JPEG 50) 10 fps HD Mpx 720p 663,55 8,19 36,56 18,28 12, p 1.493,00 18,43 82,26 41,13 27,42 3M 2.160,00 119,00 59,50 39,67 5M 3.600,00 198,35 99,17 66,16 51

52 Occupazione di Banda Come fare per ottenere con M-JPEG la stessa occupazione di banda di H.264? Dato che il fattore medio di compressione di H.264 è circa 80 Assumiamo di trasmettere con M-JPEG solo 15 fps Troviamo il fattore qualitativo JPEG che corrisponde ad una compressione 1:40 dell immagine Tale fattore qualitativo è pari mediamente a 20 Di seguito la qualità dei singoli fotogrammi che si ottiene con tale fattore 52

53 Compressione JPEG Immagini Mpx Originale 1920x1080 Compressione 1:36,4 (Q20) Originale Compressione 1:39,4 (Q19) 53

54 Compressione JPEG Immagini Mpx 1920x1080 Originale 54

55 Compressione JPEG Immagini Mpx 1920x1080 Compressione 1:36,4 (Q20) 55

56 Compressione JPEG Immagini Mpx 1920x1080 Originale 56

57 Compressione JPEG Immagini Mpx 1920x1080 Compressione 1:39,4 (Q19) 57

58 Occupazione di Banda Standard Formato Mbps (Raw) 30 fps Mbps (H.264) 30 fps Mbps (M-JPEG 20) 15 fps HD Mpx 720p 663,55 8,19 8, p 1.493,00 18,43 18,66 3M 2.160,00 27,00 5M 3.600,00 45,00 58

59 Compressioni Medie Risoluzioni Standard: NTSC = National Television System Committee (Standard US) [704 x 480] x 30 fps = pixel al secondo PAL = Phase Alternating Line (Standard EU) [704 x 576] x 25 fps = pixel al secondo Codifica Colore = 16 bit ( combinazioni) per pixel Occupazione di Banda = bps 162 Mbps Occupazione 2 ore filmato non compresso: 162,20 Mbps / 8 bit = 20,28 MBps 2 ore = (20,28 * 7200) = MB 146 GB Codifica Compressione Filmato M-JPEG 1:6 24,3 GB MPEG-2 1:37 3,9 GB MPEG-4 1:62 2,4 GB H.264 1:81 1,8 GB 59

60 Compressione dei Flussi MPEG-4 MPEG (Moving Picture Experts Group) Sono trasmesse solo le variazioni rispetto ad un fotogramma di riferimento (Key-Frame) L algoritmo induce una perdita di qualità dell immagine (lossy compression) generalmente impercettibile all occhio umano Per incrementare la compressione vengono utilizzate tecniche predittive È possibile ridurre il numero dei fotogrammi trasmessi La riduzione della quantità dei fotogrammi trasmessi riduce solo marginalmente l occupazione di banda La trasmissione utilizza il protocollo UDP (User Datagram Protocol) Ilprotocolloèditipoconnectionless e quindi povero di meccanismi di recupero degli errori (assenza di ACK) La versione H.264 introduce notevoli miglioramenti nel recupero degli errori Non adatto a trasmissioni su canali a basso throughput poiché è necessaria la ricezione del Key-Frame per la ricostruzione del flusso video 60

61 Compressione dei Flussi MPEG-4 Principio di Funzionamento dell Algoritmo di Compressione Eliminazione Ridondanze Spaziali Trasformata Discreta del Coseno Eliminazione delle componenti di Frequenze con peso pari a zero o prossimo ad esso Quantizzazione Codifica di Huffman Eliminazione Ridondanze Temporali Motion Estimation Eliminazione di Informazioni in relazione alle Caratteristiche Psico- Visive Umane Passaggio dallo spazio colore RGB (Red, Green, Blu) a quello YUV (luminanza e crominanza) passaggio dalla campionatura 4:4:4 a quella 4:2:2 o 4:2:0 con riduzione impercettibile della componente colore rispetto a quella di luminosità Bassa sensibilità dell occhio umano ad alte frequenze di colore 61

62 Compressione dei Flussi MPEG-4 Principio di Funzionamento dell Algoritmo di Compressione 62

63 Compressione dei Flussi MPEG-4 Principio di Funzionamento dell Algoritmo di Compressione I B B P B B I B B P B B I Sequenza Fotogramma I B B P B B Gruppo di Fotogrammi (GOP) Slice Fotogramma Y C b C r Macro Blocco Blocco (8x8) 63

64 Compressione dei Flussi MPEG-4 Motion Estimation La maggior parte della riduzione del bit-rate è dovuta all eliminazione delle ridondanze temporali L algoritmo si applica ad un gruppo contiguo di fotogrammi definito GOP (Group Of Pictures) A partire dall immagine di riferimento (I-Frame) si cercano similarità con i frame adiacenti lavorando sui macroblocchi Se il macroblocco, nel frame successivo, è rimasto identico (o quasi) non viene affatto inviato Se, al contrario, nelle vicinanze si trova il macroblocco di origine si invia solo il vettore di movimento Quando la ricerca si effettua tra un I e P-Frame (cioè su un B-Frame) vengono interpolati i vettori di movimento per contenere l eventuale propagazione degli errori di movimento 64

65 Compressione dei Flussi MPEG-4 Principio di Funzionamento dell Algoritmo di Compressione GOP (Group Of Pictures) I-Frame (Intra-Coded Frame): contiene l immagine completa, viene trasmesso ogni 12/13 fotogrammi, è anche detto Key-Frame P-Frame (Predicted Frame): costruito a partire dai precedenti P/I-Frame B-Frame (Bidirectional Frame): legati ai P/I-Frame passati e futuri 65

66 Compressione dei Flussi MPEG-4 Motion Estimation Criticità L algoritmo di ricerca del movimento deve essere molto performante, sia in termini di accuratezza che di velocità Nel caso si perdano, o si tralascino, dei movimenti, pur minimi, i fotogrammi successivi, a causa della rapida propagazione dell errore, richiederanno maggior bit-rate ed avranno una qualità inferiore Effetti In scene con movimenti repentini se l algoritmo non è sufficientemente veloce è necessario scartare dei fotogrammi Se l accuratezza della ricerca del movimento non è elevata si manifestano i seguenti inconvenienti: Linee spezzate (linea retta con effetto zig-zag) Presenza di blocchi di colore (macroblocking) Perdita di contrasto (blurring) 66

67 Compressione dei Flussi MPEG-4 Motion Estimation Algoritmo di Ricerca non Performante Algoritmo di Ricerca Performante Algoritmo di Compressione H

68 MPEG-4 SVC Scalable Video Codec ISO/IEC :2005/Amd.3 (pubblicato nel Luglio 2007) L obiettivo è incrementare la diffusione dei contenuti multimediali ad ampio spettro, indipendentemente dal dispositivo di ricezione e dal mezzo trasmissivo: La fruizione deve avvenire tanto su display ad alta risoluzione quanto su palmari, tanto su monitor di PC quanto su videotelefoni, tanto su schermi giganti quanto su telefoni cellulari Scalabilità Spaziale La fruizione deve avvenire tanto tramite reti private ad alta banda quanto tramite reti pubbliche ad accesso commutato, tanto tramite Internet quanto tramite reti wireless Scalabilità Temporale La fruizione deve avvenire, quando non è consentito fare di meglio, anche a discapito della qualità dei contenuti stessi Scalabilità SNR Tutto questo è possibile per mezzo di una nuova modalità di codifica basata su MPEG-4, definita Scalable Video Codec, che, trasportando opportune informazioni aggiuntive, consente a qualsiasi dispositivo compatibile, indipendentemente dalle dimensioni di rappresentazione e dalla banda disponibile, di visualizzare le informazioni multimediali. 68

69 MPEG-4 Prima di SVC Alta Qualità Bassa Qualità Bassa Risoluzione 69

70 MPEG-4 Con SVC Alta Qualità Bassa Qualità Bassa Risoluzione 70

71 SVC Scalabilità Spaziale

72 SVC Scalabilità Temporale Frame 0, 4, 8, 12, Frame0,2,4,6,8, Frame0,1,2,3,4,5, 7.5Hz 15Hz 30Hz 72

73 SVC Scalabilità Qualitativa (SNR Signal to Noise Ratio) PSNR avg =30dB (Scarsa Qualità) PSNR avg =35dB (Media Qualità) PSNR = 1 N avg PSNR i N i= 1 PSNR avg =40dB (Alta Qualità) PSNR i : Peak Signal to Noise Ratio of frame i 73

74 SVC Layered Video Encoding / Deconding Layer 0 64 kb/s D Layer kb/s D Layer 2 + 1Mb/s D Decoder 74