Formati multimediali e metadati: Video

Transcript

1 Formati multimediali e metadati: Video Marco Tagliasacchi

2 Formati multimediali e metadati: video Sommario 2 Rappresentazione di dati video Compressione di dati video Formati video

3 Rappresentazione di dati video Video come sequenza di immagini 3 Un segnale video può essere visto come la rapida successione di immagini statiche Se le immagini vengono visualizzate con una cadenza sufficientemente rapida, il moto degli oggetti appare fluido

4 Rappresentazione di dati video Caratteristiche di un segnale video 4 Risoluzione spaziale Numero di pixel lungo la direzione orizzontale e verticale Ad es. 640x480 pixel Aspect ratio rapporto tra la dimensione orizzontale e verticale dell immagine Ad es. 4:3, 16:9, ecc. Risoluzione temporale (o frame rate) Numero di immagini visualizzate per secondo Ad es. 30 fps (frame per secondo)

5 Rappresentazione di dati video Caratteristiche di un segnale video 5 Esempio conversione frame rate 25 fps 8 fps

6 Rappresentazione di dati video Scansione progressiva/interallacciata 6 Video a scansione progressiva Per ciascun istante temporale viene rappresentata una intera immagine a risoluzione piena Utilizzata da La maggior parte dei monitor CRT per PC Tutti i monitor LCD Alcune televisioni HDTV 720p 1080p

7 Rappresentazione di dati video Scansione progressiva/interallacciata 7 Video a scansione interallacciata Per ciascun istante temporale è disponibile una immagine che rappresenta le sole righe pari/dispari dell immagine E utilizzata da Monitor CRT dei televisori tradizionali Alcuni monitor HDTV i

8 Rappresentazione di dati video Scansione progressiva/interallacciata 8 Video a scansione interallacciata E la modalità utilizzata nella trasmissione del segnale televisivo analogico (ma anche digitale, in alcuni casi) Ogni secondo vengono mostrati 50 semi-quadri - 25 semi-quadri rappresentano le righe pari - 25 semi-quadri rappresentano le righe dispari

9 Rappresentazione di dati video Scansione progressiva/interallacciata 9 I limiti del sistema visivo umano fanno sì che l occhio non sia in grado di percepire le righe mancanti, se la risoluzione temporale è sufficientemente alta (ad es. 50 semi-quadri al secondo) Il sistema di scansione interallacciata nasce storicamente per poter trasmettere un numero maggiore di canali televisivi nella stessa banda

10 Rappresentazione di dati video Scansione progressiva/interallacciata 10 Il formato di scansione del video può differire dal formato supportato dal dispositivo di visualizzazione Video interallacciato Monitor progressivo Si esegue una operazione di de-interlacing, per interpolare le righe mancanti Video progressivo Monitor interallacciato Viene scartata parte dell informazione

11 Rappresentazione di dati video Scansione progressiva/interallacciata 11 La conversione da scansione interallacciata a progressiva può introdurre artefatti in presenza di oggetti in movimento e/o cambi di scena

12 Compressione di dati video Compressione di dati video 12 Come per le immagini, i dati video vengono spesso compressi per Ridurre la dimensione dei file memorizzati su disco VideoCD DVD/BlueRay DivX,Xvid,ecc. Ecc. Consentire la trasmissione di dati video Televisione Digitale Terrestre Televisione Digitale Satellitare Video streaming (YouTube) VideoOnDemand (VoD) IPTV

13 Compressione di dati video Compressione di dati video 13 Codec video: sistema hardware o software costituito da due componenti: Encoder ricevere in ingresso una sequenza di immagini produce in uscita un bitstream, ovvero una sequenza di bit che rappresenta il video compresso Decoder Riceve in ingresso un bistream Produce in uscita la sequenza di immagini ricostruita Encoder Decoder

14 Compressione di dati video Compressione di dati video 14 Per la visualizzazione di dati video compressi è sufficiente avere a disposizione un decoder Per la creazione di bitstream, è necessario avere a disposizione un encoder Per garantire l interoperabilità, ovvero che lo stesso bitstream possa essere letto correttamente da più dispositivi, si definisce uno standard

15 Compressione di dati video Compressione di dati video 15 In assenza di compressione, la dimensione dei file video è notevole. Ad esempio: Video a scansione interallacciata (ad. es TV) 720 punti / linea 576 linee (288 linee pari, 288 linee dispari) 50 semiquadri al secondo 3 byte / pixel (RGB) 720 x 288 x 50 x 3 = byte / sec c.a. 31 Mbyte/sec c.a. 250 Mbps 2h di film occupano (se non compressi) 2x60x60x31 = Mbyte c.a. 223 Gbyte Un DVD ha una capacità di c.a. 4.5 Gb per memorizzare un film a risoluzione standard su DVD c è la necessità di un fattore di compressione pari a 223 / 4.5 = 50

16 Compressione di dati video Compressione di dati video 16 Video a scansione progressiva (ad. es cellulare o fotocamera) 320x240 pixel 15 frame / secondo 3 byte / pixel (RGB) 320 x 240 x 15 x 3 = byte / sec c.a. 3.5 Mbyte/sec c.a. 28 Mbyte / sec 1 minuto di video registrato occupa (se non compresso) 60x3.5 = 210 Mbyte

17 Compressione di dati video Compressione di dati video 17 Codifica intra-frame: codifico ogni frame come un immagine fissa E la tecnica usata da molte fotocamere compatte, che salvano i filmati ripresi in formato Motion-JPEG (ogni frame è compresso con JPEG) Si è in grado di ottenere rapporti di compressione dell ordine senza eccessiva perdita di qualità Per mettere un film su DVD abbiamo bisogno di un rapporto di c.a

18 Compressione di dati video Compressione di dati video 18 Codifica inter-frame: codifico ogni frame utilizzando la conoscenza delle immagini precedenti Frame consecutivi in una sequenza di immagini sono simili l uno all altro Codifico solo ciò che c è di nuovo in un frame rispetto al frame precedente E possibile ottenere rapporti di compressione di 50:1 fino a anche a 100:1 senza un degrado eccessivo della qualità

19 Compressione di dati video Compressione di dati video 19 Frame originale (da codificare)

20 Compressione di dati video Compressione di dati video 20 Frame precedente (di riferimento)

21 Compressione di dati video Compressione di dati video 21 Immagine differenza tra frame originale e di riferimento Grigio = 0 Nero < 0 Bianco > 0

22 Compressione di dati video Compressione di dati video 22 Codificare questa immagine richiede molti meno bit rispetto a codificare l immagine originale

23 Compressione di dati video Compressione di dati video 23 E possibile fare di meglio, stimando il movimento degli oggetti

24 Formati video Video codec 24 Un codec video è un sistema costituito da due componenti: Un video encoder, che riceve in ingresso una sequenza di immagini non compressa, e produce in uscita una sequenza di bit Un video decoder, che riceve in ingresso una sequenza di bit, e produce in uscita la sequenza di immagini Esistono molteplici codec sul mercato Un decoder è in grado di interpretare solo le sequenze di bit prodotte dall encoder corrispondente

25 Formati video Video codec 25 I codec che hanno trovato maggiore diffusione sono stati sviluppati da due organismi di standardizzazione: MPEG (Movie Picture Expert Group) ITU-T (International Telecomunication Union - Telecommunication Standardization Sector) Sia MPEG e ITU-T hanno sviluppato nel corso degli ultimi 20 anni diversi standard, con l obiettivo di massimizzare la compressione per un certo livello di qualità dell immagine. Ciascuno standard definisce una lingua con una sua sintassi ben precisa, che può essere compresa solo da un decoder che la supporti

26 Formati video Video codec 26 Standard MPEG MPEG-1: (1992) VideoCD (l equivalente digitale del VHS), supportato dalla maggior parte dei lettori DVD MPEG-2: (1994) DVD, SVideoCD, TV broadcasting (satellitare, terrestre, cavo) MPEG-4 Part 2 (1998) Internet streaming, broadcast DivX, Xvid, FFMpeg sono diverse implementazioni software di MPEG-4 Part 2 MPEG-4 Part 10 (2003) Noto comunemente come AVC (Advanced Video Coding) oppure H.264 Tenderà a sostituire tutti gli standard precedenti Adottato in innumerevoli prodotti commerciali: - BlueRay Disc, iphone, PSP, QuickTime, etc.

27 Formati video Video codec 27 Standard ITU-T H.261: (1990) Sistemi obsoleti di video-conferenza su reti telefoniche H.263: (1996) Videoconfernenza, Videotelefonia, video streaming su internet H.264: (2003) E uguale a MPEG-4 Part 10 Esistono poi codec proprietari, sviluppati individualmente da aziende private per i propri prodotti

28 Formati video Video codec 28 Esistono poi codec proprietari, sviluppati individualmente da aziende private per i propri prodotti Microsoft WMV (Windows Media Video) WMV7,8,9 (Windows Media Player) VC-1 (BlueRay Disc) RealNetworks RealVideo RealPlayer Xiph.org foundation Theora Part of the Ogg project Opensource, royalty free codec inspired to (and competing with) MPEG-4...

29 Formati video Multimedia Container 29 Il video è quasi sempre accompagnato dall audio Il Container è un formato di file Descrive cosa può essere immagazzinato nel file Definisce come viene codificato il suo contenuto (ma per lo stesso container, i dati possono essere codificati con codec diversi) Il Multimedia container (ad es. Il formato.avi) descrive cosa può esserre immagazzinato in un file Dati video Dati audio Sottotitoli Ecc.

30 Formati video Multimedia Container 30 E possibile che un programma che sia in grado di aprire un file scritto in un certo formato non sia capace di decodificare i dati contenuti Capita, ad esempio che il lettore multimediale sia in grado di aprire un file, ma di riprodurre solo l audio o il video. Ciò significa che un il lettore riconosce correttamente il tipo di file, lo apre, ma non ha a disposizione il codec in grado di interpretare i dati audio o video in esso contenuti

31 Formati video Multimedia Container 31 I più comuni multimedia container sono: 3GP (.3gp,.3g2): usato nel campo della telefonia AVI (.avi): il formato standard nei sistemi operativi Windows MOV (.mov): usato da Apple QuickTime OGM: Ogg Media, standard video container usato dai codec Xiph.org RealMedia (.rm): usato da RealPlayer VOB (.vob): usato nei DVD DMF (.divx): DivX Media Format