Formati multimediali e metadati: Immagini

Transcript

1 Formati multimediali e metadati: Immagini Marco Tagliasacchi

2 Formati multimediali e metadati Sommario 2 Immagini Rappresentazione digitale Compressione di immagini Formati Metadati Video Rappresentazione digitale Compressione di dati video Formati video

3 Immagini digitali Immagini raster e vettoriali In generale le immagini sono un continuo di informazioni (formato analogico ) Bisogna quindi prima discretizzarle ovvero trasformarle in un insieme di parti distinte che possono essere codificate separatamente come numeri (formato digitale ) Tipologia: Immagini scalari o raster Immagini vettoriali

4 Immagini digitali Immagini raster e vettoriali Immagini scalari o raster, Fotografie Scansioni Immagini biomediche (raggi-x, risonanza magnetica, ecc.)...

5 Immagini digitali Immagini raster e vettoriali Tipologia: Immagini vettoriali, Disegno geometrico (CAD) Illustrazioni Loghi

6 Immagini digitali Immagini raster e vettoriali raster vettoriale

7 Immagini digitali Rappresentazione di immagini digitali Il calcolatore non può direttamente rappresentare in memoria informazione in formato analogico L acquisizione digitale di una immagine raster prevede di eseguire due operazioni: Campionamento: scomposizione dell immagine in un reticolo di punti (pixel, picture element) Quantizzazione: codifica di ogni pixel con un valore numerico all interno di un ben peciso intervallo

8 Immagini digitali Rappresentazione di immagini digitali Per rappresentare il disco Lo si sovrappone ad una griglia Si identificano i quadratini (in blu) che campionano (o discretizzano) il disco Ogni quadratino prende il nome di pixel (o picture element)

9 Immagini digitali Rappresentazione di immagini digitali Chiamiamo risoluzione dell immagine la dimensione della griglia usata per il campionamento dell immagine Esempio: 640x480 Aumentando la risoluzione (ovvero il numero di pixel) e quindi diminuendo la dimensione del singolo pixel, la rappresentazione approssima meglio l immagine originaria

10 Immagini digitali Rappresentazione di immagini digitali Esempio:

11 Immagini digitali Rappresentazione di immagini digitali La risoluzione è spesso il parametro di riferimento usato nel mercato delle fotocamere digitali (anche se non sempre è il fattore determinante per la qualità dell immagine prodotta) Spesso espresso in Megapixel (= 1 milione di pixel)

12 Immagini digitali Rappresentazione di immagini digitali Dopo aver campionato l immagine occorre rappresentare ogni pixel con un numero Tale numero dovrà rappresentare il colore associato al pixel, usando un certo range: si parla di quantizzazione La rappresentazione ottenuta è nota come codifica bitmap Nel caso di immagini in bianco e nero senza sfumature sono sufficienti due soli bit per ogni pixel: 0 per rappresentare i pixel più bianchi 1 per rappresentare i pixel più neri

13 Immagini digitali Rappresentazione di immagini digitali Nel caso di immagini in bianco e nero senza sfumature è sufficiente un solo bit per ogni pixel: Il valore del pixel è pari a 1 per rappresentare i pixel bianchi 0 per rappresentare i pixel neri

14 Immagini digitali Rappresentazione di immagini digitali Nel caso di immagini in scala di grigio si utilizzano b bit per ogni pixel Il numero b determina il numero di livelli di grigio che è possibile rappresentare #livelli di grigio = 2 b

15 Immagini digitali Rappresentazione di immagini digitali Esempio: b = 2, è possibile rappresentare 4 livelli di grigio 00 0 (nero) 01 1 (grigio scuro) 10 2 (grigio chiaro) 11 3 (bianco) Rappresentazione binaria Rappresentazione decimale

16 Immagini digitali Rappresentazione di immagini digitali 4 bpp 3 bpp 2 bpp 1 bpp

17 Immagini digitali Rappresentazione di immagini digitali Tipicamente, per immagini in scala di grigio, è sufficiente utilizzare b = 8 bit per pixel In questo modo è possibile rappresentare fino a 256 livelli di grigio Questa scelta è determinata dall analisi del sistema visivo umano, che non è difficilemente in grado di distinguere un numero maggiore di livelli di grigio In applicazioni biomediche e/o professionali, è comune utilizzare un numero maggiore di bit per pixel (ad es bit per pixel)

18 Immagini digitali Rappresentazione di immagini digitali Tipicamente, per immagini a colori, vengono utilizzati b = 24 bit per pixel In questo modo è possibile rappresentare fino a 2 24 = colori distinti Esistono diversi modi di rappresentare una immagine a colori (detti anche colorspace o spazi colore)

19 Immagini digitali Rappresentazione di immagini digitali Lo spazio colore più comunemente utilizzato per l acquisizione e la visualizzazione delle immagini è RGB = Red, Green, Blue Per ciascun pixel vengono utilizzati 24 bit 8 bit (1 byte) per il rosso [0-255] 8 bit (1 byte) per il verde [0-255] 8 bit (1 byte) per il blu [0-255]

20 Immagini digitali Rappresentazione di immagini digitali Red Green Blue

21 Immagini digitali Rappresentazione di immagini digitali L acquisizione di immagini a colori utilizza una griglia di filtri (Bayer filter) Ciascun pixel registra l intensità luminosa di una sola componente (rosso, verde o blu) Per i pixel rossi, viene calcolata l intensità della componente blu e verde sulla base dei pixel vicini (e viceversa)

22 Immagini digitali Rappresentazione di immagini digitali Esempio: fotocamera a 12.2 Mpixel 4272 x 2848 = pixel 3 byte / pixel x 12.2 Mpixel = 36.6 Mbyte Questa è la dimensione del file che si ottiene scattando in modalità raw

23 Compressione di immagini Tecniche di compressione di immagini In fase di codifica esiste la necessità di adottare tecniche di compressione per ottimizzare: Occupazione di spazio di memoria Velocità di trasmissione attraverso la rete Tecniche di compressione senza perdita di informazione (lossless) con perdita di informazione (lossy)

24 Compressione di immagini Compressione basata su oracolo Consideriamo il numero di bit necessari a rappresentare le immagini acquisite dal sistema visivo umano nel corso della nostra vita Approssimiamo per eccesso le immagini acquisite 30 immagini / sec x 3600 sec / ora x 24 ore/giorno x 365 giorni / anno x 90 anni =

25 Compressione di immagini Compressione basata su oracolo Per enumerare immagini abbiamo bisogno di soli log2( ) = 37 bit Se consideriamo l intera popolazione mondiale log2( x ) = 69 bit cioè = bit/immagine Una macchina digitale utilizza circa bit/immagine, previa compressione

26 Compressione di immagini Compressione lossless Compressione senza perdita d informazione (lossless) Reversibili l immagine compressa è identica a quella originale Il numero di bit necessari per memorizzare l immagine è inferiore Ne esistono di due tipi: Ad hoc per le immagini ad es. PNG Applicabili a qualsiasi tipo di dato ad es. ZIP

27 Compressione di immagini Compressione lossy Algoritmi con perdita di informazione (lossy) Sfruttano meccanismi di mascheramento del rumore propri del sistema visivo umano L occhio è più sensible al rumore quando l immagine è caratterizzata da un basso contrasto locale

28 Compressione di immagini Compressione lossy Algoritmi con perdita di informazione (lossy) Sfruttano il fatto che pixel vicini hanno intensità e colore spesso simili tra loro Scartano quella parte di contenuto dell immagine non visibile dall occhio umano Generalmente è possibile specificare quanto siamo disposti a perdere attraverso alcuni parametri Compromesso qualità vs. Dimensioni

29 Compressione di immagini Compressione lossy 29

30 Compressione di immagini Compressione lossy Algoritmi con perdita di informazione (lossy) Scartano quella parte di contenuto dell immagine non visibile dall occhio umano Irreversibili l immagine compressa è diversa da quella originale Compromesso qualità vs. dimensioni Generalmente è possibile specificare quanto siamo disposti a perdere attraverso alcuni parametri

31 Compressione di immagini Compressione lossy JPEG (Joint Picture Expert Group) è lo standard più comunemente utilizzato per la compressione lossy di immagini Esempio: 682x511 pixel = pixel pixel x 3 byte/pixel = byte (circa 1Mb)

32 Compressione di immagini Compressione lossy JPEG (Quality = 90) 97.8Kb 10.7:1

33 Compressione di immagini Compressione lossy JPEG (Quality = 50) 40.1 Kb 26:1

34 Compressione di immagini Compressione lossy JPEG (Quality = 10) 16.4 Kb 64:1

35 Compressione di immagini Compressione lossy JPEG (Joint Picture Expert Group) è lo standard più comunemente utilizzato per la compressione lossy di immagini Esempio: 800x600 pixel = pixel pixel x 3 byte/pixel = byte (c.a. 1.44Mb)

36 Compressione di immagini Compressione lossy JPEG (Quality = 90) 107 Kb 13.4:1

37 Compressione di immagini Compressione lossy JPEG (Quality = 50) 49.7 Kb 29:1

38 Compressione di immagini Compressione lossy JPEG (Quality = 10) 25.2 Kb 57:1

39 Formati JPEG JPEG (Joint Picture Expert Group) Codifica con perdita (lossy) Immagini a colori, 24 bit/pixel E il formato di compressione più utilizzato al mondo Buon rapporto di compressione c.a. 10:1 per immagini percettivamente indistinguibili dall originale A forti rapporti di compressione (> 30:1) introduce artefatti: Blocchettizzazione Contouring Attenzione: ogni modifica e salvataggio dell immagine degrada la qualità della stessa

40 Formati TIFF TIFF (Tagged Image File Format) Supporta un insieme di algoritmi di compressione Non tutti i sistemi supportano tutti gli algoritmi Codifica sia lossless che lossy Immagini a colori, 8-16 bit/pixel/colore (24-24 bit/pixel)

41 Formati TIFF TIFF (Tagged Image File Format) Il formato non è comunemente supportato dai web browser E ancora il formato di riferimento per lo scambio di immagini nel mercato editoriale Supporta spazi colore alternativi al RGB ad esempio CMYK per la rappresentazione di immagini per la stampa

42 Formati TIFF Raw E un formato supportato da alcune fotocamere digitali (tipicamente di fascia medio-alta) Ciascuna casa produttrice ha un proprio formato proprietario Rappresenta i valori RGB letti direttamente dal sensore della fotocamera, prima di qualsiasi operazione di elaborazione Ridimensionamento Bilanciamento del bianco Correzione automatica del contrasto/luminosità Compressione JPEG E utile quando Si cerca la massima qualità dell immagine Si vuole mantenere la possibilità di bilanciamento del bianco in fase di editing

43 Formati PNG PNG (Portable Network Graphics) Codifica senza perdita (lossless) Immagini a colori (24 bit/pixel) E supportato da tutti i web browser E particolarmente adatto per la codifica di immagini non naturali, che presentano aree uniformi e contorni molto ben definiti Ideale per loghi, scritte, rappresentazione raster di immagini vettoriali Supporta la trasparenza In molte applicazioni, è una valida alternativa a TIFF

44 Formati PNG Esempio: PNG vs. JPEG PNG 24Kb JPEG 13Kb

45 Metadati Metadati I metadati sono dati supplementari, che aggiungono informazioni ad un file multimediale (immagini, audio o video) Alcuni metadati sono associati ad ogni tipo di file, incluse le immagini: Nome del file Data di creazione Data di modifica Dimensione del file Ecc. Ciascun metadato è caratterizzato da Un etichetta o tag, che individua la caratteristica descritta. Ad es filesize Un valore associato al tag. Ad es byte

46 Metadati Exif Alcuni formati di immagini supportano la definizione di metadati specifici. Uno sistema comunemente adottato dalle fotocamere commerciali è Exif, Exchangeable file format Le informazioni descritte da Exif sono: Data e ora Impostazioni della fotocamera Produttore e modello Orientazione Apertura Tempo di esposizione Lunghezza focale Sensibilità ISO Bilanciamento del bianco

47 Metadati Exif Esempio di metadati Exif

48 Metadati Geotagging Nei metadati possono essere incluse informazioni relative alla locazione degli scatti (geotagging) Tagging manuale, l utente indica la posizione in cui è stata scattata la fotografia Tagging automatico, tramite ricevitore GPS connesso alla fotocamera

49 Metadati User tagging Molti sistemi di sharing di immagini consentono agli utenti di aggiungere tag descrittivi Questo tipo di tag sono estremamente utili nella ricerca di immagini in grandi collezioni

50 Formati multimediali e metadati Sommario 50 Immagini digitali Compressione di immagini Formati Metadati Video digitali Compressione di dati video Formati video

51 Rappresentazione di dati video Caratteristiche di un segnale video 51 Risoluzione spaziale Numero di pixel lungo la direzione orizzontale e verticale Ad es. 640x480 pixel Aspect ratio rapporto tra la dimensione orizzontale e verticale dell immagine Ad es. 4:3, 16:9, ecc. Risoluzione temporale (o frame rate) Numero di immagini visualizzate per secondo Ad es. 30 fps (frame per secondo)

52 Rappresentazione di dati video Caratteristiche di un segnale video 52 Esempio conversione frame rate 25 fps 8 fps

53 Rappresentazione di dati video Scansione progressiva/interallacciata 53 Video a scansione progressiva Per ciascun istante temporale viene rappresentata una intera immagine a risoluzione piena Utilizzata da La maggior parte dei monitor CRT per PC Tutti i monitor LCD Alcune televisioni HDTV 720p 1080p

54 Rappresentazione di dati video Scansione progressiva/interallacciata 54 Video a scansione interallacciata Per ciascun istante temporale è disponibile una immagine che rappresenta le sole righe pari/dispari dell immagine E utilizzata da Monitor CRT dei televisori tradizionali Alcuni monitor HDTV i

55 Rappresentazione di dati video Scansione progressiva/interallacciata 55 Video a scansione interallacciata E la modalità utilizzata nella trasmissione del segnale televisivo analogico (ma anche digitale, in alcuni casi) Ogni secondo vengono mostrati 50 semi-quadri - 25 semi-quadri rappresentano le righe pari - 25 semi-quadri rappresentano le righe dispari

56 Rappresentazione di dati video Scansione progressiva/interallacciata 56 I limiti del sistema visivo umano fanno sì che l occhio non sia in grado di percepire le righe mancanti, se la risoluzione temporale è sufficientemente alta (ad es. 50 semi-quadri al secondo) Il sistema di scansione interallacciata nasce storicamente per poter trasmettere un numero maggiore di canali televisivi nella stessa banda

57 Rappresentazione di dati video Scansione progressiva/interallacciata 57 Il formato di scansione del video può differire dal formato supportato dal dispositivo di visualizzazione Video interallacciato Monitor progressivo Si esegue una operazione di de-interlacing, per interpolare le righe mancanti Video progressivo Monitor interallacciato Viene scartata parte dell informazione

58 Rappresentazione di dati video Scansione progressiva/interallacciata 58 La conversione da scansione interallacciata a progressiva può introdurre artefatti in presenza di oggetti in movimento e/o cambi di scena

59 Compressione di dati video Compressione di dati video 59 Come per le immagini, i dati video vengono spesso compressi per Ridurre la dimensione dei file memorizzati su disco VideoCD DVD/BlueRay DivX,Xvid,ecc. Ecc. Consentire la trasmissione di dati video Televisione Digitale Terrestre Televisione Digitale Satellitare Video streaming (YouTube) VideoOnDemand (VoD) IPTV

60 Compressione di dati video Compressione di dati video 60 Codec video: sistema hardware o software costituito da due componenti: Encoder ricevere in ingresso una sequenza di immagini produce in uscita un bitstream, ovvero una sequenza di bit che rappresenta il video compresso Decoder Riceve in ingresso un bistream Produce in uscita la sequenza di immagini ricostruita Encoder Decoder

61 Compressione di dati video Compressione di dati video 61 Per la visualizzazione di dati video compressi è sufficiente avere a disposizione un decoder Per la creazione di bitstream, è necessario avere a disposizione un encoder Per garantire l interoperabilità, ovvero che lo stesso bitstream possa essere letto correttamente da più dispositivi, si definisce uno standard

62 Compressione di dati video Compressione di dati video 62 In assenza di compressione, la dimensione dei file video è notevole. Ad esempio: Video a scansione interallacciata (ad. es TV) 720 punti / linea 576 linee (288 linee pari, 288 linee dispari) 50 semiquadri al secondo 3 byte / pixel (RGB) 720 x 288 x 50 x 3 = byte / sec c.a. 31 Mbyte/sec c.a. 250 Mbps 2h di film occupano (se non compressi) 2x60x60x31 = Mbyte c.a. 223 Gbyte Un DVD ha una capacità di c.a. 4.5 Gb per memorizzare un film a risoluzione standard su DVD c è la necessità di un fattore di compressione pari a 223 / 4.5 = 50

63 Compressione di dati video Compressione di dati video 63 Video a scansione progressiva (ad. es cellulare o fotocamera) 320x240 pixel 15 frame / secondo 3 byte / pixel (RGB) 320 x 240 x 15 x 3 = byte / sec c.a. 3.5 Mbyte/sec c.a. 28 Mbps 1 minuto di video registrato occupa (se non compresso) 60x3.5 = 210 Mbyte

64 Compressione di dati video Compressione di dati video 64 Codifica intra-frame: codifico ogni frame come un immagine fissa E la tecnica usata da molte fotocamere compatte, che salvano i filmati ripresi in formato Motion-JPEG (ogni frame è compresso con JPEG) Si è in grado di ottenere rapporti di compressione dell ordine senza eccessiva perdita di qualità Per mettere un film su DVD abbiamo bisogno di un rapporto di c.a

65 Compressione di dati video Compressione di dati video 65 Codifica inter-frame: codifico ogni frame utilizzando la conoscenza delle immagini precedenti Frame consecutivi in una sequenza di immagini sono simili l uno all altro Codifico solo ciò che c è di nuovo in un frame rispetto al frame precedente E possibile ottenere rapporti di compressione di 50:1 fino a anche a 100:1 senza un degrado eccessivo della qualità

66 Compressione di dati video Compressione di dati video 66 Frame originale (da codificare)

67 Compressione di dati video Compressione di dati video 67 Frame precedente (di riferimento)

68 Compressione di dati video Compressione di dati video 68 Immagine differenza tra frame originale e di riferimento Grigio = 0 Nero < 0 Bianco > 0

69 Compressione di dati video Compressione di dati video 69 Codificare questa immagine richiede molti meno bit rispetto a codificare l immagine originale

70 Compressione di dati video Compressione di dati video 70

71 Compressione di dati video Compressione di dati video 71 E possibile fare di meglio, stimando il movimento degli oggetti

72 Formati video Video codec 72 Un codec video è un sistema costituito da due componenti: Un video encoder, che riceve in ingresso una sequenza di immagini non compressa, e produce in uscita una sequenza di bit Un video decoder, che riceve in ingresso una sequenza di bit, e produce in uscita la sequenza di immagini Esistono molteplici codec sul mercato Un decoder è in grado di interpretare solo le sequenze di bit prodotte dall encoder corrispondente

73 Formati video Video codec 73 I codec che hanno trovato maggiore diffusione sono stati sviluppati da due organismi di standardizzazione: MPEG (Movie Picture Expert Group) ITU-T (International Telecomunication Union - Telecommunication Standardization Sector) Sia MPEG e ITU-T hanno sviluppato nel corso degli ultimi 20 anni diversi standard, con l obiettivo di massimizzare la compressione per un certo livello di qualità dell immagine. Ciascuno standard definisce una lingua con una sua sintassi ben precisa, che può essere compresa solo da un decoder che la supporti

74 Formati video Video codec 74 Standard MPEG MPEG-1: (1992) VideoCD (l equivalente digitale del VHS), supportato dalla maggior parte dei lettori DVD MPEG-2: (1994) DVD, SVideoCD, TV broadcasting (satellitare, terrestre, cavo) MPEG-4 Part 2 (1998) Internet streaming, broadcast DivX, Xvid, FFMpeg sono diverse implementazioni software di MPEG-4 Part 2 MPEG-4 Part 10 (2003) Noto comunemente come AVC (Advanced Video Coding) oppure H.264 Tenderà a sostituire tutti gli standard precedenti Adottato in innumerevoli prodotti commerciali: - BlueRay Disc, iphone, PSP, QuickTime, etc.

75 Formati video Video codec 75 Standard ITU-T H.261: (1990) Sistemi obsoleti di video-conferenza su reti telefoniche H.263: (1996) Videoconfernenza, Videotelefonia, video streaming su internet H.264: (2003) E uguale a MPEG-4 Part 10 Esistono poi codec proprietari, sviluppati individualmente da aziende private per i propri prodotti

76 Formati video Video codec 76 Esistono poi codec proprietari, sviluppati individualmente da aziende private per i propri prodotti Microsoft WMV (Windows Media Video) WMV7,8,9 (Windows Media Player) VC-1 (BlueRay Disc) RealNetworks RealVideo RealPlayer Xiph.org foundation Theora Part of the Ogg project Opensource, royalty free codec inspired to (and competing with) MPEG-4...

77 Formati video Multimedia Container 77 Il video è quasi sempre accompagnato dall audio Il Container è un formato di file Descrive cosa può essere immagazzinato nel file Definisce come viene codificato il suo contenuto (ma per lo stesso container, i dati possono essere codificati con codec diversi) Il Multimedia container (ad es. Il formato.avi) descrive cosa può esserre immagazzinato in un file Dati video Dati audio Sottotitoli Ecc.

78 Formati video Multimedia Container 78 E possibile che un programma che sia in grado di aprire un file scritto in un certo formato non sia capace di decodificare i dati contenuti Capita, ad esempio che il lettore multimediale sia in grado di aprire un file, ma di riprodurre solo l audio o il video. Ciò significa che un il lettore riconosce correttamente il tipo di file, lo apre, ma non ha a disposizione il codec in grado di interpretare i dati audio o video in esso contenuti

79 Formati video Multimedia Container 79 I più comuni multimedia container sono: 3GP (.3gp,.3g2): usato nel campo della telefonia AVI (.avi): il formato standard nei sistemi operativi Windows MOV (.mov): usato da Apple QuickTime OGM: Ogg Media, standard video container usato dai codec Xiph.org RealMedia (.rm): usato da RealPlayer VOB (.vob): usato nei DVD DMF (.divx): DivX Media Format