Multimedia per il Web? Sistemi Ipermediali I formati dei media Internet? i sistemi di rete? i sistemi distribuiti? tutti i casi elencati? Augusto Celentano Università Ca Foscari Venezia quali sono le differenze? Augusto Celentano Sistemi Ipermediali - 2 WWW vs. Internet WWW e tecnologie multimediali Il World Wide Web è un applicazione distribuita (un contenitore di applicazioni ) che usa Internet come infrastruttura tecnologica! Internet fornisce servizi di comunicazione, protocolli, sistemi di archiviazione remota, etc.! WWW fornisce l interfaccia utente, un ambiente per le applicazioni distribuite e le applicazioni I sistemi multimediali coprono entrambi i mondi! ma ogni mondo ha il proprio spazio di utilizzo! a volte i confini sono poco definiti Le tecnologie multimediali sono ampiamente indipendenti dal Web! rappresentazione dell informazione! compressione dell informazione! trasmissione dell informazione Le applicazioni Web non sono le più critiche, né quelle che richiedono maggiori risorse! es. video on demand! es. comunicazione multicanale! l evoluzione del Web sta comunque imponendo nuovi obiettivi e quindi nuovi standard di qualità Augusto Celentano Sistemi Ipermediali - 3 Augusto Celentano Sistemi Ipermediali - 4
Argomenti Classificazione dei media Classificazione dei media Proprietà dei media Compressione delle informazioni Audio! generalità, psicoacustica, MP3, MIDI Immagini! generalità, GIF, JPEG, PNG In base alla dinamica dei media! diffusione e uso dei media! protocolli e tecnologie di rete In base al contenuto dei media! testo, immagine, audio, video! il testo rappresenta un caso banale Video! generalità, MPEG Augusto Celentano Sistemi Ipermediali - 5 Augusto Celentano Sistemi Ipermediali - 6 Classificazione dei media: dinamica Classificazione dei media:tipo Media statici! l informazione non cambia nel tempo Media dinamici! l informazione cambia nel tempo Media temporizzati! l informazione cambia nel tempo ed è soggetta a vincoli temporali Immagine Audio Video! codifica, compressione, qualità! pittorica (pixel) vs. geometrica (disegno vettoriale)! codifica, compressione, qualità! voce vs. musica vs. generico! codifica, compressione, qualità! animazione vs. filmato Augusto Celentano Sistemi Ipermediali - 7 Augusto Celentano Sistemi Ipermediali - 8
Classificazione dei media:tipo Obiettivi della codifica di dati multimediali Immagine Audio Video! codifica, compressione, qualità! pittorica (pixel) vs. geometrica (vector)! codifica, compressione, qualità! voce vs. musica vs. generico! codifica, compressione, qualità! animazione vs. filmato dimensione vs. tempo vs. qualità Ridurre la dimensione di una rappresentazione persistente dei dati Ottimizzare il tempo di trasmissione rispetto al tempo di riproduzione per dati continui Consentire la decodifica veloce di dati codificati su architetture convenzionali Controllare la qualità dei dati decodificati Fornire supporto per la sostituzione di dati mancanti Augusto Celentano Sistemi Ipermediali - 9 Augusto Celentano Sistemi Ipermediali - 10 Media statici (1) Media statici (2) L utente legge le informazioni con il proprio ritmo La diffusione dei dati non impone scadenze temporali (entro limiti ragionevoli ) L informazione diffusa è persistente L informazione può essere letta più volte Es. testo,immagini La dimensione dei dati non costituisce problema! maggiore dimensione = maggior tempo! compressione / decompressione La diffusione dell informazione e il suo uso avvengono in momenti separati! download / display! archiviazione sul disco locale! caching Augusto Celentano Sistemi Ipermediali - 11 Augusto Celentano Sistemi Ipermediali - 12
Media dinamici (1) Media dinamici (2) L utente deve seguire la dinamica dell informazione in tempo reale La diffusione può essere ritardata ma il significato dell informazione può cambiare (es. giochi) L informazione non è persistente (a volte può essere riprodotta più volte) La dimensione dell informazione è spesso grande, e deve essere fruita in un tempo predefinito ragionevole Diffusione e uso dell informazione sono contemporanee! download vs. streaming! soluzioni proprietarie! controllo dell interazione utente Es. presentazioni animate, introduzioni, Flash / Shockwave Augusto Celentano Sistemi Ipermediali - 13 Augusto Celentano Sistemi Ipermediali - 14 Media temporizzati (1) Media temporizzati (2) L utente deve accedere all informazione secondo tempi propri dell informazione stessa La diffusione deve rispettare l isocronismo dei media L informazione diffusa non è persistente I dati non possono essere due volte ( ) Es. audio e video real-time La dimensione dell informazione è grande e proporzionale al tempo di riproduzione Il ritmo di diffusione dei dati deve essere controllato! real-time! streaming! ampiezza di banda Augusto Celentano Sistemi Ipermediali - 15 Augusto Celentano Sistemi Ipermediali - 16
La compressione dei dati La compressione dei dati La dimensione dei dati multimediali è troppo grande perché si possano trasmettere o archiviare informazioni in modo efficiente senza ricorrere a tecniche di compressione! audio di qualità CD (2 canali, 16 bit a 44.1 khz): 150 Kbyte/s! video di qualità VHS (382*288*16 bit a 25 frame/s): 5.5 Mbyte/s! video di qualità NTSC (640*480*24 bit a 30 frame/s): 27 Mbyte/s La compressione dei dati ha lo scopo di ridurre lo spazio necessario alla loro memorizzazione riducendo anche il tempo necessario per la trasmissione! il dato deve essere decompresso per essere utilizzato! la compressione può essere eseguita in tempo reale o in tempo differito! la decompressione deve essere eseguita in tempo reale! il dato deve essere fruibile ma non necessariamente identico all originale (solo per dati multimediali) La riduzione dello spazio occupato può avvenire attraverso:! la riduzione del numero di bit necessari per codificare una singola informazione (compressione entropica)! la riduzione del numero di informazioni da memorizzare o trasmettere (compressione differenziale, compressione semantica) La compressione può conservare integralmente o no il contenuto del dato originale! compressione senza perdita di informazione (lossless, reversibile): sfrutta le ridondanze nella codifica del dato! compressione con perdita di informazione (lossy, irreversibile): sfrutta le ridondanze nell utilizzo (percezione) del dato Augusto Celentano Sistemi Ipermediali - 17 Augusto Celentano Sistemi Ipermediali - 18 Il processo di compressione Tecniche di compressione lossless Il processo di compressione procede attraverso tre fasi:! trasformazione: i dati che costituisco l informazione (es. i punti di un immagine) sono trasformati in un dominio che richiede (può richiedere) meno bit per la rappresentazione dei valori! quantizzazione: i valori così ottenuti sono (possono essere) raggruppati in un numero di classi minore e con distribuzione più uniforme! codifica: l informazione viene codificata in termini delle classi e dei valori ottenuti, insieme alla tabella di codifica Run-length encoding (RLE)! codifica sequenze di valori uguali premettendo un indicatore di ripetizioni al valore codificato Codifica di Huffman! assegna un numero inferiore di bit alle sequenze più probabili attraverso un vettore di codifica Compressione Lempel-Ziv-Welch (LZW)! costruisce dinamicamente una tabella di codifica con numero variabile di bit sulla base delle sequenze incontrate Codifica differenziale! ogni dato è rappresentato come differenza rispetto al dato precedente (con risoluzione lineare o non lineare) Augusto Celentano Sistemi Ipermediali - 19 Augusto Celentano Sistemi Ipermediali - 20
Tecniche di compressione lossy Run Length Encoding Compressione JPEG (per le immagini)! applica all immagine una trasformata nel dominio delle frequenze (Discrete Cosine Transform) che permette di sopprimere dettagli irrilevanti riducendo il numero di bit necessari per la codifica! consente anche compressione lossless con tecniche predittive Compressione MPEG (per i video)! codifica parte dei frame come differenze rispetto ai valori previsti in base ad una interpolazione Compressione MP3 (per l audio)! si basa alle proprietà psicoacustiche dell udito umano per sopprimere le informazioni inutili Se ci sono molti valori consecutivi ripetuti c è molta ridondanza che può essere eliminata! lunghe sequenze dello stesso valore possono essere sostituite da un simbolo di ripetizione, dal valore e dal numero di ripetizioni! la compressione è efficace per sequenze di almeno tre valori uguali! è adatta alla rappresentazione di immagini con poco dettaglio (es. uno sfondo uniforme) Esempio! BGFDDDDDDDDDIJUPPPPPHYTGBUYYYYINNNNNNGHHHHHHHKPPPPPPP! BGF@D9IJU@P5HYTGBU@Y4I@N5G@H7K@P7 Augusto Celentano Sistemi Ipermediali - 21 Augusto Celentano Sistemi Ipermediali - 22 Codifica entropica Codifica di Huffmann Si basa sulla probabilità che un certo valore appaia all interno di una sequenza, e codifica i valori con un numero di bit diverso in funzione della frequenza Entropia di una sorgente di informazioni H(S) = η = Σi pi log2 (1/pi)! p i è la probabilità che il valore i-esimo si presenti! log 2 1/p i è il minimo numero di bit necessario per codificare in modo riconoscibile il valore i-esimo Esempio: Crea un albero binario in modo bottom-up. I nodi dell albero sono simboli o gruppi di simboli! ad ogni passo prende i due nodi con le probabilità più basse, crea un sottoalbero e gli assegna come probabilità la somma delle probabilità dei nodi figli! etichetta i rami di destra con il bit 1, quelli di sinistra con il bit 0! il codice di ogni simbolo è l etichetta del cammino dalla radice A (15) X4 (39) X2 (13) X3 (24) X1 (11) simbolo # log2(1/pi) codice # di bit A 15 1.38 0 15 B 7 2.48 100 21 C 6 2.70 101 18 D 6 2.70 110 18 Simbolo A B C D E N occorrenze 15 7 6 6 5 Log 2 1/p i 1.38 2.48 2.70 2.70 2.96 B (7) C (6) D (6) E (5) E 5 2.96 111 15 N. di bit = 87 (teorico 85.29) Augusto Celentano Sistemi Ipermediali - 23 Augusto Celentano Sistemi Ipermediali - 24
Codifica LZW Codifica LZW Costruisce dinamicamente il vocabolario dei simboli codificati w = NIL; while ( read a character k ) { if wk exists in the dictionary w = wk; else { add wk to the dictionary; output the code for w; w = k; } } w k output codice simbolo NIL a a b a 256 ab b c b 257 bc c d c 258 cd d a d 259 da a b ab c 256 260 abc c a c 261 ca a b ab c abc c 260 262 abcc c a ca b 261 263 cab b c bc e 257 264 bce e a e 265 ea a b ab c abc f 260 266 abcf f EOF f La decodifica ricostruisce il vocabolario mentre espande il testo read a character k; output k; w = k; while ( read a symbol k ) { entry = dictionary entry for k; output entry; add w + entry[0] to dictionary; w = entry; } w k output codice simbolo a a a b b 256 ab b c c 257 bc c d d 258 cd d 256 ab 259 da 256 c c 260 abc c 260 abc 261 ca 260 261 ca 262 abcc 261 257 bc 263 cab 257 e e 264 bce e 260 abc 265 ea 260 f f 266 abcf f EOF Augusto Celentano Sistemi Ipermediali - 25 Augusto Celentano Sistemi Ipermediali - 26 Audio: fondamenti Conversione analogica/digitale del segnale audio Il suono udibile è un onda di pressione continua nell intervallo di frequenza da 16 Hz a 22 khz Per essere elaborato il suono deve essere digitalizzato (conversione A/D)! campionamento: divisione lungo l asse del tempo (si misura in Hz)! quantizzazione: rappresentazione discreta del livello del segnale (si misura in in bit di precisione)! es. CD audio è digitalizzato a 44.1 khz, 16 bit Qual è l effetto della digitalizzazione sulla qualità del segnale? level level time time Un segnale il cui spettro di frequenza è limitato superiormente può essere completamente ricostruito da un insieme di campioni se la frequenza di campionamento è almeno doppia della più alta frequenza presente nel segnale (teorema di Nyquist) Augusto Celentano Sistemi Ipermediali - 27 Augusto Celentano Sistemi Ipermediali - 28
Rapporto segnale/rumore Qualità dell audio vs. dimensione Nei sistemi analogici il segnale è alterato dal rumore, una fluttuazione casuale del livello del segnale dovuto a fenomeni elettronici! il rapporto segnale/rumore (SNR, signal to noise ratio) è una misura della qualità del segnale Qualità Telefonia Radio AM Intervallo di frequenza Hz 200-3,400 100-6,500 Campionamento khz 8.0 11.025 Bit per campione 8 8 Mono stereo mono mono Velocità dei dati kbit/s 8 11 V SNR = 10log 2 V 2 signal noise V = 20log V Nei sistemi digitali il rumore compare quale differenza tra il livello del segnale reale e il livello del segnale quantizzato signal noise Radio FM CD audio DAT DVD audio 20-12,000 20-20,000 20-20,000 20-20000 22.050 44.1 48.0 192.0 16 16 16 24 stereo stereo stereo stereo 88.2 176.4 192 1,152 V SQNR = 20log V signal quant noise = 20log N 2 1 2 1 = 6.02N ( db) Augusto Celentano Sistemi Ipermediali - 29 Augusto Celentano Sistemi Ipermediali - 30 Problemi nella codifica dell audio La codifica e decodifica digitale di segnali audio presenta maggiori problemi rispetto alle immagini (e al video)! L audio ha una struttura temporale che non può essere modificata (frequenza)! l informazione audio è variabile nel tempo (non esiste il fermo audio )! la qualità di riproduzione richiesta di solito supera di molto la soglia di semplice comprensibilità Audio: dimensione & tempo di trasferimento L audio non compresso di buona qualità supera la capacità di trasmissione delle reti convenzionali! Radio FM > 640 Kbit/sec, CD audio > 1.2 Mbit/sec I dati sono di grandi dimensioni! il segnale codificato occupa molto spazio! La lunghezza è in linea di principio non limitata (audio dal vivo) Non è possibile trasferire tutto il file prima di iniziarne la riproduzione! streaming: riproduzione durante la ricezione Augusto Celentano Sistemi Ipermediali - 31 Augusto Celentano Sistemi Ipermediali - 32
Formati audio (1) Formati audio (2) WAV, Waveform Audio File! sviluppato congiuntamente da Microsoft e IBM! standard de-facto per la codifica del suono su PC! non compresso AIFF,Audio Interchange File Format! sviluppato da Apple Computer µ-law! formato audio standard del Macintosh! non compresso (esiste una versione compressa)! formato audio standard Unix! standard telefonico in USA (8KHz, 8 bit) Audio MPEG-1! codifica le tracce audio nei video MPEG-1! è un formato compresso per codifica a qualità variabile! usa un algoritmo di compressione a più stadi basato su principi di psicoacustica! sono definiti tre livelli di codifica per tre diversi bit-rate! è uno standard cross-platform! le applicazioni nel mercato consumer sono molte e commercialmente significative A-LAW! versione europea di µ-law Augusto Celentano Sistemi Ipermediali - 33 Augusto Celentano Sistemi Ipermediali - 34 La compressione audio (1) La compressione audio (2) La compressione sena perdita non fornisce buone prestazioni! i dati audio sono molto variabili! le configurazioni ricorrenti sono rare E necessario utilizzare metodi di compressione con perdita! l informazione audio è ridondante! la qualità di compressione può essere controllata! l orecchio umano non ha un comportamento lineare Compressione del silenzio! il silenzio è un insieme consecutivo di campioni sotto una certa soglia! è simile alla compressione RLE (run-length encoding) Adaptive Differential Pulse Code Modulation! codifica la differenza tra campioni consecutivi! la differenza è quantizzata, quindi si ha perdita di informazione Linear Predictive Coding! adatta il segnale ad un modello del parlato umano! trasmette i parametri del modello e le differenze del segnale reale rispetto al modello Augusto Celentano Sistemi Ipermediali - 35 Augusto Celentano Sistemi Ipermediali - 36
Elementi di psicoacustica Come percepiamo il suono e la voce! intervallo di frequenza: ~ 20 Hz - 20 khz, la sensibilità maggiore dell orecchio si ha tra 2 e 4 KHz.! l intervallo dinamico riconoscibile è ~ 96 db! la voce umana ha frequenze nell intervallo ~ 500 Hz - 2 khz Le frequenze per cui si ha una percezione uniforme dell ampiezza possono essere riunite in bande critiche! ogni banda ha un ampiezza da 100 Hz a 4 khz! l intero spettro delle frequenze udibili è suddiviso in 25 bande critiche Sensibilità dell orecchio umano La sensibilità dell orecchio umano è variabile lungo lo spettro audio! la sensibilità massima si ha intorno ai 2-3 khz, e decresce alle estremità dello spettro 40 30 db 20 10 Threshold in quiet 0 0 2 4 6 8 10 12 14 16 Frequency (khz) Augusto Celentano Sistemi Ipermediali - 37 Augusto Celentano Sistemi Ipermediali - 38 Mascheramento di frequenza (1) Un suono puro può mascherarne un altro con frequenza vicina e livello più basso! se riproduciamo un suono a 1 khz, altri suoni contemporanei nell intervallo di mascheramento non possono essere percepiti Mascheramento di frequenza (2) Il mascheramento è differente per ogni frequenza! può essere definito per ogni banda critica Masking by 1 khz tone 40 30 db 20 10 0 0 2 4 6 8 10 12 14 16 Frequency (khz) db 60 40 20 0 250 Hz 500Hz 1 khz 2 khz 4 khz 8 khz Augusto Celentano Sistemi Ipermediali - 39 Augusto Celentano Sistemi Ipermediali - 40
Mascheramento temporale Un suono può mascherare un altro suono per un breve intervallo di tempo! se ascoltiamo un suono forte, quando termina è necessario che trascorra qualche tempo (alcuni ms) prima di riuscire a percepire un suono più debole Mascheramento combinato Gli effetti del mascheramento di frequenza e di quello temporale si combinano level (db) db 60 40 test tone masking tone time 20 mask tone -5 0 5 10 20 50 100 200 500 (ms) frequency inaudible tones Augusto Celentano Sistemi Ipermediali - 41 Augusto Celentano Sistemi Ipermediali - 42 Proprietà dell audio MPEG MPEG-1 layer 3 (MP3) è lo standard attuale per audio (musicale) di alta qualità con un elevato livello di compressione! i bit-rate più comuni vanno da 48kbit/sec a 384 kbit/sec (CD audio non compresso è >1.4 Mbit/sec)! il livello di compressione è nell intervallo 2.7-24! un livello di compressione di 6:1 (256 kbit/sec) è praticamente indistinguibile dal segnale originale! da 96 a 128kbit/sec la qualità è ottimale per applicazioni domestiche (consumer)! diverse frequenze di campionamento (32, 44.1 and 48 khz) segnale monofonico, dual, stereo, joint stereo L algoritmo di compressione audio MPEG (1) E diviso in quattro stadi che utilizzano le proprietà del modello psicoacustico divide il segnale audio in 32 sotto-bande di frequenza per ogni sotto-banda calcola la quantità di mascheramento se la potenza del segnale nella sotto-banda è inferiore alla soglia di mascheramento, il segnale non viene codificato altrimenti, calcola il numero di bit necessari per rappresentare il segnale in modo che il rumore di quantizzazione sia inferiore alla sogli a di mascheramento (1 bit ~ 6 db di rumore) compone il flusso di bit secondo un formato standard per la trasmissione Augusto Celentano Sistemi Ipermediali - 43 Augusto Celentano Sistemi Ipermediali - 44
L algoritmo di compressione audio MPEG (2) Audio MPEG: un esempio Il livello in banda 8 è 60dB! il mascheramento è di 12 db sulla banda 7, 15dB sulla banda 9 Il livello in banda 7 è 10 db (< 12 db ), viene ignorato Il livello in banda 9 è 35 db (> 15 db ), viene codificato Solo la parte sopra la soglia di mascheramento deve essere codificata! si usano 4 bit invece di di 6 (2 bit = 12 db) Band 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 Level (db) 0 8 12 10 6 2 10 60 35 20 15 2 3 5 3 1 Augusto Celentano Sistemi Ipermediali - 45 Augusto Celentano Sistemi Ipermediali - 46 Livelli (layer) di codifica dell audio MPEG Qualità dell audio MPEG Layer 1: filtro DCT con un solo frame ed una ripartizione costante delle frequenze nelle sotto-bande! il modello psicoacustico usa solo il mascheramento di frequenza Layer Target bit rate Compressione Qualità a 64 kb Qualità a 128 kb Ritardo Layer 2: usa tre frame durante il filtraggio (precedente, corrente, prossimo, per un totale di 1152 campioni)! utilizza in parte anche il mascheramento temporale Layer I Layer II 192 kb/s 128 kb/s 4:1 6:1 -- < 3 -- 4+ 19 msec 35 msec Layer 3: ripartisce lo spettro di frequenza in sotto-bande di ampiezza diversa! il modello psicoacustico comprende il mascheramento temporale! considera anche la ridondanza stereo! utilizza un compressore di Huffman Layer III 64 kbit/s 12:1 59 msec Fattore di qualità: 5 - perfetta, 4 - appena percettibile, 3 - leggermente fastidiosa 2 - fastidiosa, 1 - molto fastidiosa < 4 4+ Augusto Celentano Sistemi Ipermediali - 47 Augusto Celentano Sistemi Ipermediali - 48
Musical Instruments Digital Interface I sistemi MIDI Il protocollo MIDI fornisce un modo standard ed efficiente per descrivere eventi musicali! permette a computer, sintetizzatori, tastiere e altri strumenti musicali elettronici di comunicare tra di loro! I messaggi MIDI sono istruzioni che dicono ad un sintetizzatore come suonare un brano musicale! la generazione del suono è locale al sintetizzatore! i messaggi descrivono il tipo di strumento usato, la note suonate, il loro volume, la velocità, l attacco, gli effetti, I sistemi MIDI possono essere molto complessi ma la maggior parte di sound card è corredata dell hw necessario Augusto Celentano Sistemi Ipermediali - 49 Augusto Celentano Sistemi Ipermediali - 50 I messaggi MIDI MIDI: perché e quando (1) ----- voice messages ---- channel messages ----- ----- mode messages MIDI messages ---- ---- common messages ----- system messages ----- ---- real-time messages ---- exclusive messages I messaggi di canale (channel message) descrivono le note suonate e il modo di suonarle MIDI è un modo efficiente per codificare suoni musicali all interno di documenti Web! i file MIDI sono compatti e contengono informazioni sulla temporizzazione (non ci sono vincoli hard real-time)! non si rappresenta la forma d onda del suono, ma solo eventi discreti di tipo predefinito! brani musicali complessi occupano un piccolo spazio di memoria Particolarmente adatto per musica di sottofondo I messaggi di sistema (systems message) trasportano informazioni di set-up e di sincronizzazione Augusto Celentano Sistemi Ipermediali - 51 Augusto Celentano Sistemi Ipermediali - 52
MIDI: perché e quando (2) Immagini: fondamenti Ma! può essere descritta solo la musica tradizionale occidentale (scala tonale)! non è possibile rappresentare suoni quali rumori, voce, altri fenomeni acustici! i computer devono avere opportune schede audio (molto comuni, ma non tutte le schede audio di base sono adeguate)! la qualità dipende dall equipaggiamento MIDI (sintetizzatore)! la codifica dei canali e dei messaggi non è completamente standard (es. Roland, Yamaha, ) La luce visibile è un onda elettromagnetica la cui lunghezza varia tra 400 nm e 700 nm La retina dell occhio umano è composta di bastoncelli e coni! i bastoncelli sono sensibili al livello di luminosità! i coni sono di tre tipi, sensibili rispettivamente ai colori rosso, verde e blu Augusto Celentano Sistemi Ipermediali - 53 Augusto Celentano Sistemi Ipermediali - 54 Immagini: proprietà Profondità di colore! immagini monocromatiche e a scala di grigi (1 bit, 8 bit)! colori indicizzati: normalmente 8 bit/256 colori scelti tra??? (tavolozza o CLUT, Color Look-Up Table)! colori veri: 24 bit/16.7m colori, 48 bit (alta definizione), 24 + 8 bit (alpha channel) Risoluzione! limitata alle dimensioni più comuni dello schermo per le applicazioni Web! le immagini possono essere codificate con risoluzioni multiple! miniature per un preview veloce Immagini: occupazione di memoria L occupazione di memoria varia in funzione della profondità di colore e della dimensione dell immagine! scala di grigi 160 x 120 = 17.75 Kbyte! 8 colori indicizzati 640 x 480 = 300 Kbyte! true color 1024 x 768 = 2.25 Mbyte (valori riferiti a immagini non compresse) La compressione riduce sensibilmente la dimensione! 1024 x 768 JPEG 300 Kbyte Augusto Celentano Sistemi Ipermediali - 55 Augusto Celentano Sistemi Ipermediali - 56
Immagini: tempo di trasferimento Formati di immagine standard il tempo di trasferimento su rete per le immagini non compresse non è accettabile nemmeno se si hanno a disposizione connessioni veloci! 2,25 Mbyte su ADSL 640 Kbit = 28 sec. L immagine compressa JPEG richiede un tempo molto minore! 300 Kbyte su ADSL 640Kbit = 4 sec.! il tempo di decompressione non è significativo su workstation standard di mercato Indipendenti dalla piattaforma e dal produttore Generalmente non richiedono licenze (tranne GIF )! GIF: 8 bit, animazione, trasparenza! JPEG: true color, qualità, compressione con perdita! PNG: compressione senza perdita, alpha channel, estensibilità I tempi sono ancora migliori se l immagine serve solo per la visualizzazione sullo schermo! i requisiti di qualità sono inferiori rispetto alla stampa Augusto Celentano Sistemi Ipermediali - 57 Augusto Celentano Sistemi Ipermediali - 58 GIF, Graphics Interchange Format GIF: perché e quando E il primo standard codificato per la trasmissione di immagini su reti Sviluppato da Unisys e Compuserve 256 colori indicizzati Algoritmo di compressione LZW (brecetto Unisys) Altre proprietà: interallacciamento, trasparenza, animazione Immagini semplici con pochi colori distinti Compressione senza perdita, decodifica veloce Le immagini animate catturano l attenzione e rendono più visibili i messaggi (pubblicità) La trasparenza consente una migliore integrazione con lo sfondo (es. formule) Augusto Celentano Sistemi Ipermediali - 59 Augusto Celentano Sistemi Ipermediali - 60
JPEG, Joint Photographic Experts Group Standard per la compressione di immagini fotografiche Elevati livelli di compressione che sfruttano le limitazioni della percezione ottica umana La compressione è con perdita e di qualità variabile JPEG: rappresentazione dei colori La percezione umana del livello di luminosità è più accurata della percezione del colore! l informazione di luminanza deve essere rappresentata con maggior precisione rispetto all informazione di crominanza! la luminanza e la crominanza sono codificate separatamente! sono utilizzate risoluzioni diverse per le due componenti (sottocampionamento dell informazione di crominanza) Codifica di colore YUV! Y (luminanza) è una combinazione delle componenti di colore RGB! U e V (crominanza) sono codificate come differenze rispetto a colori di riferimento: U = B -Y, V = R -Y! U and V sono sottocampionate Augusto Celentano Sistemi Ipermediali - 61 Augusto Celentano Sistemi Ipermediali - 62 JPEG: algoritmo di compressione JPEG: Discrete Cosine Transform Image f(i,j) DCT F(u,v) quantization Fq(u,v) f(x,y) F(u,v) 8x8 DCT header tables data coding tables entropy coding quant. tables DPCM RLE DC AC zig-zag scan F( u, v) N N = α( u) α( v) π (2x + 1) u π (2y + 1) u f ( x, y)cos N cos 2 x= 0 y= 0 2N Augusto Celentano Sistemi Ipermediali - 63 Augusto Celentano Sistemi Ipermediali - 64
Discrete Cosine Transform (2) Discrete Cosine Transform (3) Ogni coefficiente della trasformata DCT esprime il peso della relativa frequenza nell immagine La trasformata coseno è invertibile, quindi l immagine originale può essere ricostruita! la quantizzazione dei coefficienti DCT causa il degrado dell immagine ricostruita Augusto Celentano Sistemi Ipermediali - 65 Augusto Celentano Sistemi Ipermediali - 66 Codifica dei coefficienti DCT Modalità di compressione JPEG Le frequenze più alte rappresentano dettagli dell immagine che possono essere soppressi senza perdita apprezzabile di informazioni! la matrice 8x8 dei coefficienti DCT viene linearizzata con una scansione a zig-zag! i coefficienti delle frequenze più alte sono trascurabili o nulli! si possono adottare tecniche di compressione RLE... La compressione JPEG prevede quattro modalità di codifica! codifica sequenziale: ogni immagine è codificata in una sola scansione dall alto in basso e da sinistra a destra! codifica lossless: non utilizza DCT ma tecniche predittive. Ogni punto è rappresentato come differenza rispetto ad un valore atteso come funzione dei punti adiacenti! codifica progressiva: permette di visualizzare l immagine con bassa qualità all inizio e con qualità crescente durante il procedere della visualizzazione! codifica gerarchica: l immagine è sottocampionata e codificata JPEG, inseguito vengono codificate le differenze tra l immagine ricostruita e l immagine originale Augusto Celentano Sistemi Ipermediali - 67 Augusto Celentano Sistemi Ipermediali - 68
JPEG: perché e quando Immagini fotografiche ricche di colori diversi e sfumature La precisione nella riproduzione dei dettagli più minuti non è essenziale Il caricamento e la visualizzazione possono essere progressivi E possibile regolare al qualità sia per la visualizzazione sia per la stampa E lo standard compresso più utilizzato PNG, Portable Network Graphics E un formato estendibile, compresso senza perdita, portabile, per immagini pittoriche Non è soggetto a brevetti e licenze (può sostituire GIF) Supporta colori indicizzati, a scala di grigi e immagini true color Consente effetti di trasparenza controllabili attraverso un alpha channel opzionale La profondità di colore è variabile da 1 a 16 bit E una raccomandazione W3C Augusto Celentano Sistemi Ipermediali - 69 Augusto Celentano Sistemi Ipermediali - 70 PNG: perché e quando Video: fondamenti Ha gli stessi usi del formato GIF senza richiedere licenza Ha una qualità uguale o migliore del formato JPEG, ma una compressione minore Permette un maggior controllo degli effetti sull immagine attraverso l alpha channel E estendibile per inserire nel file information addizionali e proprietarie in modo standard E promosso da W3C Il video analogico è codificato da un segnale continuo variabile nel tempo! può essere digitalizzato, ma non ulteriormente elaborato a causa della natura bidimensionale delle immagini Il video digitale è rappresentato da una sequenza di immagini digitali! accesso diretto a qualunque fotogramma! editing video non lineare! non sono necessari segnali supplementari (blanking, sincronizzazione, ) Augusto Celentano Sistemi Ipermediali - 71 Augusto Celentano Sistemi Ipermediali - 72
Video: tipi di segnale Video: proprietà Video a componenti separate! ogni segnale primario (RGB, YUV) è trasmesso come segnale separato! consente la migliore riproduzione dei colori per l assenza di fenomeni di interferenza tra i segnali! richiede una banda passante molto elevata e una sincronizzazione molto precisa tra i tre segnali Video composito! i segnali di luminanza e di crominanza sono miscelati su una sola portante! si introducono alcune interferenze tra i segnali Il video analogico utilizza un normalmente un segnale composito (sempre per la trasmissione) Il video digitale utilizza un segnale a componenti separate Profondità di colore! la registrazione codifica immagini true color! la riproduzione dipende dal dispositivo di visualizzazione Risoluzione! dipende dagli standard! l informazione di crominanza è sottocampionata Frequenza dei fotogrammi! PAL = 25 fotogrammi/sec! NTSC = 30 fotogrammi/sec! minimo ~ 15 fotogrammi/sec per evitare la percezione a scatti dei movimenti CCIR 601 NTSC CCIR 601 PAL CIF QCIF 720 x 485 720 x 576 352 x 288 176 x 144 Augusto Celentano Sistemi Ipermediali - 73 Augusto Celentano Sistemi Ipermediali - 74 Video: occupazione di memoria Video: tempo di trasferimento Il video non compresso è di dimensioni molto elevate! La televisione ad alta definizione (HDTV) richiede un bit-rate che può superare 1 Gbps I dati devono essere compressi! un ora di video MPEG-1 a qualità VHS (352 x 288, 25 fotogrammi/sec) occupa un CD-ROM (~600 Mbyte) Si utilizzano tecniche di compressione con perdita! eliminazione della ridondanza spaziale e temporale! codifica intra-frame e inter-frame Il caricamento da rete del video ha gli stessi problemi del caricamento delle immagini, e inoltre! il video è un tipo di dato continuo e temporizzato! il tempo di caricamento deve essere compatibile con il tempo di riproduzione! la riproduzione deve avvenire ad una frequenza costante Non è accettabile una soluzione download + play E necessario ricorrere a tecniche di streaming (la riproduzione avviene mente il file viene trasferito) Il controllo della temporizzazione richiede tecniche sofisticate di bufferizzazione Augusto Celentano Sistemi Ipermediali - 75 Augusto Celentano Sistemi Ipermediali - 76
Standard video (1) Standard video (2) H. 261, sviluppato da CCITT nel 1988-1990! progettato per applicazioni di videoconferenza e videotelefonia su linee telefoniche ISDN! immagini in formato CIF (352 x 288) e QCIF (176 x 144)! il bit-rate è p x 64 Kb/sec, 1 <= p <= 30 H.261 e H.263 basano la codifica di un fotogramma sull analisi delle differenze rispetto al fotogramma precedente! sono codificate solo le differenze e il contenuto ricostruito per confronto! la compensazione di moto stima il movimento di porzioni di immagine tra fotogrammi successivi e codifica la differenza rispetto alla stima (H.263) H. 263 (1996), codifica migliorata per bit-rate bassi! il formato delle immagini è variabile da 128 x 96 fino a 1480 x 1152! l algoritmo di compressione è migliore Augusto Celentano Sistemi Ipermediali - 77 Augusto Celentano Sistemi Ipermediali - 78 MPEG, Motion Picture Expert Group La famiglia MPEG (1) Estende gli algoritmi di compressione H.261 and H.263 con uno schema di previsione del movimento più sofisticato! i fotogrammi di tipo I (I-frame) sono codificati interamente con un algoritmo JPEG)! i fotogrammi di tipo P (P-frame) sono codificati in base ad unna stima riferita al fotogramma I o P precedente! i fotogrammi di tipo B (B-frame) sono codificati in base a due stime di movimento relative ai fotogrammi precedenti e seguenti (stima bidirezionale) MPEG-1! CD-ROM video di media qualità! la qualità è comparabile alla qualità delle registrazioni su nastro VHS! la decodifica non richiede hardware specializzato su PC standard di mercato MPEG-2! DVD-ROM video di alta qualità! la qualità è comparabile o superiore rispetto alle trasmissioni televisive commerciali! è il formato standard per le applicazioni consumer di fascia alta! richiede hardware specifico per la decompressione a meno di non impegnare completamente il PC I B B P B B P B B I Augusto Celentano Sistemi Ipermediali - 79 Augusto Celentano Sistemi Ipermediali - 80
La famiglia MPEG (2) Formati proprietari MPEG-4! permette di integrare stream video e oggetti creati in modo indipendente! consente l indicizzazione dei singoli componenti di una scena! si rivolge alle applicazioni che coinvolgono sistemi multimediali complessi e interattivi! è ancora poco diffuso MPEG-7! associa agli oggetti che compongono un applicazione multimediali una serie di descrittori per consentirne la classificazione e la ricerca per contenuto! definisce contenitori generici per oggetti di media differenti secondo standard diversi! si rivolge ad applicazioni di information retrieval basate sul contenuto! è uno standard definito recentemente e ancora allo stato prototipale AVI (Audio Video Interleave)! formato proprietario Microsoft, standard de facto nei sistemi Windows! è un caso particolare di file RIFF (Resource Interchange File Format) utilizzato per codificare numerosi formati diversi secondo principi simili! supporta numerosi codec diversi anche proprietari QuickTime! formato proprietario Apple, standard nei sistemi Macintosh! esistono player su tutte le piattaforme! supporta numerosi codec diversi anche proprietari! supporta QuickTime Virtual Reality e MIDI! consente una forma limitata di streaming Real Media! progettato espressamente per applicazioni streaming di audio e video! il livello di compressione e la qualità di riproduzione sono variabili! standard de facto multipiattaforma per le trasmissioni streaming Augusto Celentano Sistemi Ipermediali - 81 Augusto Celentano Sistemi Ipermediali - 82