Introduzione ai Sistemi Multimediali

Transcript

1 Sistemi Multimediali Introduzione ai Sistemi Multimediali Marco Gribaudo Sistemi Multimediali Corso (vagamante) basato sui testi: Digital Multimedia, 3rd edition di: Nigel Chapman and Jenny Chapman pubblicato da: John Wiley & Sons, 2009 Sistemi Multimediali e: Image and Video Compression for Multimedia Engineering: Fundamentals, Algorithms, and Standards, Second Edition di: Yun Q. Shi and Huifang Sun pubblicato da: CRC Press, 2008 Le informazioni possono essere presentate sotto forma di: Testo, Immagini, Filmati, Audio, Presentazioni, Pagine Web... Tutti questi mezzi di comunicazione prendono il nome di Media. Una prima caratterizzazione suddivide i Media in: I media statici non variano nel tempo: alcuni esempi sono le immagini ed il testo. Statici Dinamici I media dinamici, hanno invece una durata e presentano contenuti che si susseguono nel tempo. Esempi classici sono il video e l'animazione.

2 Ogni media ha i suoi pregi ed i suoi difetti. Compito di un esperto di comunicazione multimediale e' quello di scegliere sempre il mezzo piu' opportuno per raggiungere lo scopo prefissato. A volte un mezzo solo di comunicazione non e' sufficiente ed occorre combinare piu' media insieme. La combinazione di piu' media diversi prende il nome di Multimedia. Quando i media sono memorizzati in formato digitale, essi possono essere visualizzati, riprodotti e manipolati da opportuni strumenti software. L'esperto di sistemi multimediali e' capace di realizzare questi software! Le competenze che si richiedono sono quindi quelle di saper: Visualizzare e riprodurre i media. Combinare piu' media insieme. Elaborare e modificare i media. Acquisire, memorizzare e trasmettere i media. Alcuni media possono essere Interattivi. In questo caso l'utente puo' intervenire sul media stesso, cambiandolo interattivamente durante la sua fruizione. L'interazione piu' semplice consiste nella non linearita'. Lineare in questo caso si riferisce al modo in cui si susseguono le informazioni che costituiscono il media.

3 In un media lineare (come un libro o un film), la narrazione segue un filo continuo che l'utente segue in modo passivo. Un sito web, permette invece un flusso non lineare, dal momento che e' l'utente a decidere il susseguirsi delle pagine attivando i corrispondenti link durante la navigazione. Anche le animazioni in filmati realizzati con tecnologia Flash possono prevedere al loro interno rimandi e script con cui il video puo' adattarsi alle scelte eseguite dall'utente - consentendo quindi una fruizione non lineare. In molti casi i media devono poi interagire con altre componenti informatiche "standard" quali le reti ed i database. I media devono quindi potersi integrare all'interno di altre applicazioni. La maggior parte dei linguaggi di programmazione non fornisce un supporto nativo per l'inclusione di elementi multimediali. Vi sono pero' numerosissime librerie esterne con cui si possono integrare elementi multimediali in una applicazione, e queste sono disponibili per la maggior parte degli ambienti di sviluppo. Malgrado ogni libreria presenti un'interfaccia sostanzialmente diversa dalle altre, tutte piu' o meno forniscono funzionalita' simili. E' quindi essenziale capire quali siano i concetti alla base delle similitudini presenti nei vari strumenti atti ad includere e trattare i media.

4 Nella maggior parte dei casi, le funzionalita' legate ad un particolare media derivano dal modo in cui esso e' coficato. Per questo gran parte del corso si concentrera' sulla codifica digitale dei media. Audio, immagini e video sono informazioni analogiche che devono essere trasformate in formato digitale per poter essere codificate. Per poter analizzare pregi e difetti delle operazioni di codifica, queste devono essere fomalizzate. Un segnale e' una variazione di un parametro continuo in funzione di un'altro: generalmente il tempo o lo spazio. Un segnale viene quindi di solito formalizzato come una funzione da R n a R m : Sia il valore del segnale che il parametro da cui esso dipende possono essere caratterizzati da piu' dimensioni. Un segnale audio e' una funzione da R 1 (il tempo) ad R 1 (la pressione dell'aria). Un segnale monodimensionale viene spesso chiamato froma d'onda.

5 Un'immagine in bianco e nero e' un segnale da R 2 (un punto nello spazio) ad R 1 (un'intensita' luminosa). Un filmato in bianco e nero e' un segnale da R 3 (un punto nello spazio, in un istante di tempo) ad R 1 (un'intensita' luminosa). Un'immagine a colori e' un segnale da R 2 (un punto nello spazio) ad R 3 (tre intensita' luminose diverse per i tre colori primari rosso, verde e blu). La codifca di audio, immagini e video puo' quindi essere generalizzata come una codifica di particolari segnali. Anche se ogni media presenta delle tecniche specifiche di codifica, tutti condividono alcune caratteristiche comuni. In particolare, il processo di digitalizzazione si basa su due concetti: consiste nel "misurare" il segnale in istanti (o posizioni) differenti... La quantizzazione

6 In modo da poter ricostruire il segnale originale a partire dalle misure effettuate. Un esempio di campionamento "analogico" si ha nel cinema, dove il movimento viene catturato attraverso numerose "istantanee" (dette fotogrammi) del soggetto, catturate ad una frequenza prefissata. La televisione (analogica), campiona anche essa l'immagine suddividendola prima in fotogrammi, poi in righe (chiamate scanline). Il video viene quindi trasmesso con un segnale (questa volta solo piu' dipendente dal tempo) che corrisponde alla sequenza delle linee campionate. Si chiama frequenza di campionamento (f) il numero di misure effettuate al secondo. f Si definisce intervallo di campionamento (T) il tempo che intercorre tra due campioni. Viene invece chiamato campione (sample) ogni singola misurazione effettuata. T

7 La frequenza di campionamento viene misurata in Hertz. Se l'intervallo di campionamento e' misurato in secondi, allora vale la regola: f = 1/T Si puo' anche parlare di campionamento spaziale: in questo caso le unita' di misura sono meno standard. Un esempio di campionamento spaziale e' la scansione, la cui risoluzione viene misurata in DPI (punti per pollice). Vi e' una forte dipendenza tra il numero di campioni effettuati e la capacita' di ricostruire il segnale acquisito. Un campionamento ad una frequenza troppo bassa, non permette di ricostruire la forma d'onda in ingresso. In questo caso si parla di sottocampionamento (undersampling). Un campionamento troppo fitto crea invece una quantita' enorme di dati non necessari. Immaginiamo di campionare un'onda ad una frequenza troppo bassa.

8 La ricostruzione darebbe originie ad un'onda diversa, generalmente caratterizzata da una frequenza molto minore. Questo fenomeno prende il nome di Aliasing. Esiste un risultato teorico che permette di calcolare la frequenza minima di campionamento in funzione della frequenza massima del segnale che si intende campionare. Esso afferma che per poter ricostruire correttamente un segnale costuito da una frequenza massima f, e' necessario effettuare un campionamento ad una frequenza superiore a 2f. Questo risultato prende il nome di teorema di Nyquist-Shannon. Il risultato e' esatto: in teoria a partire dal segnale campionato sarebbe possibile ricostruire esattamente la forma d'onda originale. In realta' la maggior parte di segnali e' costituito da un numero infinito di frequenze, per cui non e' possibile stabilire un limite massimo alle frequenze di cui esso e' composto. Per questo il campionamento comporta quasi sempre una perdita di qualita'.

9 Ad esempio, una semplice "onda quadra" (un segnale che alterna due valori diversi ad intervalli regolari), e' costituito da un numero infinito di frequenze. Utilizzandone solo alcune, il segnale puo' venire solamente approssimato. In grafica, un sotto-campionamento puo' produrre alcune "griglie" artificiali che prendono il nome di Moire Patterns. di cui abbiamo parlato fino ad ora, misura esattamente il segnale ad istanti di tempo equidistanti. Nella Pulse Amplitude Modulation (PAM), l'onda viene codificata mediante un treno di impulsi, la cui ampiezza corrisponde al valore dei campioni. Ogni misura consiste in un valore reale: un numero appartenente a R. Vi sono alcune tecniche "analogiche" con cui i segnali vengono campionati e ritrasmessi con valori continui. La Pulse Width Modulation (PWM), utilizza la durata degli impulsi per codificare il valore dei campioni. La Pulse Position Modulation (PPM) anticipa o ritarda il tempo a cui viene inviato in impulso (di durata ed ampiezza costante) per codificare il valore del campione.

10 I calcolatori e le reti di comunicazione sono invece apparecchi puramente digitali. I valori dei campioni devono quindi essere trasformati in quantita' binarie per poter essere memorizzati o trasmessi. Questo ulteriore processo di codifica prende il nome di Quantizzazione.