Dati multimediali. Gabriella Trucco

Transcript

1 Dati multimediali Gabriella Trucco

2 Sistema multimediale Un sistema multimediale e un sistema per la generazione, manipolazione, memorizzazione o presentazione di informazioni attraverso diversi mezzi (media). Di solito i media che vengono composti in un multimedia sono testi, suoni, immagini ferme e immagini in movimento, in particolare animazioni e video. Esempi: libro illustrato film televisione

3 Media discreti e continui Media discreti: si dicono media discreti o statici quelli che non sono dipendenti dal tempo. Esempi: testo, immagini fisse Media continui: Si dicono media continui o statici quelli che dipendono dal tempo. Esempi: suono, video In questa lezione ci focalizziamo su media continui.

4 Sistemi multimediali: schema generale Ci focalizziamo su due tipi di media: audio e video ne analizziamo le caratteristiche (produzione e percezione) come ne avvengono l'acquisizione e la memorizzazione qualche accenno su presentazione e sintetizzazione

5 Audio

6 Cos è il suono? Ogni media è destinato all'uomo, che ha un sistema sensoriale specifico punto di partenza: percezione Percezione del suono: il timpano e la catena ossicolare sono in grado di trasmettere oscillazioni longitudinali.

7 Cos è il suono? Suono: vibrazioni che si propagano nell'aria sotto forma di onde. in particolare nell'aria, onde di compressione Produzione: qualunque meccanismo atto a produrre onde di compressione

8 Segnali Possiamo rappresentare il fattore di compressione su un grafico x,y (x=tempo, y=compressione) Un segnale è una grandezza fisica variabile nel tempo e nello spazio che trasporta informazione

9 Segnali Ogni media è fisicamente esprimibile come un segnale, o un insieme di segnali. Dal punto di vista formale, un segnale si può rappresentare con una funzione dello spazio e del tempo: f(x; y; t) Nel caso del suono, l'informazione spaziale è irrilevante (ci interessa solo il fattore di compressione) ) f(x; y; t) = f(t) Ora che abbiamo una rappresentazione formale del suono, possiamo pensare di manipolarlo mediante un dispositivo (elettronico o non) NOTA: nel caso dei media discreti, l'informazione temporale è irrilevante f(x; y; t) = f(x; y)

10 Segnali sinusoidali Nel caso del suono, se l'onda è regolare, la funzione f(t) è una sinusoide x=tempo, y=energia dell'onda Segnali sinusoidali descritti da ampiezza e frequenza. Ampiezza: distanza tra un picco massimo e il picco minimo Frequenza (u, Hz): numero di cicli al secondo Lunghezza (l): distanza tra punti equivalenti Relazione tra u, l e velocita dell'onda (c): l = c/u Velocita di propagazione del suono nell'aria a 0 : m/s

11 Suoni e onde sinusoidali le note musicali sono (in linea di principio) sinusoidi pure! Ruolo delle frequenza: alta frequenza acuto, bassa frequenza grave Classificazione dei suoni in base alla frequenza: infrasuoni: 1-20 Hz udibile: 16 Hz - 20 KHz parlato: 600 Hz - 5 KHz, pianoforte: 20 Hz - 4KHz ultrasuoni: 20 KHz - 1 GHz percepibili da alcuni animali suoni no a 100 KHz usati in medicina (ecografia) e controllo (saldatura) MHz

12 Segnali non sinusoidali Qualcosa di un po' più complesso: Segnale relativo ad un concerto per pianoforte Ad uno sguardo più ravvicinato, il segnale è sempre una funzione del tempo f(t): Ma non è una sinusoide pura.

13 Analisi armonica Teorema di Fourier (semplificato): un qualsiasi segnale f(t), può essere ottenuto mediante la somma di un termine costante e di infinite funzioni sinusoidali. Ognuna delle funzioni sinusoidali avrà una certa ampiezza (A) ed una certa frequenza (u) Possiamo così definire per un dato segnale f(t) una funzione equivalente Ff(u) La funzione Ff (u) si chiama trasformata di Fourier ed indica l'ampiezza della sinusoide di frequenza u la trasformata di Fourier ci permette di analizzare un segnale (un media) in termini delle sue componenti sinusoidali (analisi armonica)

14 Spettro di frequenza Chiamiamo spettro di frequenza o semplicemente spettro di un segnale f(t) la rappresentazione grafica su un piano A; u della sua trasformata.

15 Una parentesi: equalizzatore Possiamo ora capire il funzionamento di un equalizzatore componente che modica lo spettro di un segnale audio permette di smorzare o amplificare le sinusoidi a determinati intervalli di frequenze Esempio: segnale audio dopo aver vigorosamente smorzato l'intervallo da 200 Hz Hz: originale modificato

16 Memorizzare un segnale audio Il fonografo (Edison, 1877): dispositivo con una tromba ed una testina, in contatto con un cilindro registrazione: le onde di compressione vengono catturate dalla tromba mettono in vibrazione la testina, che incide il materiale di cui è fatto il cilindro (mantenuto in rotazione) riproduzione: viene fatto ruotare il cilindro le variazioni di altezza della sua superficie mettono in vibrazione la testina la vibrazioni vengono amplificate dalla tromba

17 Memorizzazione analogica Analogico: aggettivo che descrive un apparecchio, strumento o dispositivo che tratta grandezze rappresentandole con altre grandezze legate alle prime da una relazione di analogia. Nel caso del fonografo, un segnale audio viene codificato mediante le variazioni di altezza della superficie del cilindro Nei dischi di vinile (anche moderni) succede esattamente la stessa cosa Le vecchie audiocassette memorizzavano un segnale audio codificandolo con le variazioni del campo magnetico del nastro

18 Memorizzazione digitale Digitale: aggettivo che descrive un apparecchio, strumento o dispositivo che tratta grandezze rappresentandole sotto forma numerica, usando i simboli di un certo sistema di numerazione. Le definizioni di digitale ed analogico hanno validità generale e non sono limitate ai segnali audio. Esempio un orologio analogico utilizza il movimento circolare delle lancette per rappresentare il cambiamento del tempo. un orologio digitale rappresenta lo scorrere del tempo attraverso il cambiamento del valore delle cifre.

19 Analogico vs digitale Analogico: potenzialmente, maggiore fedeltà soggetto a disturbi di trasmissione e deterioramento del mezzo di memorizzazione la riproduzione ad alta fedeltà richiede strumenti di qualità elevata manipolazione mediante strumenti meccanici o elettronici Digitale: maggiore fedeltà = maggiore quantità di dati da memorizzare robusto rispetto a disturbi di trasmissione e deterioramento del mezzo di memorizzazione una riproduzione a buona fedeltà può essere effettuata anche con strumentazione di costo contenuto manipolazione numerica

20 Digitalizzazione Processo che trasforma un segnale analogico in segnale digitale, mediante campionamento e quantizzazione. Campionamento: misurazione del valore assunto dal segnale ad intervalli discreti, che produce ogni volta un campione. numero di campioni in un intervallo di tempo: frequenza di campionamento o sampling rate Quantizzazione: approssimazione di un insieme (infinito) di valori di un segnale in un insieme finito di valori discreti.

21 Digitalizzazione e ricostruzione del segnale audio Asse x: tempo; asse y: grandezza fisica (segnale) Rappresentazione di un suono come segnale f(t)

22 Digitalizzazione e ricostruzione del segnale audio Campionamento: il segnale viene misurato a istanti a distanza regolare l'uno dall'altro

23 Digitalizzazione e ricostruzione del segnale audio Discretizzazione: l'altezza misurata viene approssimata. Il valore del campione viene assimilato a uno dei possibili valori determinati a priori tra quelli possibili (quanti).

24 Digitalizzazione e ricostruzione del segnale audio

25 Digitalizzazione e ricostruzione del segnale audio Riproduzione con tecnica sample and hold: il segnale viene tenuto costante per tutto l'intervallo del suono

26 Digitalizzazione e ricostruzione del segnale audio L'approssimazione e tanto più fedele all'originale quanto più è ridotta la distanza tra un campione e l'altro e ridotta la distanza tra un livello di quantizzazione e l'altro

27 Campionamento Campionamento: scelta di un insieme di punti equidistanti sull'asse dei tempi misura dell'altezza del segnale in corrispondenza di tali punti. Sampling rate: numero dei campioni in un intervallo di tempo. Aumentando il numero dei campioni si ottiene una migliore approssimazione della curva originale.

28 Quantizzazione Quantizzazione: rappresentazione di ogni campione con un valore pressato Più è grande il numero di livelli, maggiore è la fedeltà della ricostruzione. Più è grande il numero di livelli, maggiore il numero di bit necessari per rappresentare un campione. Qualità telefonica (8 bit) 256 valori (non eccellente) Qualità CD: (16 bit) 65K valori

29 Input e output di audio digitale Input: A partire da una sorgente analogica: digitalizzazione dell'audio attraverso scheda sonora Analog to Digital Converter (ADC) Output: Riproduzione dell'audio digitale attraverso scheda sonora Digital to Analog Converter (DAC)

30 Valore di Nyquist Quanto spesso bisogna misurare il segnale per effettuare un buon campionamento? Che relazione c è con la qualità dell'informazione estratta? Teorema del campionamento {Nyquist-Shannon): il segnale può essere ricostruito fedelmente solo se è stato campionato ad una frequenza maggiore del doppio della frequenza della componente del segnale di frequenza più alta. Le componenti di un segnale sono le sinusoidi con ampiezza non nulla nella sua trasformata di Fourier La frequenza di campionamento che garantisce la ricostruzione fedele del segnale si chiama valore di Nyquist. Campionando al valore di Nyquist, non vengono trascurate variazioni rilevanti del segnale nel periodo in oggetto.

31 Valore di Nyquist In pratica: dato un segnale f(t), se ne estrae lo spettro sia u0 e la sinusoide di frequenza più elevata campionando a 2 u0 Hz siamo sicuri di poter ricostruire fedelmente il segnale

32 Sotto-campionamento Sotto-campionare significa campionare a frequenza minore del valore di Nyquist perdita di informazioni ricostruzione imprecisa del segnale in particolare: le componenti a frequenza più elevata non spariscono, ma non vengono ricostruite correttamente ed introducono distorsione

33 Sotto-quantizzazione Sotto-quantizzare significa usare un numero insufficiente di livelli di quantizzazione Perdita di informazioni ricostruzione imprecisa del segnale effetto: rumore di fondo

34 Segnali e flussi E naturale considerare i media digitali continui come flussi di dati; la quantità di dati che li costituisce cresce all'aumentare della durata del segnale la frequenza di campionamento ed il numero di quanti determinano il numero di bit necessari per codificare un secondo di un segnale (bps) Alcuni esempi: Voce (qualità telefonica) Frequenze comprese in intervallo di 4KHz Nyquist campionare a 8KHz (8*10^3) Quantizzazione sufficiente: codifica a 1 byte (8 bit). Flusso: 8 *8 *10 3 bps = 68 Kbps

35 Compressione Un segnale audio di lunga durata può consistere di una grande quantità di dati soluzione: compressione Compressione: tecnica che ha l'obiettivo di ridurre la quantità di dati necessaria per rappresentare un segnale. Obiettivo: ridurre lo spazio occupato, o la larghezza di banda necessaria a trasmettere l'audio in rete.

36 Compressione Due grandi classi di tecniche di compressione: Iossless: senza perdita di informazione lossy: con perdita di informazione Algoritmi di compressione lossless inizialmente il file (segnale) da comprimere è una sequenza di simboli (i valori dei quanti) codificati tutti con lo stesso numero di bit (e.g. 16 per i CD) tipicamente operano in due fasi: 1. l'algoritmo costruisce un modello statistico del file (e.g. numero di occorrezze per ogni simbolo) 2. la codifica diventa a lunghezza variabile: si usano pochi bit per i simboli più frequenti, più bit per i simboli meno frequenti. 1. tipicamente 50-60% della dimensione originale

37 Compressione Algoritmi di compressione lossless: MPEG (Moving Picture Experts Group): una famiglia di sistemi di compressione audio/video Audio. Compressione in tre livelli (Layer I, II, III). Layer III: algoritmi più complessi ed efficaci (MP3) Sistema di compressione lossy di tipo percettivo, si scartano le informazioni che l'utente difficilmente percepisce Vari livelli di compressione e qualità tipicamente meno del 20% della dimensione originale

38 Audio digitale di sintesi Non sempre si ottiene un file audio mediante campionamento di un audio analogico E possibile produrre artificialmente il contenuto audio (e.g. comporre musica dal PC) In particolare: Musical Instrument Digital Interface (MIDI) MIDI: protocollo che consente a dispositivi musicali elettronici (es. una tastiera, una batteria elettronica) di comunicare tra di loro e con il computer. Specifica riferimenti simbolici relativi alle note musicali e non una registrazione musicale dei suoni Un file MIDI è una descrizione simbolica di un contenuto audio (es. la note da suonare e lo strumento virtuale da utilizzare per suonarle) Un dispositivo di riproduzione (detto sintetizzatore) produce un suono in corrispondenza di ogni simbolo MIDI

39 Video

40 Video Video: sistema di riproduzione di immagini in movimento. Idea alla base: sfruttare la Persistence of Vision (POV) L'occhio umano percepisce una sequenza sufficientemente veloce di immagini statiche (fotogrammi, frame) come se fosse un movimento continuo Movimento: illusione ottica. Sufficientemente veloce: 20 frame/secondo Un segnale video varia nel tempo e nello spazio: f(x; y; t) Un segnale video digitale deve essere campionato e quantizzato sia nel tempo che nello spazio Di solito: affiancato da un canale audio

41 Input: Input e output di video digitale A partire da una sorgente analogica: digitalizzazione del video attraverso scheda di digitalizzazione video Ripresa con videocamera digitale Output: Riproduzione dell'video digitale attraverso scheda video

42 Campionamento nello spazio I fotogrammi sono sempre immagini n x m: frequenza di campionamento risoluzione quantizzazione numero di bit per la codifica del colore Sotto-campionare = utilizzare una risoluzione troppa bassa frequenza di una immagine statica = livello di dettaglio in caso di campionamento sotto la soglia di Nyquist: bordi confusi, perdita di dettagli, effetti inattesi (es. Moiré patterns)

43 Quantizzazione nello spazio Sotto-quantizzare = troppo pochi colori codificabili scarsa resa di colori e sfumature

44 Campionamento nel tempo Frame rate: velocita con cui i fotogrammi si susseguono Misurata in frame al secondo (frame per second, fps, Hz). Frame rate < 20 Hz immagini a scatti Valori tipici: Teleconferenza: 10 Hz. Video lento, movimenti a scatti. Film muto: 16 Hz. Il movimento non fluido, scarsa continuità Televisione: Hz. Movimento fluido. Televisione HD: Hz. Movimento fluido, alta definizione. Una analogia: soglia dei 20Hz per il video soglia dei 20 KHz per l'audio campionando sopra i 20Hz siamo sicuri di non perdere informazioni percepibili dal fruitore campionando sotto i 20Hz possiamo perdere informazioni, a seconda dalla velocita del movimento che vogliamo catturare

45 Frame rate La scelta del frame rate dipende anche da: qualità del sistema di produzione e riproduzione qualità del mezzo di trasmissione (teleconferenza) NTSC (National Tv Systems Committee: US, JP, Americas) Fotogramma 640 x 480 pixel True colors 3 byte / pixel Dimensione del frame: 640 x480 x 3 = Byte I Frame rate: 30 Hz PAL (Phase Alternating Line: EU, AU, India) Fotogramma 768 x 576 pixel True colors 3 byte / pixel Dimensione del frame: 768 x 576 x 3 Byte = 1.3 MByte Frame rate: 25 Hz

46 Compressione MPEG (Moving Picture Experts Group) Audio: visto MP3 Video: diverse versioni, da MPEG-1 a MPEG-21 Sistema di compressione lossy, di tipo percettivo Ridondanza temporale: fotogrammi consecutivi sono abitualmente molto simili tra loro Alcuni fotogrammi (keyframes) sono interamente codificati Fotogrammi intermedi: codificate solo le differenze