Dott. Emanuele Lattanzi Istituto di Scienze e Tecnologie dell Informazione http://www.sti.uniurb.it/lattanzi/ Tel. 0722-4475 interno 42 mail: lattanzi@sti.uniurb.it Organizzazione del corso Didattica Lezioni frontali 40 ore + 15 esercitazioni Progetto (Java) al calcolatore Esame Scritto+Tesina individuale +Orale (discussione della tesina) Ricevimento Giovedi dalle 11 alle 13
Materiale didattico Slides Libri di testo Lu, "Multimedia Database Management Systems", Artech House, 1999 Boffi, Scienza dell Informazione Geografica, introduzione ai GIS, Zanichelli, 2004 Tesina/progetto Documentazione Java Esempi Valutazione Prova scritta Valutata in trentesimi (10/30 e ritenuto sufficiente) Rimane valido per tutti gli appelli dell A.A. Tesina Lavoro individuale (progetto in laboratorio/ approfondimento) Consegnata almeno una settimana prima dell orale Valida per tutti gli appelli dell A.A. Orale Può essere sostenuto solo previo superamento delle altre due prove Comprende una discussione della tesina. Insieme alla tesina comporta un aggiustamento per eccesso o per difetto di al più 10/30 del voto della prova scritta, determinando così il voto finale.
Argomenti trattati 1. Database multimediali. 1.1 Introduzione, definizioni e panoramica. 1.2 Tipi e formati di dati multimediali (reminder). 1.3 Architettura database multimediali 1.4 Indicizzazione e ricerca di dati testuali. 1.5 Motori di ricerca Internet. 1.6 Indicizzazione e ricerca di dati audio. 1.7 Indicizzazione e ricerca di immagini. 1.8 Indicizzazione e ricerca di dati video. 1.9 Tecniche e strutture dati per la ricerca efficiente di similarità nei dati multimediali. 1.10 Hardware e software per i database multimediali distribuiti 1.11 Misure di efficacia nella ricerca dei dati multimediali. 1.12 Esempi di sistemi reali di indicizzazione e ricerca multimediale. Argomenti trattati 2. Sistemi GIS. 2.1 Il modello spaziale del mondo reale. 2.2 La localizzazione dei dati spaziali. 2.3 Le proiezioni. 2.4 Mappe vettoriali o a oggetti. 2.5 Mappe raster o a superfici continue. 2.6 Mappe tridimensionali. 2.7 I modelli di ripartizione territoriale. 2.8 Gli indici statistici geospaziali. 2.9 I metodi di stima locale. 2.10 I metodi di stima globale. 2.11 L acquisizione dei dati. 2.12 Sistemi di posizionamento globale GPS. 2.13 Architettura di un software GIS. 2.14 Internet GIS.
Argomenti trattati 3. Attivita di laboratorio. 3.1 Introduzione al linguaggio Java 3.2 Utilizzo di Java2 Standard Edition per realizzare applet e piccole applicazioni. 3.3 Utilizzo di Java2 Micro Edition per programmare cellulari e dispositivi mobili. 3.4 Utilizzo di Java2SE e Java2ME per realizzare interfacce per la consultazione di informazioni multimediali da web Introduzione La ricerca e lo sviluppo dei sistemi multimediali, fino a poco tempo fa erano concentrati su: Comunicazione Creazione Presentazione creazione di una grande mole di dati multimediali Immagini Video Audio Da qualche anno è sorto un forte interesse nella memorizzazione strutturata dei dati multimediali ottenere strategie di ricerca efficiente (veloce) ed efficace (mirata). I tradizionali Database Management Systems (DBMSs) non riescono a gestire i dati multimediali in maniera efficace (anche se sono in grado di memorizzarli) in quanto sono dedicati ai dati alfanumerici. Servono quindi nuove tecniche di indicizzazione e ricerca specifiche per i dati multimediali (MIRS: Multimedia Indexing and Retrieval Systems )
Definizioni Il termine MEDIA si riferisce ad una tipologia di informazione (o ad una modalità di rappresentazione dell informazione): Dati alfanumerici Immagini, Audio Video. I MEDIA possono essere classificati in vari modi In base al formato di memorizzazione (codifica, compressione) In base alla tipologia di informazione che contengono In base alla loro relazione con il TEMPO Classificazione in base alla relazione con il tempo MEDIA STATICI: Non hanno una dimensione temporale Il loro contenuto e significato non dipende dal tempo della presentazione (dati alfanumerici, grafici e immagini statiche) MEDIA DINAMICI: Hanno una dimensione temporale Il loro significato dipende dalla velocità di riproduzione (animazioni, audio, video). Es. video a 25 frame al secondo Es. audio che assume significato solo se riprodotto alla giusta velocità. Sono chiamati anche MEDIA CONTINUI o ISOCRONI
Definizioni(2) MULTIMEDIA: Una collezione di MEDIA utilizzati insieme. Normalmente è implicito che almeno uno dei media è diverso dai dati alfanumerici (ad esempio contiene immagini, flussi video o dati audio) Oggetto o Feature multimediale: Descrivono il contenuto di un oggetto multimediale in termini di grandezze misurabili (es: colore di un immagine, spettro di un suono, ecc.) Singola entità autonoma che viene memorizzata, indicizzata, ricercata e presentata in un MIRS. Information Retrieval (IR) IR sistemi per la ricerca e recupero di informazioni alfanumeriche contenute all interno dei database Costituiscono il motore di ricerca utilizzato in tutti i DBMS Sono in grado di ritrovare velocemente documenti che rispondono a query effettuate dagli utenti
Esempio: Structured Query Language (SQL) create table STUDENTI( stud_number integer, name char(20), address char(20)); // Creazione tabella // inserimento dati insert into STUDENTI values (10, Lew, New York ); // query select name from STUDENTI where stud_number=32 Posso fare delle query su tutti i campi alfanumerici che costituiscono la struttura STUDENTI Esempio2: Structured Query Language (SQL) create table STUDENTI( stud_number integer, // Creazione tabella name char(20), address char(20) picture BLOB); // immagine studente (stringa di byte) // inserimento dati insert into STUDENTI values (10, Lew, New York, Lew.jpg); // query select picture from STUDENTI where picture=????? // come posso fare una query sull immagine?? I normali sistemi IR non sono in grado di effettuare ricerche sui contenuti multimendiali dei database
Ricerca in MMDB(1) Su feature: Es. trova tutti gli ECG simili a questo Ricerca in MMDB(2) Concettuale : Es. trova tutte le foto di Cindy Crawford
Ricerca in MMDB(3) Su relazioni spazio-temporali: trova tutte le scene (shot) in cui John Belushi entra in scena dopo Dan Aykroyd Combinazioni arbitrariamente complesse delle precedenti MIRS MIRS (Multimedia Indexing and Retrieval Systems) Ricercano i dati sulla base del loro contenuto multimediale (colore, forma, ecc ) e quindi utilizzano misure di similarità I normali Indexing e Retrieval Systems Utilizzano il matching esatto tra la query e le informazioni contenute nel DB I MIRS necessitano di una fase di pre trattamento dei dati: la fase di Feature extraction : consente di estrarre le caratteristiche o il contenuto principali presenti in un dato multimediale). Processo automatico o semi-automatico. Porta alla Indicizzazione (strutturazione e organizzazione delle feature) E indispensabile per rendere efficiente la ricerca
La nascita dei MIRS Esplosione di informazioni multimediali (immagini e video registrati e memorizzati in grande quantità, contenuti cartacei resi digitali per migliorarne la distribuzione e conservazione, TV e giornali convertiti in digitale, immagini mediche, immagini satellitari, ecc ). La sola memorizzazione di tali dati è di scarsa utilità: serve organizzarli per poterli ritrovare in maniera efficace ed efficiente DBMS tradizionali possono memorizzare dati multimediali ma non sono adatti per una efficace gestione: possono memorizzare i dati multimediali come sequenze di byte ma non ne comprendono la semantica e non sono in grado di effettuare ricerche o comparazioni su tali dati i DBMS possono essere utilizzati per memorizzare e ricercare la componente strutturata dei dati multimediali (data di creazione, nome dell autore, eventuale copyright, ecc ) Struttura generale di un MIRS Queries Information items Processing and fature extraction Processing and indexing Query features Similarity computation Indexed information items Retrival of similar items
Le query nei MIRS Query sui METADATI: ricerche sui dati strutturati associati al contenuto multimediale (data di creazione, nome dell autore, ecc ). Esempio Elenco dei video diretti da nel 1997. Per rispondere servono semplici funzionalità DBMS Query su ANNOTAZIONI: ad ogni porzione di contenuto multimediale può essere associata una descrizione testuale. Esempio: Estrai il segmento video in cui l attore va in bici. Query su CARATTERISTICHE: si riferiscono a informazioni statistiche sui dati multimediali (quali volume audio, distribuzione dei colori, o simili) Es. mostrami una immagine che abbia una distribuzione del colore simile a questa. Per poter rispondere é necessario precalcolare e memorizzare le informazioni statistiche Query BY EXAMPLE: sono query che contengono dati multimediali nella domanda. Es. mostrami i filmati in cui c è una scena come questa Query SPECIFICHE: sono query legate ad una applicazione specifica nei campi quali MEDICINA, SICUREZZA, FORMAZIONE, GIORNALI, INTRATTENIMENTO, REGISTRAZIONE DEI LOGHI, ecc Esempi di query specifiche dell applicazione MEDICINA: data una immagine di un elettrocardiogramma si vuole ricercarne altre che hanno il tempo di salita del picco simile SICUREZZA: data l immagine di un sospettato (foto o identikit) si vuole trovare tutte le persone che vi assomigliano oltre una data soglia FORMAZIONE: dato il verso (suono) di un animale, uno studente vuole visualizzare le informazioni (immagini, filmati, testi, ecc ) associate GIORNALI: un giornalista che sta scrivendo un pezzo su una persona vuol trovarne una foto che è apparsa sui giornali negli ultimi 20 anni INTRATTENIMENTO: voglio trovare video clips simili a quello che sto vedendo TRADEMARK: dato un logo aziendale, devo verificare se non sia troppo simile ad uno precedentemente registrato
MIRS e tipi di dati I MIRS sono utilizzati per indicizzare e ricercare dati multimediali quali: testo, grafica, immagini, audio video all interno dei Multimedia Database Systems (MMDBSs) Le caratteristiche peculiari di tali tipologie di informazioni fanno si che un MIRS sia profondamente diverso da un IR di un DBMS Per poter progettare ed implementare un MIRS è necessaria una profonda comprensione delle caratteristiche dei dati multimediali Per ogni tipo di dato occorre conoscere: come il dato è memorizzato in formato digitale quali sono le tecniche comuni di compressione del dato come può essere effettuata le feature extraction per l indicizzazione quali sono i requisiti di memorizzazione quali sono i requisiti di trasmissione quali sono i requisiti di presentazione Tipi di dati multimediali (testo) TESTO SEMPLICE Formato da caratteri alfanumerici che utilizzano una codifica (ad esempio ASCII ad 8 bit). Requisiti di memorizzazione: esempio libro di 300 pagg = 900KB TESTO STRUTTURATO Testo che contiene titoli, sezioni, paragrafi. I sistemi di IR devono trattare in maniera diversa la rilevanza delle parole delle varie sezioni. Esistono diversi standard per la loro rappresentazione: Standard General Markup Language (SGML) Office Document Architecture (ODA) LaTex e Portable Document Format (PDF) TECNICHE DI COMPRESSIONE DEI TESTI Codifica di Huffman Codifica Run length Codifica Lempel-Ziv-Welch (LZW)
Codifica di Huffman Tecnica che consiste nell assegnare un numero basso di bit ai simboli che appaiono più spesso ed un numero alto di bit a quelli che appaiono di rado. Risulta efficace quando la probabilità di occorrenza dei simboli varia molto. Prob Code Normalmente servono 2 bit per ogni simbolo (2000 bit). e 0.8 1 Esempio: Testo contenente 1000 simboli e i soli caratteri e, t, x, z rispettivamente con t x 0.16 0.02 01 001 probabilità 0.8, 0.16, 0.02 e 0.02. Creiamo un CODEBOOK (regole che assegnano i bit ai simboli) come questo: z 0.02 000 Otteniamo che la stessa informazione occupa ora 1000*(1*0.8 + 2*0.16 + 3*0.02 + 3*0.02) = 1240 bit Symbol Codifica run-length Codifica che riduce le sequenze ripetute dello stesso simbolo (RUN) una volta che hanno raggiunto una determinata lunghezza (LENGTH) La sequenza viene sostituita da un carattere speciale seguito dal simbolo e dal numero delle ripetizioni: Esempio: eeeeeeetnnnnnnnnn diventa @e7t@n9
Codifica LZW Costruisce un dizionario di frasi (gruppi di uno o più caratteri). Quando il motore di compressione incontra una frase controlla se è già stata inserita nel dizionario. NON INSERITA: la aggiunge e le assegna una codifica numerica. GIA INSERITA: la sostituisce con la codifica numerica assegnata in precedenza alla frase. E una tecnica che comprime bene quando ci sono gruppi di caratteri ripetuti (tipicamente frasi in linguaggio naturale). Es.: file con 10000 caratteri, 8 bit per carattere = 80000 bit. Supponiamo ci siano 2000 parole o frasi di cui 500 siano distinte ci servono 9 bit per codificare ogni frase = 18000 bit (compressione 1/4.4) Tipi di dati multimediali (audio) Un segnale audio e generato da compressioni e rarefazioni di piccole porzioni d aria che raggiungono l apparato uditivo Segnali con frequenza compresa tra 20 e 20000 Hz sono udibili dall uomo. I segnali hanno FORMA DI ONDA: la cui ampiezza varia nel tempo S 0 tempo
Rappresentazione digitale dei segnali audio Il segnale audio è convertito in un segnale elettrico continuo da un microfono: Segnale ANALOGICO. Per poter essere elaborato da un calcolatore è necessario convertirlo in formato DIGITALE (ADC: analog-to-digital conversion) Conversione ADC Campionamento Quantizzazione Codifica Campionamento, quantizzazione e codifica codifica valore 111 110 101 100 011 010 tempo 001 000
DAC (digital-to-analog conversion) 111 110 101 100 011 010 tempo 001 000 111 110 101 100 011 010 tempo 001 000 Determinazione del Sampling rate Il teorema di Nyquist afferma che se un segnale analogico contiene componenti con frequenze fino a f Hz, il sampling rate deve essere almeno 2f Hz Generalmente si usa un valore leggermente più alto: esempio i CD utilizzano 44.1 Khz per coprire il range di frequenze di 20 Khz La componente principale della voce umana ha frequenze nel range di 3.1 Khz e il sistema telefonico digitale utilizza un campionamento a 8 Khz
Codifiche compresse(1) QUANTIZZAZIONE NON LINEARE L utilizzo dello stesso passo di quantizzazione per qualunque ampiezza del segnale nella ADC viene chiamato PCM (pulse-coded-modulation). E un metodo semplice ma non efficiente in quanto l orecchio umano è più sensibile alle componenti basse di ampiezza. Si può quindi utilizzare un passo di quantizzazione che aumenta con l ampiezza del segnale per ottenere una compressione del segnale Il passo è piccolo per le ampiezze piccole, ed è grande per le ampiezze grandi (trasformazione non lineare) Codifiche compresse(2) PREDICTIVE CODING Piuttosto che codificare il valore di ogni campione (sample), la codifica predittiva codifica la differenza tra una predizione di tale campione e il suo valore effettivo (differential pulse-coded-modulation: DPCM) Viene sfruttato il fatto che i campioni vicini sono fortemente correlati e l errore di predizione è generalmente molto più basso del valore del campione (numero inferiore di bit) L algoritmo di predizione deve essere conosciuto sia dal coder che dal decoder Se l ampiezza del segnale varia molto rapidamente sono necessari algoritmi adattativi
Codifiche compresse(3) Codifica MPEG-Audio Durante l ascolto alcuni suoni possono mascherarne altri rendendoli, di fatto, non udibili. Lo standard internazionale MPEG-Audio sfrutta tale caratteristica per comprimere i segnali audio Può utilizzare passi di campionamento diversi: 32, 44.1 o 48 Khz e bit rate nell intervallo da 32 a 244 Kbps I fattori di compressione raggiunti variano fortemente: da 2.7 a 24 E una compressione di tipo LOSSY anche se è percepita come LOSSLESS Se si utilizza una compressione fino a 1:6 non ci sono effetti udibili da esperti Tipi di dati multimediali (immagini) Sono matrici bidimensionali di pixel ottenute attraverso digitalizzazione (scannerizzazione), acquisizione digitale (foto digitali) o estraendo singoli frame da dati video Possono essere GrayScale (in ogni pixel viene codifica l intensità di luce per generalmente con valore tra 0=nero e 255=bianco) o FullColor (per ogni pixel vengono memorizzati 3 byte corrispondenti alla presenza di rosso, verde e blu: RGB) Sono necessarie tecniche di compressione per memorizzarle in maniera efficiente LOSSY LOSSLESS
Tipi di dati multimediali (immagini) Livello di grigio n lev size = nx ny log2 n lev n x x n y y pixel Un'immagine di 100X100 pixel a 256 colori richiede 10000 byte (10 Kb) per essere rappresentata. Codifica del colore (livelli di grigio) 1111 1110 1101 1100 1011 1010 1001 1000 0111 0110 0101 0100 0011 0010 0001 0000 La codifica associa un unico codice ad un intervallo di livelli di grigio Tutti i livelli di grigio all interno dell intervallo vengono codificati allo stesso modo comportando una perdita di informazione Il livello di grigio originale non puo essere ricostruito in maniera esatta dal codice binario
Codifiche compresse(1) COMPRESSIONE PER SOTTOCAMPIONAMENTO Si basa sulla selezione di un sottoinsieme dei pixel originari (ad esempio 1 ogni 2 per ogni riga/colonna: compressione 1/4). Può essere impiegata solo su una particolare componente: l occhio umano è più sensibile alla LUMINANZA che alla CROMINANZA e quindi può essere applicato efficacemente alla crominanza senza perdita percettibile di informazioni. Sono necessari algoritmi di interpolazione per gestire al meglio tale compressione Codifiche compresse(2) PREDICTIVE CODING E simile a quanto visto per il formato Audio In generale i pixel vicini hanno valori correlati tra di loro. Si può utilizzare un algoritmo di predizione e codificare soltanto la differenza tra la predizione ed il valore effettivo utilizzando un numero di bit inferiore. La predizione può essere fatta nella scanline (riga di pixel) e tra scanline diverse E un metodo molto usato, soprattutto all interno di metodi più sofisticati
Codifiche compresse(3) CODIFICA PER TRASFORMAZIONE Consiste nel de-correlare i pixel dell immagine (convertire valori statisticamente dipendenti tra loro in coefficienti indipendenti Selezionando solo i coefficienti principali si può ridurre la ridondanza dell immagine e ottenere una forte compressione senza grande perdita di informazioni L immagine viene divisa in tanti blocchi rettangolari. Ad ogni blocco viene applicata una trasformazione matematica che permette di passare dal dominio spaziale al dominio in frequenza se l immagine è fortemente correlata i coefficienti ottenuti possono essere compressi in maniera efficiente utilizzando la codifica di Huffman o la RunLength. Le trasformazioni più utilizzate sono: DCT (trasformata discreta del coseno) DFT (trasformata discreta di Fourier) Immagini vettoriali La grafica vettoriale scompone in gruppi logici di componenti (linee, cerchi, rettangoli, ecc. ) Le forme vengono memorizzate in termini di coordinate e colori dei vari elementi geometrici che le compongono Durante la visualizzazione, coordinate e colori vengono utilizzati per ricreare l immagine La grafica vettoriale e comunemente usata nei disegni, disegni animati e nella grafica lineare in generale
Immagini vettoriali (x6,y6) (x4,y4) (x5,y5) (x2,y2) (x3,y3) (x1,y1) (x0,y0) Immagini vettoriali
Tipi di dati multimediali (video) Consiste di una serie di frame (immagini) che devono essere riprodotti a velocità costante (frame rate). Per avere fluidità occorrono almeno 25 frame al secondo. E in genere acquisito a partire da telecamere analogiche o, più recentemente, telecamere digitali Tipi di dati multimediali (video) size = srate T ssize = srate T log2 n col n n x y color s rate = frame rate n col = numero di colori n x n y = dimensione del frame n y time n x Filmato di 10 minuti a 25 frame al secondo, con risoluzione di 100x100 pixel a 256 colori: dimensione complessiva di 600x25x100x100x8 = 1.2Gbit.
Compressione video Si possono usare tecniche di compressione per limitare lo spazio richiesto da ogni singolo frame (intraframe compression) sfruttando le ridondanze spaziali di una immagine Si possono usare tecniche di Motion Estimation and Compensation Codifica predittiva delle differenze tra un frame ed il successivo (interframe compression) Opera su una suddivisione dei frame in piccoli blocchi e sfrutta le ridondanze temporali Ogni frame è altamente correlato al successivo in quanto gli oggetti si muovo generalmente a velocità molto più basse del frame rate Lo standard di compressione video più utilizzato è l MPEG di cui esistono varie versioni che sono state definite dal 1988 ad oggi. MPEG1 Ha come obiettivo la compressione di video e audio associato con bit rate di 1.5 Mbps per video di qualità VHS (360 x 280 a 30 frame al secondo) Utilizza una combinazione di Motion compensation e codifica basata su DCT (come JPEG) Ad ogni frame è associata una tipologia: I, P, B o D I compresso all interno del frame senza riferimenti ad altri frame. Tali frame servono come riferimento per le immagini codificate con gli algoritmi predittivi P immagini compresse in maniera predittiva tramite Motion compensation a partire da una precedente immagine I o P B immagini codificate in maniera predittiva molto spinta. D sono immagini altamente compresse utilizzate esclusivamente per ricerche di sequenze ad alta velocità In un video si ha una sequenza tipo I,P,P,B,B,B,P,P,P,I,P,P, con una I ogni mezzo secondo.
MPEG2 E una evoluzione di MPEG1 avente l obiettivo di codificare sequenze video di 720 x 480 pixel a 30 frame (HDTV) al secondo utilizzando un bit rate variabile tra 2 e 10 Mbps Utilizza gli stessi principi di MPEG1 Supporta la modalità video interlaced Definisce la modalità di trasporto su linee quali ATM, fiber channel, etc Permette dimensioni video fino a 16383 x 16383 pixel MPEG4 Successore dell MPEG2, ha come maggiore caratteristica la possibilità di definire unità atomiche all interno della sequenza video (VO = video objects ), Ad esempio una persona che sta parlando considerata isolata dallo sfondo. I Video Objects possono essere combinati tra di loro per creare una scena MPEG4 è adatto per la compressione sia di video catturati tramite telecamera che di animazioni generate tramite la grafica vettoriale Per entrambi MPEG4 memorizza informazioni sui contorni degli oggetti e sulla loro forma e tessitura
MPEG7 Fornisce un insieme standard di descrittori che possono essere utilizzati per descrivere varie tipologie di informazioni multimediali, e per facilitare la loro ricerca. E il formato che più di tutti implementa i concetti dei MIRS e dei MMDBMS. Per la compressione vera e propria si basa su MPEG4 (e quindi a sua volta su MPEG1 e MPEG2)