Progetto e realizzazione di un sistema di gestione di risorse multimediali basato sullo standard MPEG-7

Transcript

1 UNIVERSITA DEGLI STUDI DI ROMA TOR VERGATA Facoltà di Ingegneria Tesi di laurea: Progetto e realizzazione di un sistema di gestione di risorse multimediali basato sullo standard MPEG-7 Relatore Prof. Mario SALERNO Correlatori Ing. Giovanni COSTANTINI Ing. Francesco ROMANO Candidato Nicola LA VERGHETTA Sessione Estiva Anno accademico 2002/2003

2 Indice INDICE Indice... 1 Indice delle figure... 6 Premessa Capitolo Contesto generale Internet, un grande contenitore di risorse Scenario Bisogni e prospettive: lo standard MPEG Capitolo Le Teche RAI ed il progetto Internet TV Cos è un archivio? L archivio multimediale L archivio digitale Alcuni tra i maggiori archivi multimediali mondiali Gli archivi multimediali radiotelevisivi Le Teche RAI Obiettivi e utenti Il patrimonio delle Teche di RAI La gestione delle Teche RAI: il catalogo multimediale e Octopus Nuove possibilità di utilizzo per gli utenti Il progetto Internet TV L idea del News Archive System

3 Indice Capitolo Le tecnologie di sviluppo XML (extensible Markup Language) Le caratteristiche di XML Come usare XML Le tecnologie e gli standard per XML Gli XML Schema e la validazione dei documenti XML XSLT: una tecnologia per la stilabilità delle risorse XML Il retriving dei dati in XML: XPath Le tecnologie Java-based Java e XML Le Java Servlet Le JavaServer Pages (JSP) I JavaBeans...51 Capitolo Il database di News Archive System I legami tra XML ed i database La scelta del tipo di database La differenza tra dati e documenti I database XML nativi Vantaggi dell uso di database XML nativi Caratteristiche dei database XML nativi Apache Xindice Le caratteristiche di Xindice L architettura di Xindice Un esempio concreto di utilizzo...63 Capitolo MPEG-7: Multimedia Content Description Interface Overview Introduzione a MPEG Obiettivi dello standard

4 Indice MPEG-7 nella realtà dei metadati multimediali Potenza e significato di uno standard Gli elementi dello standard MPEG I Descriptor I Description Scheme Il Description Definition Language MPEG-7 Multimedia Description Scheme Overview L elemento radice Mpeg7 ed i relativi tipi di livello superiore Content Description: segmentazione del contenuto multimediale...79 Capitolo Analisi dei requisiti Gli Use case diagram Gli attori del sistema Gli amministratori di News Archive System Gli utenti di News Archive System I sequence diagram di sistema Database Manager - Create Database Manager - Read & Delete Database Manager - Update News Archive Administrator - Create News Archive Administrator - Read & Delete News Archive Administrator - Create MPEG User - Query...87 Capitolo Progetto dell applicazione Il design pattern Model-View-Controller dell architettura Un esempio di applicazione del paradigma MVC Applicazione dell'mvc alle Web Application J2EE L architettura di News Archive System Il modello dei dati: un XML Schema conforme a MPEG

5 Indice Le specifiche per i dati Definizione dello schema per l applicazione L elemento DescriptionMetadata L elemento MediaLocator: localizzazione temporale e fisica della risorsa L elemento StructuralUnit: il ruolo del segmento Audio-Video L elemento CreationInformation: creazione e classificazione L elemento UsageInformation: uso del contenuto audiovisivo L elemento MediaTime L elemento MediaSourceDecomposition : descrizione fisica del contenuto L elemento TemporalDecomposition : descrizione delle singole sequenze Progettazione di un sito Internet per News Archive System Modello concettuale del sito e progetto della navigazione Supporto per gli utenti e versione in lingua inglese Capitolo Implementazione Implementazione delle funzionalità per lo User Ricerca di telegiornali Ricerca per servizi Implementazione delle funzionalità per gli amministratori Creare collezioni Visualizzare documenti Cancellare elementi Inserire documenti Aggiornare i documenti Creare un documento MPEG-7 per la descrizione dei telegiornali RAI Capitolo Uso dell applicazione Un breve tour guidato News Archive Administrator: creazione di un documento MPEG Database Manager: un operazione di Xupdate User: esecuzione di una query

6 Indice 9.2 Test di usabilità Definizione di usabilità I princìpi di usabilità Considerazioni di usabilità sul News Archive System Capitolo Risultati ottenuti e sviluppi futuri Bibliografia Appendici App.A Ambiente di sviluppo e informazioni sul codice prodotto App.B Il consorzio Elis e i Vivai d Impresa App.C Lo schema dei dati App.D Un documento MPEG-7 di descrizione di un telegiornale App.E I metadati App.F Unified Modeling Language Ringraziamenti

7 Indice delle figure INDICE DELLE FIGURE Fig. 1-1 Uso della banda...15 Fig. 2-1 I maggiori archivi radiotelevisivi europei...22 Fig. 2-2 Alcuni archivi radiotelevisivi mondiali...22 Fig. 2-3 Consistenza patrimonio televisivo RAI...24 Fig. 2-4 Patrimonio area radiofonica nazionale...24 Fig. 2-5 Patrimonio di biblio-mediateca RAI...24 Fig. 2-6 Il sistema Teche RAI...27 Fig. 3-1 Gerarchia dei linguaggi XML...33 Fig. 3-2 catalog.xml - un documento XML...34 Fig. 3-3 catalog.dtd - una DTD per catalog.xml...34 Fig. 3-4 Le maggiori tecnologie e standard XML...37 Fig. 3-5 catalog.xsd - un XML Schema per catalog.xml...39 Fig. 3-6 Riferimento all XML Schema in catalog.xml...39 Fig. 3-7 Il processo XSLT...40 Fig. 3-8 catalog.xsl un foglio di stile XSL per catalog.xml...41 Fig. 3-9 Riferimento all XSL appropriato in catalog.xml...41 Fig Pagina HTML ottenuta dalla trasformazione XSLT di catalog.xml...41 Fig Il processo di trasformazione XSLT attraverso i Formattino Object...42 Fig Risultato di un esecuzione di un espressione XPath complessa...43 Fig Architettura di un applicazione Java...45 Fig Architetture Web dinamiche servlet-jsp-based...46 Fig Una servlet di esempio...48 Fig Application e WebServer...50 Fig Separazione dei ruoli...51 Fig. 4-1 I principali database XML nativi...58 Fig. 4-2 Un esempio concreto di utilizzo dell API XML:DB...65 Fig. 5-1 L obiettivo dello standard MPEG

8 Indice delle figure Fig. 5-2 Livelli di descrizione offerti dall MDS...74 Fig. 5-3 Organizzazione dell elemento radice Mpeg7 e dei tipi di livello superiore...75 Fig. 5-4 La semantica dell elemento radice Mpeg Fig. 5-5 Strumenti di descrizione per il Content Management e il Content Description...77 Fig. 5-6 Gerarchia dei top level type di Content Descriprion e Description Metadata...78 Fig. 5-7 Visione generale degli strumenti per la decomposizione dei segmenti...80 Fig. 6-1 Gli attori del sistema...82 Fig. 6-2 Le funzionalità degli attori DM e NAA...83 Fig. 6-3 Le funzionalità dell attore User...83 Fig. 6-4 Diagramma di sequenza di sistema DM - Create...84 Fig. 6-5 Diagramma di sequenza di sistema DM - Delete & Read...85 Fig. 6-6 Diagramma di sequenza di sistema DM - Update...85 Fig. 6-7 Diagramma di sequenza di sistema NAA - Create...86 Fig. 6-8 Diagramma di sequenza di sistema NAA - Delete & Read...86 Fig. 6-9 Diagramma di sequenza di sistema NAA - Create MPEG Fig Diagramma di sequenza di sistema USER - Query...87 Fig. 7-1 Un errore progettuale...89 Fig. 7-2 MVC...90 Fig. 7-3 MVC nelle applicazioni Web...91 Fig. 7-4 Architettura di News Archive System...92 Fig. 7-5 Struttura dei dati per la descrizione dei telegiornali RAI...94 Fig. 7-6 L elemento DescriptionMetadata...95 Fig. 7-7 Semantica dei descrittori di DescriptionMetadata DS utilizzati...95 Fig. 7-8 Struttura gerarchica del DescriptionMetadataType...96 Fig. 7-9 L elemento MediaLocator...96 Fig Struttura gerarchica di MediaLocatorType...97 Fig L'elemento StructuralUnit...98 Fig L elemento CreationInformation...99 Fig Struttura gerarchica di CreationType...99 Fig Semantica di CreationInformationType Fig Semantica di CreationType Fig Semantica di CreatorType Fig Semantica di CreationCoordinatesType

9 Indice delle figure Fig Struttura gerarchica di ClassificationType Fig Semantica di ClassificationType Fig L elemento UsageInformation Fig Struttura gerarchica di UsageInformationType Fig L elemento MediaTime Fig Semantica di MediaTimeType Fig Diagramma del MediaTimeType Fig L elemento MediaSourceDecomposition Fig Struttura gerarchica di MediaInformationType Fig Semantica di MediaFormatType Fig L elemento TemporalDecomposition Fig Struttura gerarchica di TemporalDecompositionType Fig Il modello concettuale del sito Fig Gli strumenti di navigazione Fig. 8-1 Convenzioni stilistiche Fig. 8-2 Mappa dei Class Diagram UML Fig. 8-3 Il class diagram Start Fig. 8-4 Il class diagram User Fig. 8-5 Il class diagram News Search Fig. 8-6 Il diagramma di sequenza reale per una ricerca su telegiornali Fig. 8-7 Il class diagram per il Real server Fig. 8-8 Il class diagram Report Search Fig. 8-9 Il class diagram Administrator Login Fig Funzionalità del Database Manager Fig Funzionalità del News Archive Administrator Fig Il class diagram Create Collection Fig Il class diagram View Document Fig Il class diagram Delete Items Fig Il class diagram Insert Document Fig Operazioni di update implementate Fig Il class diagram Update Fig Il diagramma di sequenza reale per un operazione di update Fig Il class diagram CreateMpeg7Doc

10 Indice delle figure Fig Il diagramma di sequenza reale per la creazione di un documento MPEG Fig. 9-1 Scelta del tipo di amministratore di sistema Fig. 9-2 News Archive Administrator homepage Fig. 9-3 La form per la creazione di un documento MPEG Fig. 9-4 Inserimento di un AudioVisualSegment Fig. 9-5 Database Manager homepage Fig. 9-6 Scelta dell operazione di XUpdate Fig. 9-7 La form per le operazioni di XUpdate Fig. 9-8 Homepage dell utente Fig. 9-9 La form di News Search Fig Risultato di una query sui telegiornale Fig News Media Profile Fig Pagina di visualizzazione dei servizi di un telegiornale L XML Schema dei dati conforme a MPEG Una descrizione MPEG-7 di un telegiornale

11 Premessa PREMESSA Sebbene Internet sia ancora uno strumento utilizzato da una minoranza della popolazione mondiale ed in particolare europea ed italiana, è fuori dubbio che nel futuro diverrà uno e, probabilmente l unico, contenitore di risorse, collegamenti e servizi. Ci aspetta un domani nel quale, ancora più d oggi, saranno disponibili on-line, a pagamento o free, molti aspetti della nostra quotidianità; già oggi, Internet permette di fare acquisti di ogni genere, prenotare voli, treni, viaggi, trascorrere il proprio tempo libero ascoltando musica o guardano film, ma anche lavorare, ricercare, osservare, discutare, incontrarsi. Se al inizio erano prevalentemente le comunità scientifiche di tutto il mondo ad essere i registi e gli attori di Internet, oggi siamo tutti coinvolti in questa rivoluzione. Con estrema semplicità è possibile aver accesso allo spazio Web per pubblicare qualsiasi tipo di informazione e contenuto sotto forma di una varietà sempre crescente di entità multimediali. La maggior parte dei siti attuali è corredata di immagini, suoni, video e non è remota la possibilità di poter eternare anche altre sensazioni che riguardano l olfatto od il gusto. In un contesto, dove chiunque diventa un potenziale produttore e consumatore di Internet, è facile immaginare come la semplicità di ricerca e la disponibilità reale delle risorse, sia il necessario valore aggiunto che esse dovranno possedere se non si vuole che Internet esploda e muoia per le stesse ragioni che l hanno reso un così grande agglomerato di conoscenza. L equazione valore delle risorse = facilità di reperimento, rappresenta la colonna portante di questo lavoro di tesi. La RAI (l ente pubblico per la tele-radio diffusione in Italia) possiede uno dei più grandi patrimoni del mondo in termini di risore audiovisuali, che narrano la nostra storia e raffigurano la nostra società da oltre mezzo secolo. Attualmente questo materiale è conservato, sotto forma di un incredibile varietà di formati e media differenti, nella diverse cineteche RAI sparse sul territorio nazionale. E facile comprendere come tale ricchezza abbia 10

12 Premessa bisogno di quel valore aggiunto di cui si è parlato, per raggiungere quel grado di maturità che oggi viene richiesto a qualsiasi risorsa multimediale che si affaccia sull universo di Internet. Sono queste le ragioni che hanno spinto la RAI a trovare l appoggio del consorzio ELIS (si veda appendice B) per sperimentare nuove vie che conducano alla valorizzazione delle proprie risorse mediatiche. Il progetto, denominato Internet TV, è partito alla fine del 2000 e questo lavoro di tesi è la conclusione della terza fase. Le richieste di RAI di un sistema flessibile ma standard per la descrizione delle proprie risorse multimediali, hanno portato, nella prima fase, alla ricerca ed allo studio delle nuove tecnologie disponibili nell ambito della descrizione e presentazione di risorse (XML, XSL ) e alla scelta di adottare il nuovissimo standard MPEG-7 per la descrizione di contenuti multimediali audiovisivi. La seconda fase ha risposto all esigenza di un sistema prototipale che mettesse in luce la effettiva potenza dello standard MPEG-7 nell ambito della descrizione di segmenti audiovisivi. Ciò ha condotto alla realizzazione di un sistema di archiviazione e ricerca dei telegiornali RAI, MPEG-7-based, sulla piattaforma di un database XML nativo commerciale (Tamino di Software AG) adatta a mantenere i requisiti di interoperabilità richiesti. Questa terza fase nasce con l obiettivo di recuperare gran parte del lavoro svolto finora, al fine di effettuare il porting del sistema di archiviazione MPEG-7-based, verso architetture che si fondano completamente su tecnologie open source. Dopo una fase preliminare di studio delle tecologie usate nella precedente realizzazione, e di ricerca di nuovi strumenti necessari al raggiungimento dell obiettivo, si sono prese le opportune decisioni riguardo il linguaggio di programmazione (naturalmente Java, data la natura Web-oriented dall applicazione), i paradigmi progettuali ed il tipo e la versione di database da utilizzare. L architettura Model-View-Controller e il pattern J2EE (Java2EnterpriseEdition) Data Access Object per la definizione di un persistance layer hanno consentito la realizzazione di un progetto modulare, riusabile e scalabile. Il database Xindice di Apache è la naturale risposta open source al database commerciale Tamino. Tra tutti i datatbase XML nativi open source la scelta è caduta su quello dell Apache Gruop non solo perché è sembrato essere il più affidabile e vivo per quanto riguarda il 11

13 Premessa continuo sviluppo e aggiornamento, ma anche per il consolidato successo di numerose applicazioni sviluppate da Apache. Inoltre si è deciso di ribadire la scelta di un database XML nativo, piuttosto che relazionale, vista la necessità di memorizzare documenti in formato MPEG-7 e quindi XML. Definiti gli strumenti e le tecnologie di sviluppo, si è passati all implementazione vera e propria del sistema, poi denominato News Archive System. Si tratta di una serie di interfacce Web-based, per il completo controllo del database sia a livello di amministratore di sistema (operazioni di content management), sia a livello di utente del sistema (operazioni di ricerca e uso delle risorse). Il primo problema affrontato è stato quello di realizzare un interfaccia general purpose per Xindice, ovvero uno strumento che permette l accesso a tutte le funzionalità del database - navigazione, creazione, modifica, visualizzazione e cancellazione delle risorse - svincolato dalla particolare applicazione. Quindi, si è passati allo sviluppo di una serie di interfacce, specifiche per l applicazione, mirate alla ricerca di telegiornali e di servizi all interno dei telegiornali stessi, con la possibilità sia di visualizzare il contenuto multimediale, sia di avere descrizioni approfondite sul media in esame. Infine, è stata implementata un interfaccia per il cosiddetto News Archive Administrator, ovvero un amministratore pensato in modo specifico per in News Archive System in grado, tra l altro, di creare documenti MPEG-7 in modo semiautomatico, mediante la compilazione di apposite form. Il prototipo di News Archive System è disponibile all URL: I capitoli che seguono, ripercorrono la linea di progetto adottata. Ad un breve sguardo sul contesto di lavoro (Cap. 1), seguirà una panoramica sugli archivi, in generale, e sulle Teche RAI in particolare (Cap. 2). Verranno quindi proposte, ad un opportuno livello di approfondimento, le tecnologie impiegate per lo sviluppo dell applicazione (Cap. 3) e verranno date alcune motivazioni sulla scelta del database (Cap. 4). Seguirà una panoramica dello standard MPEG-7 (Cap. 5) per arrivare alle descrizione vera a propria dell applicazione, attraverso l illustrazione delle specifiche di sistema, il progetto dall applicazione e la sua implementazione (Cap ). Per finire verrà descritto un breve tour guidato ed il test di usabilità di News Archive System (Cap. 9) seguiti da alcune considarezioni riguardo i sui possibili sviluppi futuri (Cap. 10). In appendice, oltre ad essere riportato lo schema dei dati ed un documento MPEG-7 di esempio, vengono fornite informazioni sul codice prodotto e sull ambiente di sviluppo, sul 12

14 Premessa centro ELIS - e sui valori umani e professionali che ne sono alla base - sui metadati e sul linguaggio UML. 13

15 Capitolo 1 - Contesto generale CAPITOLO 1 Contesto generale 1.1 Internet, un grande contenitore di risorse Scenario Internet non è solo un entità che eroga servizi, ma soprattutto un inesauribile fonte di informazioni di ogni genere messe in rete perché possano essere condivise. Una specie di archivio senza un centro e una periferia nel quale è possibile reperire risorse spesso liberamente accessibili. Un importante caratteristica della rete è la capacità che essa ha di supportare file di tipo multimediale: non solo testi, dunque, ma anche immagini, audio, video e, in un futuro non troppo lontano, anche odori, sensazioni tattili e gustative. Ognuna di queste risorse può essere considerata come un documento multimediale nella sua accezione più generale. La fisionomia di Internet è quella di un perfetto archivio, in grado di immagazzinare un numero infinito di documenti multimediali senza limiti di spazio, e di renderli accessibili a privati o ad istituzioni, gratuitamente o a pagamento. Si tratta, insomma, di un mezzo in grado di eternare testimonianze, documenti originali, rappresentazioni, che abbiano carattere storico o interesse culturale. Con l avvento di apparecchiature elettroniche dalla potenza fino a pochi anni fa inimmaginabile, e soprattutto con la crescita esponenziale di Internet e delle reti di computer in generale, la diffusione di documenti multimediali si è espansa a vista d occhio. Questo è dovuto al fatto che produrre contenuto multimediale oggi è decisamente più semplice che in passato. Con l uso di telecamere digitali, dei personal computer e della Rete stessa, ad esempio, ogni individuo nel mondo è potenzialmente un produttore di contenuti che possono essere facilmente pubblicati e distribuiti. Le stesse tecnologie rendono disponibile 14

16 Capitolo 1 - Contesto generale on-line questi contenuti, che sarebbero rimasti, solo qualche anno fa, inaccessibili. La naturale conseguenza di tutto ciò è che oggi qualunque tipo di informazione è corredata, come minimo, da immagini di vario tipo (fotografie, disegni, grafici), se non da contenuti di più alta complessità come suoni (ad esempio musica o parlato ), filmati ed una combinazione di essi in diversi scenari. Inoltre è sempre più vasto il campo di sistemi elettronici che utilizzano tali risorse in modo automatico, non solo per il loro scambio ma anche per operazioni decisamente più complesse come ad esempio l'indicizzazione ed il filtraggio. Oggi non è azzardato affermare che il valore delle informazioni spesso, se non sempre, dipende dalla facilità del loro reperimento, accesso e gestione. La fig. 1-1 mostra com è cambiamo il consumo di banda degli utenti di Internet dal 1996 ad oggi; è chiaro che i contenuti multimediali hanno già assunto un importanza pari, o addirittura superiore, ad i tradizionali contenuti testuali. Fig. 1-1 Uso della banda In tale contesto assume un importanza fondamentale la dimensione di tali dati, specie quando occorre memorizzarli e/o trasmetterli. Ciò rende per nulla semplice una gestione efficiente delle risorse, sia in ambito locale (quando si ha la possibilità di usare grandi dispositivi di storage) che in ambito distribuito, quando si aggiunge un ulteriore inconveniente dovuto alla larghezza di banda dei canali di comunicazione, tipicamente sempre troppo limitata rispetto alle reali esigenze di trasmissione. La gestione dei contenuti multimediali diventa ancor più problematica se è finalizzata all accesso e quindi alla ricerca; ogni utente, anche il meno esperto, già si accorge della difficoltà, per esempio, di reperire immagini su Web in modo efficiente. 15

17 Capitolo 1 - Contesto generale Gli attuali motori di ricerca, infatti, basano la loro esplorazione esclusivamente sulla parte testuale di un documento, tralasciando ogni contenuto multimediale presente, se non per il titolo del file che contiene tale informazione. Inoltre, i motori di ricerca si affidano ad operatori umani per descrivere il contenuto multimediale, mediante parole chiave e annotazioni. Per due ragioni un tale fatto non è più accettabile: non solo si tratta di un processo assai costoso e il costo aumenta continuamente all aumentare dei contenuti; ma, soprattutto, queste descrizioni sono soggettive e il loro uso è spesso limitato al dominio dell applicazione per la quale esse sono state create. I fatti dimostrano che le ricerche-utente sono basate sul contenuto e sulla sua semantica più che sulla risorsa stessa. L'utente dei motori di ricerca tradizionali trova quindi difficoltà nello "adattarsi" al sistema e nel dover traslare le sue richieste (di alto livello) in un set di feature comprensibili dal motore (e quindi di basso livello). Viene a mancare, in ultima analisi, quello che si chiama il quality access to content (ossia la qualità dell'accesso ai contenuti) che, per essere realizzato, implica soluzioni innovative nell'identificazione dei contenuti e tecniche accurate e personalizzate di filtraggio, ricerca, reperimento e gestione Bisogni e prospettive: lo standard MPEG-7 Nello scenario delineato, appare dunque necessario descrivere, indicizzare e annotare, in maniera automatica e oggettiva, informazioni multimediali, e specialmente dati audiovisuali, per sostituire o integrare descrizioni manuali e text-based. Tali feature automaticamente estratte, oltre al vantaggio di essere automaticamente generate, e quindi oggettive, garantiscono l indipendenza dal dominio dell applicazione e la possibilità di essere native al contenuto multimediale stesso. Nell ambito delle risorse multimediali audiovisive, descrizioni native potrebbero essere date per descrivere feature come il colore, la forma, la texture (nell ambito di immagini) o timbro e melodia (nell ambito di suoni) permettendo agli utenti di fare ricerche comparando descrizioni. Ci sono tuttavia, feature esprimibili solo mediante testo, come ad esempio, l autore o il titolo di un libro. Il gruppo di esperti MPEG ( Moving Pictures Expert Group ), afferente all ISO (International Standards Organization), ha finora focalizzato la propria attenzione verso standard di compressione di dati di tipo multimediale, portando con successo all affermazione 16

18 Capitolo 1 - Contesto generale degli standard MPEG-1, MPEG-2 e MPEG-4. Attualmente, MPEG ha spostato le proprie ricerche verso nuovi orizzonti, riguardanti non più la compressione bensì la descrizione dei contenuti multimediali, oggi presenti in ogni ambito della comunicazione. Il risultato è il nuovissimo standard MPEG-7 (la cui definizione formale è Multimedia Content Description Interface). Il progetto MPEG-7 ha l obiettivo di specificare uno standard per descrivere i più disparati tipi di contenuto multimediale: se i suoi predecessori nella famiglia MPEG, ovvero l MPEG-1, MPEG-2 e MPEG-4, rappresentano il contenuto stesso ovvero la risorsa multimediale ( i bit ), l MPEG-7 rappresenta informazione sul contenuto multimediale ( i bit sui bit ). Mentre i primi, riproducono il contenuto, l ultimo lo descrive. Anche senza MPEG-7, ci sono molti modi per descrivere contenuti multimediali in vari sistemi di gestione di risorse digitali. Tuttavia, questi sistemi non permettono una ricerca su archivi differenti e non facilitano lo scambio dei contenuti tra database diversi che usano differenti sistemi di descrizione. Creare uno standard significa aumentare l interoperabilità tra i diversi sistemi e, quindi, dar vita ad un ambiente in cui strumenti di fornitori differenti possono lavorare assieme creando un infrastruttura per la gestione trasparente dei contenuti. I punti di forza dello standard MPEG-7 sono, appunto, l aumento di interoperabilità e la prospettiva di offrire prodotti a costi più bassi attraverso la creazione di un mercato considerevole con nuovi servizi standard-based e un crescente numero di utenti. Lo standard stimolerà sia i fornitori di contenuti che gli utenti e semplificherà l intero processo di identificazione dei contenuti. Affinché le soluzioni proprietarie non prevalgano, ostacolando in tal modo l interoperabilità, lo standard dovrà rivelarsi semplice e robusto. La sfida di MPEG-7 è stata quella di confrontare i bisogni con le tecnologie disponibili, o, in altre parole, di riconciliare ciò che è possibile con ciò che è utile. Nel prossimo capitolo, verranno affrontate queste stesse problematiche proiettate nella sfera degli archivi digitali, concentrando in particolare l attenzione sulle Teche RAI, una struttura creata ad hoc per gestire i processi di conservazione, catalogazione e digitalizzazione sia degli archivi che dei programmi quotidianamente prodotti della RAI. 17

19 Capitolo 2 - Le Teche RAI ed il progetto Internet TV CAPITOLO 2 Le Teche RAI ed il progetto Internet TV In questo capitolo, si discuteranno gli aspetti fondamentali riguardanti gli archivi audiovisivi digitali, con un breve sguardo ai maggiori archivi multimediali al mondo e verrà descritta la realtà del grande archivio multimediale radiotelevisivo italiano, le Teche RAI. In questo contesto, si illustrerà il progetto Internet TV fino ad arrivare alle motivazioni che hanno spinto a definirne questa terza fase. 2.1 Cos è un archivio? Ognuno di noi è potenzialmente il produttore di un archivio, perchè ognuno di noi è portatore di memoria. Fino ad oggi, nella cultura occidentale, il supporto principale della memoria è stato il documento cartaceo, che ha costituito una specie di estensione fisica delle possibilità di "stoccaggio" della memoria individuale e collettiva. Questo è ciò che ci hanno consegnato i nostri padri, insieme ai monumenti, alle opere d'arte, agli oggetti materiali che ancora ci circondano. Questo è ciò che ancora oggi noi produciamo e consegnamo al futuro. Così nascono gli archivi, depositi documentari caratterizzati dal fatto che ogni documento è intimamente legato all'altro da una rete di relazioni. Comprendere il linguaggio con cui il documento si esprime e le relazioni che lo legano agli altri è ciò che ci consente di comprendere l'archivio nel suo insieme e quindi anche di trovarvi ciò che cerchiamo. 18

20 Capitolo 2 - Le Teche RAI ed il progetto Internet TV L archivio multimediale Un archivio multimediale è una collezione di risorse su media differenti, ovvero una raccolta di contenuti conservati su diversi tipi di supporto. In un archivio multimediale possono trovarsi assime documenti cartacei, pellicole, stampe fotografiche ma anche suoni, voce, musica e video registrati su supporti che vanno dai dischi in vinile, ad ogni genere di nastro magnetico, fino ai modermi sistemi digitali quali CD-ROM, DVD-ROM, e Hard-Disk. Se nel passato la raccolta, la conservazione e la ricerca di tali risorse era difficile, costosa e poco efficiente, oggi, con l esplosione della produzione di contenuti audio-visuali e con l avvento di Internet, è quasi impossibile immaginare un sistema di archiviazione tradizionale L archivio digitale Un archivio digitale è un sistema di gestione di risorse digitali (Digital Asset Management System) il cui compito è quello di gestire dati in formato digitale come testo, immagini, file audio e video, in modo che questi possano essere riusabili. Un tale sistema mira a massimizzare il valore delle risorse, permettendone un agevole salvataggio e recupero ed accrescendone, di conseguenza, l utilizzo e la protezione. Una risorsa digitale è, sostanzialmente, un file contrassegnato da informazioni descrittive (i metadati, si veda l appendice E). Questo file può contenere sia dati non strutturati - come ad esempio un immagine, un clip audio o video - sia dati strutturati - come ad esempio un documento - ma ciò che è importante capire è che a nulla servono questi dati, se non sono accompagnati da altri dati, i metadati appunto, che ne rendono possibile il recupero ed il riutilizzo. Alcuni esempi di risorse digitali potrebbero essere pubblicazioni, dati scientifici, archivi di immagini, siti Web, corsi di educazione a distanza (E-learning), filmati e fin anche i database stessi. I punti di seguito elencati fornisco una visione generale e riassuntiva di quelli che sono gli obiettivi della gestione di risorse digitali. Un archivio digitale dovrebbe garantire: il controllo della proprietà (rights management) e della sicurezza; l'autenticità dei documenti; 19

21 Capitolo 2 - Le Teche RAI ed il progetto Internet TV la riusabilità sia per utilizzo a breve che a lungo termine; una gestione efficace delle risorse per massimizzare efficienza, produttività e profitto; l integrità dei dati (requisito essenziale per il salvataggio e la trasmissione); la permanenza dei dati (archiving); una facile ricerca e aggiornamento dei contenuti (querying e updating). Sulla base di queste considerazioni, il progettista di un sistema di gestione di risorse digitali, si troverà a dover fronteggiare una serie di scelte progettuali che riguardano essenzialmente: la scelta e le limitazioni dell hardware; la gestione della persistenza delle risorse nel data repository; il controllo e la sicurezza delle risorse digitali; la gestione dei diritti; la creazione del contenuto; l interoperabilità tra librerie digitali. 2.2 Alcuni tra i maggiori archivi multimediali mondiali Il più alto esempio di archivio multimediale è sicuramente, anche per il valore etico dell iniziativa, il VHF, cioè Survivors of the Shoah Virtual History Fondation, nato nel 1994 per iniziativa del regista Steven Spielberg che, dopo aver girato il film Schindler s List, ha provato l esigenza di approfondire lo studio della tragedia dell Olocausto. L iniziativa si è proposta di riprendere e preservare le testimonianze degli scampati ai campi di concentramento. Al momento, l archivio raccoglie oltre testimonianze di persone provenienti da 57 paesi, in 32 lingue. L accesso all incredibile messe di informazioni, preziosissime da un punto di vista storico e didattico, è possibile solo in parte, ma è allo studio la creazione di un accesso diretto via Internet anche per i privati. Il Multimedia Archive di AccuNet AP comprende il materiale raccolto dalla Associated Press, una mole imponente di fotografie, testi, audio e grafica, divisa in tre grandi database: 20

22 Capitolo 2 - Le Teche RAI ed il progetto Internet TV uno dedicato interamente al nord America, uno all Europa e all Asia, e uno internazionale riservato al resto del mondo. Sono disponibili circa articoli aggiornati, audioclip dagli anni 20 fino a 48 ore fa, e in più illustrazioni, grafici e mappe. L accesso è possibile tramite abbonamento. Per quanto riguarda l Italia, da segnalare l ottimo Archivio Storico dell Istituto Luce, un organismo nato nel periodo fascista e autore dei famosi cinegiornali che anticipavano l odierna comunicazione televisiva di tipo informativo. L Istituto attualmente si occupa di promozione e distribuzione cinematografica. Sono infatti i cinegiornali, oltre i documentari e i repertori, le tre categorie nelle quali è possibile la ricerca. Il periodo coperto va dall epoca dei Lumière fino ai giorni nostri. Il materiale, solo recentemente informatizzato, comprende ore di filmati e oltre di negativi, preziose testimonianze nel campo della storia, dello spettacolo e del costume Gli archivi multimediali radiotelevisivi Gli archivi multimediali radiotelevisivi sono, in genere, di proprietà dei maggiori enti radiotelevisivi mondiali che registrano, catalogano e conservano gran parte della produzione audiovisiva giornaliera. Solo di recente questi archivi stanno diventando digitali; gran parte delle risorse è ancora sui tradizionali supporti magnetici. Le fig. 2-1 e 2-2 riassumono il panorama internazionale riguardo gli archivi radiotelevisivi. Archivi Risorse Video Risorse Audio Risorse Fotografiche BBC (UK) (film e videocassette) registrazioni radio di fotografie RAI (ITA) ore * ore * INA, Istituto Nazionale dell Audiovisivo (FR) Sveriges TV (SE) ore di programmi televisivi e di attualità cinematografica ore di film stranieri e a maggioranza non di propria ore di programmi radio 21

23 Capitolo 2 - Le Teche RAI ed il progetto Internet TV produzione NAA (NL) RTVE (ES) SWR (DE) HRT (HR) YLE (FIN) ore ore ore ore ore Fig. 2-1 I maggiori archivi radiotelevisivi europei * fine restauro Archivi Risorse Video ABC News (NY USA) TV Globo (BR) titoli ore National Archive of Canada ore Fig. 2-2 Alcuni archivi radiotelevisivi mondiali Questi dati sono stati resi noti durante la conferenza della Federazione internazionale degli archivi televisivi (FIAT), che si è svolta a Firenze dal 26 settembre al 1 ottobre '98. Un dato interessante discusso durante la conferenza riguarda il tipo di utenti che consultano gli archivi multimediali; in ordine decrescente, essi appartengono alle seguenti categorie: giornalisti, programmisti, registi, docenti e studenti universitari, biblioteche, centri di ricerca, ricercatori individuali, mediateche regionali e privati. Non è un caso che i giornalisti siano i primi consumatori di contenuti multimediali. Nell ambito dei progetti internazionali volti alla realizzazione di sistemi di archiviazione e gestione di metadati multimediali, orientati alla ricerca di informazioni giornalistiche, va menzionato quello della Vanderbilt University. Si tratta del Television News Archive, ovvero della più grande collezione al mondo di news televisive. Sono stati classificati oltre telegiornali della sera delle maggiori emittenti televisive americane (ABC, CBS, NBC dal 1968 fino ai giorni nostri e CNN) e più di ore di servizi speciali. Il materiale presente nell archivio può essere identificato attraverso il TV-NewsSearch Database e ne può essere richiesta una copia per scopi di ricerca o studio. 22

24 Capitolo 2 - Le Teche RAI ed il progetto Internet TV 2.3 Le Teche RAI Un esempio di archivio multimediale digitale è proprio quello che si sta costruendo per i programmi della televisione e della radio pubbliche in Italia, attraverso la realizzazione delle Teche RAI, un sistema di library digitale basato su un catalogo multimediale creato per gestire i processi di conservazione, catalogazione e digitalizzazione sia degli archivi storici (ricordiamo che la RAI ha mezzo secolo di storia, con un patrimonio di risorse radiofoniche e televisive di dimensioni notevoli) che dei programmi quotidianamente prodotti. La RAI sta compiendo enormi sforzi in questa direzione, per aumentare il valore delle sue immense risorse, rendendole più fruibili; dal 1997 è, infatti, iniziata una ristrutturazione completa dei suoi archivi: nonostante il 70% della produzione televisiva RAI fosse conservato, il problema principale era costituito dalla necessità di documentare tale materiale. Al termine del lavoro di recupero degli archivi storici della televisione e della radio, le Teche RAI conterranno circa ore di video e ore di audio Obiettivi e utenti Si possono individuare due principali obiettivi delle Teche RAI. Le Teche, un immenso archivio di informazioni fruibili per programmisti, autori, giornalisti, rivoluzionano il modo di accesso alle risorse degli archivi RAI e diminuiscono drasticamente i tempi di ottenimento delle risorse, ovunque siano dislocate. Le Teche sono fonti di contenuti non solo per utenti interni all azienda ma anche per utenti esterni: l'archivio oggi alimenta in maniera cospicua canali tematici satellitari (RAI Educational e RAI Sport) Il patrimonio delle Teche di RAI La RAI ha un immenso patrimonio di risorse riassunto dalle fig. 2-3, 2-4 e 2-5 (i dati sono del 2000). 23

25 Capitolo 2 - Le Teche RAI ed il progetto Internet TV Consistenza Patrimonio Televisivo Trasmesso storico Trasmesso quotidiano Grezzo girato TECA centrale CSS1 (1954/1997) TECA nazionale sport (C/O CPTV MI 1954/1997) Programmi, televisione e sport dal 1998 TECHE di sede regionale TG nazionali TG regionali ore ore oltre ore oltre ore ore ore Fig. 2-3 Consistenza patrimonio televisivo RAI Patrimonio Area Radiofonica Nazionale Archivio nastri ARCHIVI CARTACEI Esecuzioni musicali Giornale radio Programmi Dischi d acquisto Copioni Spartiti, partiture, parti d orchestra e libretti ore ore ore brani documenti documenti Fig. 2-4 Patrimonio area radiofonica nazionale Patrimonio di Biblio-Mediateca RAI Altri materiali Fototeca nazionale Libri Riviste Giornali quotidiani Prodotti editoriali su CD- ROM Archivio RAI Archivio ex-radiocorriere unità 500 raccolte 50 reccolte Oltre foto foto Fig. 2-5 Patrimonio di biblio-mediateca RAI Le risorse possono essere logicamente divise in risorse storiche e risorse attuali. Risorse storiche Le risorse storiche sono costituite da tutto il patrimonio radiotelevisivo e fotografico della RAI fino al Tali risorse sono distribuite nel territorio nazionale nelle cosiddette Teche 24

26 Capitolo 2 - Le Teche RAI ed il progetto Internet TV Centrali, la più grande delle quali è la Teca Master di Roma, e sono formate in gran parte da materiale in formato cartaceo e da cassette video analogiche. Tutto questo materiale soffre, quindi, del deterioramento del tempo e necessita dell intervento umano per le operazioni di ricerca. Un giornalista, ad esempio, che voglia un estratto di un giornale radio del 1973, deve recarsi presso una Teca centrale, fare una richiesta scritta all addetto, il quale o lo cercherà manualmente oppure affiderà il compito a delle gru robotizzate che individueranno il contenitore della risorsa richiesta. Ogni teca ha un suo archivio (talvolta anche parziale) in formato digitale e, tuttavia, ogni teca ha il suo standard di descrizione dei dati: si comprende da tutto ciò come la grande quantità delle risorse è sfruttata con poco rendimento, essendo poco agevole lo scambio di informazioni tra le teche e i tempi di attesa piuttosto lunghi (può passare anche una settimana dalla richiesta all ottenimento della risorsa). Risorse attuali Le risorse attuali sono costituite da tutta la programmazione trasmessa quotidianamente delle tre emittenti RAI in formato digitale. Tale materiale è archiviato nella cosiddetta Teca Fast, la videoteca digitale di RAI, inizialmente progettata per contenere materiale digitalizzato a media qualità, poi elevata al rango di unica teca digitale per l accesso veloce a risorse di archivio di elevata qualità. Questa comprende un architettura di codifica automatica del materiale televisivo trasmesso in diretta dai tre canali nazionali di RAI, con una connessione ai banchi di messa in onda e al riferimento temporale dell Istituto Galileo Ferraris, che, insieme, consentono di riconoscere automaticamente l inizio di ogni programma trasmesso (escludendo le pubblicità) e codificare esattamente l orario di trasmissione. La Teca Fast ha l'obiettivo di fornire materiale con una qualità utilizzabile per le hard news, per le produzioni tematiche e ad uso broadband, con funzioni anche di disaster recovery, di premontaggio, e obiettivi di evoluzione verso il montaggio virtuale dalla stessa consolle del ricercatore o montatore. Con i servizi implementati nell architettura dell archivio Teca Fast, l utente connesso al sistema può visionare o riversare le sequenze audiovisive, con comandi tipici di un videoregistratore, con le tipiche funzionalità di visualizzazione del time code sincrono con il filmato, oltre alla visualizzazione delle sequenze video a schermo pieno, con audio di qualità elevata. 25

27 Capitolo 2 - Le Teche RAI ed il progetto Internet TV Un database relazionale SQL puro si interfaccia con il sistema di acquisizione e codifica della Teca Fast e contiene informazioni sui contenuti della Teca Fast stessa e sullo stato delle attività (una specie di memoria temporanea del sistema). Il database viene interrogato tramite un interfaccia grafica via Web browser. Per effettuare richieste dei contenuti audiovisivi archiviati, il client deve inviare al DBMS (DataBase Management System) solamente poche informazioni riguardanti la data di trasmissione sulla rete, l identificatore della rete di emittenza, l orario di inizio trasmissione della sequenza di interesse (un istante qualsiasi della giornata di trasmissione, con la precisione del secondo) e l orario di fine della sequenza da estrarre. Sono queste le informazioni che vanno fornite all atto della richiesta di materiale sia di Teca Fast che delle Teche Centrali. Da questa breve carrellata sulle risorse della RAI, si comprende come il suo intero patrimonio sia eterogeneo, sia per la differenza dei supporti di archiviazione sia per la non uniformità delle descrizioni sia, infine, per le diverse modalità di accesso alle risorse La gestione delle Teche RAI: il catalogo multimediale e Octopus Oltre ad una serie di iniziative di recupero dei materiali di archivio, come il riversamento su supporti video digitali delle vecchie cassette deteriorate, le Teche RAI perseguono l obiettivo del completamento di un Catalogo Multimediale. Si tratta di uno strumento per gli utenti interni (produttori, registi, giornalisti ed, in generale, per tutti coloro che operano nel settore della produzione) che dovrebbe colmare, almeno in parte, il problema dell eterogeneità delle Teche Centrali e Teca Fast e ridurre in maniera significativa i tempi di accesso alle Teche Centrali, al fine di ottenere la risorsa richiesta in un tempo decisamente minore rispetto alla procedura tradizionale. Il Catalogo Multimediale è un sistema che offre funzionalità di ricerca sul palinsesto televisivo RAI, riportando documentazione testuale e anteprime di immagini, audio e video estratti in bassa qualità dai materiali televisivi stessi, e si interfaccia opportunamente ad un sistema informatico che è in grado di effettuare richieste di materiali filmati di archivio, alle diverse sedi connesse alla rete aziendale. Si tratta di un sistema accessibile on-line, con un comune browser, dall interno della rete intranet RAI, per fini produttivi e solo in piccola parte i suoi contenuti sono resi accessibili al pubblico esterno, attraverso il sito Internet delle Teche. 26

28 Capitolo 2 - Le Teche RAI ed il progetto Internet TV Come accennato in precedenza, ogni archivio delle Teche RAI presenta un sistema informativo interno per la gestione delle risorse e spesso si tratta di sistemi diversi che adottano modelli di descrizione dei materiali differenti. Con il Catalogo Multimediale e il sistema Octopus, un motore di ricerca di tutte le risorse RAI che consente anche di delineare e salvare profili utente, è possibile effettuare ricerche dalla intranet RAI sui contenuti catalogati dai diversi archivi nazionali. I contenuti del Catalogo Multimediale e le risorse delle Teche (Fast e Centrali) devono essere mantenuti allineati in modo che l utente, dopo avere consultato il catalogo ed individuato i segmenti dei programmi di interesse, possa inviare i codici di identificazione relativi alla teca appropriata ( ordini di lavoro ) e ricevere una copia del materiale scelto eliminando completamente la necessità di visionare i materiali. La figura sottostante riassume tutte le risorse delle Teche RAI: Fig. 2-6 Il sistema Teche RAI Nuove possibilità di utilizzo per gli utenti Si può facilmente intuire ora come le innovazioni dell archivio si ripercuotano direttamente sulla produzione, il confezionamento ed il montaggio dei programmi. La regia può, ad esempio, connettersi in rete informatica direttamente con l'archivio digitale Teca Fast di RAI e richiedere le risorse, intese come sequenze video, necessarie alla produzione; in alterntiva con una connessione al Catalogo Multimediale di Teche RAI è possibile attingere a 27

29 Capitolo 2 - Le Teche RAI ed il progetto Internet TV documenti testuali, foto digitalizzate, programmi radio e sequenze video codificate in MPEG- 4. I giornalisti e gli operatori possono visionare i video digitalizzati e archiviati nel database centrale, che è direttamente interrogabile e accessibile attraverso le postazioni delle redazioni connesse alla intranet aziendale, e cercare negli archivi tutti i video per i quali sono disponibili delle descrizioni o una qualche catalogazione, utilizzando un normale Web browser. Una volta individuati e raccolti i video i giornalisti potranno richiedere una copia degli originali (per materiali su supporto audiovisivo tradizionale, tipicamente archiviati in una delle Teche Centrali) o editarli e trasmetterli ad alta qualità televisiva attraverso i video server disponibili (per materiali presenti nella teca digitale, la Teca Fast stessa). 2.4 Il progetto Internet TV Dai paragrafi precedenti, si evince che, seppur i problemi di interoperabilità e standardizzazione che affliggono le Teche RAI sono stati affrontati mediante la creazione del Catalogo Multimediale, questa risulta essere solo una soluzione tampone al problema. Infatti la mancanza di uno standard di descrizione delle risorse ha tre effetti negativi: isola il sistema Teche RAI da altri sistemi esterni; preclude la diffusione delle risorse per grandi numeri di utenti, ad esempio attraverso un sito Web pubblico; non favorisce i possibili futuri aggiornamenti delle strutture (sia a livello fisico che logico: una riorganizzazione dei server, ad esempio, comporterebbe una completa reimplementazione di Octopus). In questo contesto si colloca il progetto Internet TV nell ambito dei Vivai d Impresa presso il Centro ELIS (si veda l appendice B). Questo progetto non vuole essere una soluzione definitiva ai mali delle Teche, ma si propone di indicare delle linee guida per poterli risolvere e degli esempi di soluzioni. Le basi del progetto Internet TV si possono sinteticamente riassumere in quattro punti: 1) interoperabilità con i sistemi preesistenti (requisito necessario se si pensa all eterogeneità dell intero patrimonio RAI); 28

30 Capitolo 2 - Le Teche RAI ed il progetto Internet TV 2) accesso attraverso interfacce Web (come avviene nella intranet di RAI, non precludendo possibili distribuzioni per utenti comuni su Internet, free o a pagamento); 3) definizione di un modello dei dati standard per la gestione dei metadati e la ricerca dei contenuti; 4) collegamento alla risorsa fisica (video streaming su richiesta). Questo lavoro di tesi costituisce la terza fase di questo progetto che è cominciato alla fine del Il progetto Internet TV fase 1 si è occupato essenzialmente di studiare la struttura delle Teche, con particolare attenzione a Teca Fast, e di acquisire competenze su MPEG-7, una delle tecnologie XML-based emergenti nell ambito della standardizzazione dei contenuti, e sulle infrastrutture Web, quali ad esempio DBMS nativo XML, motivandone la scelta rispetto a sistemi tradizionali (DBMS relazionali o a oggetti). Lo scopo del progetto Internet TV fase 2 è stato la realizzazione di un sistema informativo (denominato TV News Archive ) per la gestione di metadati audiovisivi, basato sulle tecnologie più innovative che si stanno imponendo in questo settore, e finalizzato alla diffusione di risorse audiovisive in rete geografica. Così come si può interrogare la Teca Fast specificando pochi parametri (vedi sopra), allo stesso modo si può interrogare TV News Archive, fornendo la stessa quadrupletta di dati. Le risorse televisive, su cui utilizzare l'applicazione, sono stati i telegiornali trasmessi dalle tre reti nazionali, suddivisi in base alle notizie di ciascun servizio. L interoperabilità con altri sistemi è stata garantita utilizzando il database XML nativo Tamino, di Software AG, per lo storage dei contenuti: esso, infatti, implementa funzionalità di accesso e scambio dati con tutti i principali DBMS, oltre ad avere un DBMS SQL interno. Le interfacce per l interrogazione del DBMS, con funzionalità di ricerca avanzate, sono state create utilizzando funzioni JavaScript ed oggetti ActiveX, svincolando l utente finale da conoscenze sullo standard MPEG-7 o sulle tecnologie sottostanti. 29