Un ambiente semantico per la gestione e il reperimento di video

Transcript

1 Applications Un ambiente semantico per la gestione e il reperimento di video Antonella Carbonaro Università di Bologna carbonar@csr.unibo.it Abstract L articolo presenta un approccio ontologico alla costruzione di un framework per il reperimento dei video di maggior interesse per l utente. Tramite la gestione di un ontologia il sistema utilizzerà i concetti chiave che descrivono le scene dei video in oggetto e le loro relazioni usando una rappresentazione machine-processable. Tale rappresentazione può essere utilizzata per un analisi contenutistica delle risorse, per il riconoscimento e l estrazione dei concetti chiave, per la costruzione di un ambiente user-friendly di recupero di materiale multimediale. Je-LKS Journal of e-learning and Knowledge Society Vol. 5, n. 1, febbraio 2009 (pp )

2 Je-LKS Applications - Vol. 5, n. 1, febbraio Introduzione Una grande quantità di informazioni multimediali pervadono sempre più la vita di ogni giorno, grazie anche ai progressi compiuti nelle tecnologie e nelle applicazioni multimediali sempre più raffinate; fra esse i video assumono un ruolo predominante a causa del loro alto potere informativo e di intrattenimento. La sfida più importante è rappresentata dalla possibilità di implementare sistemi di indicizzazione dei contenuti in modo da rendere possibile la loro ricerca e riusabilità. Ciò può richiedere di annotare i contenuti multimediali, annotazione che può essere implementata con tecniche manuali o, più difficilmente, con tecniche automatiche. Nel primo caso il processo richiesto è estremamente costoso in termini di risorse richieste, nel secondo, invece, è necessario applicare tecniche di analisi contestuale che automaticamente estraggano descrizioni concise dalle risorse multimediali che possono essere usate come meta data. I sistemi di annotazione per le risorse multimediali necessitano output standard compatibili con altri ambienti di visualizzazione e indicizzazione. Lo standard MPEG-7 [ISO/ IEC] risponde a questi obiettivi rappresentando l informazione multimediale attraverso una rappresentazione testuale (XML) che ne permette una immediata ricerca e navigazione rispetto ai contenuti e non in funzione della propria struttura fisica. Nelle applicazioni che gestiscono elementi testuali spesso è sufficiente annotare le proprietà generiche della risorsa (ad esempio il titolo, il creatore, etc.) ed eseguire ricerche basate su keywords tramite approcci fulltext. Per le risorse non testuali la ricerca fulltext rappresenta un opportunità quando esistono sufficienti informazioni testuali associate (ad esempio, i motori di ricerca per immagini spesso lavorano sul testo che circonda le immagini nei sorgenti HTML o sui sottotitoli, le caption o le trascrizioni dell audio). In molti altri casi si rende invece necessaria una descrizione del contenuto che, spesso, fa riferimento a una porzione della risorsa, ad esempio, a uno specifico shot di un film o a una specifica regione di un immagine, e non all intero documento. Per elaborare file video si rende allora necessaria l implementazione di tecniche di shot detection (Grana et al., 2005) e di individuazione dei frame chiave all interno degli shot. Un importante passo verso un efficiente gestione delle risorse multimediali è costituito dalla rappresentazione semantica delle risorse (Calic et al. 2005), (Bloehdorn et al., 2004). Nella comunità del Semantic Web le annotazioni sono spesso associate a istanze di una ontologia. Tramite le ontologie un sistema può esprimere i concetti chiave e le relazioni che descrivono un video usando una rappresentazione machine-processable che può essere utilizzata per un analisi contenutistica delle risorse, per il riconoscimento 88

3 Antonella Carbonaro - Un ambiente semantico per la gestione e il reperimento di video e l estrazione dei concetti chiave, per la costruzione di un ambiente userfriendly di recupero di materiale multimediale. In (Tjondronegoro, Spink 2008) gli autori riportano le considerazioni emerse da uno studio sulle funzionalità offerte da più di 100 motori di ricerca sia generici che specializzati. Essi riportano come, nonostante il crescente livello di interesse nella ricerca sulle risorse multimediali, la maggior parte dei motori offrono ancora limitate potenzialità multimediali usando spesso solo keyword. Una ricerca semantica non può però essere condotta utilizzando le interfacce comunemente usate, ma si richiede di fornire un sistema efficiente adatto alla formulazione di interrogazioni e alla navigazione delle informazioni sulla base anche della struttura ontologica di riferimento. Scopo del presente lavoro è allora quello di presentare un ambiente per il recupero e la visualizzazione di video basato su approcci collaborativo e semantico. L approccio collaborativo è presente sia nel recupero (tramite raccomandazione e condivisione di risorse) che nella rappresentazione semantica del dominio di riferimento, mentre quello semantico è presente nello spazio ontologico che rappresenta la conoscenza di dominio. Le tecnologie semantiche implementate possono migliorare il tradizionale approccio a keyword facilitando il recupero e la visualizzazione delle informazioni multimediali tramite l elaborazione delle informazioni semantiche aggiunte alle risorse. L articolo introduce Scout-V (Semantic-based Content management Tools - Video), un sistema per l annotazione e il recupero di video annotati sulla base di un ontologia. Scout-V fornisce i seguenti tool basati sul web: un applicazione per la navigazione efficiente attraverso la collezione di video, un applicazione di shot detection che automaticamente identifica gli shot presenti in un video misurando la similarità fra i frame costituenti, un applicazione per l annotazione per permettere agli utenti di annotare agilmente le sequenze video, un applicazione per l editing di ontologie per permettere agli utenti di modificare l albero ontologico creando tutte le necessarie classi e istanze, un applicazione per la raccomandazione delle annotazioni sui video che permette agli utenti di velocizzare il compito di annotazione proponendo frame simili già annotati anche da altri utenti, un applicazione per la produzione di file MPEG-7 per mantenere le descrizioni dei contenuti ottenute, un applicazione per il recupero di video che risponde in maniera funzionale alle esigenze dell utente proponendo una scelta dei video collezionati. 89

4 Je-LKS Applications - Vol. 5, n. 1, febbraio 2009 Le applicazione che possono beneficiare di una rappresentazione semantica dei video sono molteplici e vanno dagli ambienti di e-learning personalizzati (Carbonaro, Ferrini, 2005), (Carbonaro, 2005) alla pubblicità, dai sistemi di home entertainment (Dowman et al., 2005) alla gestione di cataloghi multimediali. La discrepanza fra il modo in cui i dati video sono codificati digitalmente e quello in cui sono utilizzati da un utente umano per le proprie esperienze è chiamato il gap semantico, (Smeulders et al., 2000). 2 L ambiente sviluppato Gli approcci tradizionali alla personalizzazione includono sia tecniche basate sull analisi dei contenuti che tecniche basate sull analisi collaborativa fra utenti (Dai, Mobasher, 2004). Se, da un lato, un approccio del primo tipo permette di definire e mantenere un accurato profilo dell utente (ad esempio, l utente potrebbe fornire al sistema l elenco delle keyword che rappresentano il suo iniziale interesse e il profilo potrebbe essere mantenuto sotto forma di vettore pesato delle keyword e modificato sulla base di feedback espliciti di rilevanza) particolarmente utile quando si incontrano contenuti nuovi, d altro canto esso soffre delle limitazioni di riguardare solo le caratteristiche che descrivono il contenuto di una risorsa. Differentemente, in un approccio collaborativo le risorse sono elaborate in base al valore attribuito da altri utenti del sistema con interessi simili. Mancando l analisi del contenuto della risorsa queste tecniche di gestione dell informazione possono essere applicate ad ogni tipo di risorsa e non solo a quelle tipicamente testuali. D altra parte però queste tecniche lavorano bene quando molti utenti offrono una valutazione alle molteplici risorse ritardando la messa a sistema delle nuove risorse e dei nuovi utenti. A problematiche ci si riferisce spesso con il nome di sparsity e start-up problems (Melville et al., 2002). L idea è quella di combinare gli approcci content-based e collaborativo per superare le limitazioni di ciascun metodo e sfruttare i vantaggi che derivano da un approccio ibrido. L approccio adottato realizza pienamente i punti di forza del content-based filtering, mitigando gli effetti di sparsity problem e early-rater problem. Ma anche l approccio ibrido presenta alcune limitazioni, vale a dire la difficoltà nel catturare conoscenza semantica del dominio di applicazione, cioè i concetti, le relazioni fra i concetti, le proprietà e le regole che potrebbero essere definiti. C è quindi un grande interesse nello sviluppo di sistemi di personalizzazione basati su ontologie per facilitare la rappresentazione e l estrazione della conoscenza e l integrazione dei contenuti (Henze, et al., 2004), (Bighini, Carbonaro, 2004). Alcuni esempi di sistemi di e-learning basati su tecnologie semantiche possono essere trovati in Mendes e Sacks (Mendes, Sacks, 2004) e in Lytras e Naeve (Lytras, Naeve, 2005). Scout-V assiste l utente nell annotare le sequenze video. Ogni shot 90

5 Antonella Carbonaro - Un ambiente semantico per la gestione e il reperimento di video appartenente alla sequenza può essere annotato sulla base dell ontologia sottostante. Tali descrizioni sono memorizzate come MPEG-7 nei file XML di output. Scout-V può anche salvare, aprire e recuperare file MPEG-7 e visualizzare le annotazioni. La pagina principale dell applicazione sviluppata mostra la collezione di video che possono essere elaborati eseguendo l individuazione, la cancellazione o l editing degli shot. Ottenuta le segmentazione automatica in shot del video scelto il secondo passo consiste nel definire il lessico per identificare gli shot. Uno shot può essere fondamentalmente descritto usando alcune classi base: gli agenti, gli oggetti, i posti, i tempi e gli eventi. Questi 5 tipi definiscono il vocabolario iniziale utilizzabile per descrivere il contenuto del video e corrispondono ai tag SemanticBase MPEG-7. Abbiamo inoltre definito alcuni attributi per descrivere le caratteristiche delle classi. Ogni attributo corrisponde a uno specifico tag MPEG-7 usato in fase di memorizzazione. Il lessico è poi importato in Scout-V per descrivere ed etichettare ogni shot in base al suo contenuto rispetto al lessico selezionato. La defizione del lessico può essere modificata e importata nel tool di annotazione. La sezione di Scou-V dedicata all annotazione dei video è divisa in tre sezioni grafiche: il frame Scene Matching in cui sono mostrati gli algoritmi che possono essere usati per ottenere la raccomandazione delle annotazioni (Block Truncation Coding, edge histogram, colour histogram), il frame Ontology Visualization che interattivamente assiste l utente nell annotazione e il frame Video Presentation che riporta le immagini chiave di ogni shot e le sue caratteristiche. Il modulo di editing dell ontologia permette di modificare l albero ontologico creando e popolando tutte le classi e le istanze necessarie. Scopo della fase di creazione delle istanze è quello di rappresentare efficacemente la conoscenza di dominio, così da permettere una migliore precisione nella successiva annotazione. Le annotazioni sono memorizzate e usate da una procedura di raccomandazione per aiutare l utente nel trovare frame simili già annotati da altri utenti e ridurre così il tempo e le risorse spese nell annotazione, spesso una delle fasi più costose dell intera gestione semantica delle informazioni. La raccomandazione è eseguita tramite un matching automatico fra le scene e perseguendo un modello collaborativo. Diversi test sono stati condotti per valutare l efficienza sia del modulo di individuazione automatica degli shot che di quello di matching fra i frame per la raccomandazione delle annotazioni. Una descrizione dettagliata può essere reperita in (Carbonaro, Ferrini, 2007). 3 Gestione ontologica per il reperimento dei video Un ontologia è un modello rappresentativo di un dato dominio che può essere usato per l integrazione, il recupero e lo scambio di informazioni di dominio fra utenti e fra utenti e sistemi automatici. Esse permettono inoltre un analisi formale 91

6 Je-LKS Applications - Vol. 5, n. 1, febbraio 2009 del dominio in oggetto rendendo possibili ad esempio ragionamenti sul contesto. Per il lavoro presentato è stata implementata un ontologia sul dominio dei viaggi pubblicata come file OWL. L ontologia definisce concetti quali ActivityProvider che lega un attività alle informazioni su chi la propone e definisce un sottoinsieme di attività quali BungeeJumping o IceClambing, che sono classificate come tipo di AdventureActivity. Grazie alla ricca espressività di OWL è possibile definire altre classi dalle caratteristiche logiche sottointese. Ad esempio, una classe BackpackersDestination può essere definita come la classe delle destinazioni che offrono sistemazioni a basso prezzo e alcune attività avventurose (Knublauch, 2004). Le classi definite permettono al reasoner di classificare automaticamente gli oggetti del dominio nelle categorie di interesse. Esistono diversi approcci alla costruzione di gerarchie di concetti. Ad esempio, uno sviluppo top-down parte con la definizione del concetto più generale del dominio e procede con successive specializzazioni del concetto, mentre un approccio di tipo bottom-up parte con la definizione delle classi più specifiche, le foglie della gerarchia, e procede raggruppando successivamente tali classi in concetti più generali. Lo sviluppo ibrido permette una combinazione di due citati approcci ed è, generalmente, quello di più facile realizzazione. Successivamente alle fasi di definizione delle classi e della gerarchia delle classi, abbiamo descritto la struttura interna dei concetti definendo le proprietà. Durante la creazione dell ontologia abbiamo eseguito verifiche diagnostiche per determinare la conformità alla pratica comune di modellazione delle ontologie e per verificare la correttezza logica della stessa. La Figura 1 mostra l ontologia implementata. Figura 1 Gerarchia delle classi dell ontologia sviluppata L algoritmo che modella la procedura di recupero dei video è mostrato in Figura 2. Il processo di recupero parte con una ricerca basata su keyword. 92

7 Antonella Carbonaro - Un ambiente semantico per la gestione e il reperimento di video Utilizziamo i campi testuali del database per recuperare in prima istanza quei video che corrispondono alla query posta dall utente. Tali campi sono relativi sia alle caratteristiche generali del video (titolo, keyword, descrizione) sia alla descrizione dei singoli shot (Figura 3). Nella parte sinistra della pagina dei risultati vengono riportati i concetti estratti dall ontologia che possono essere utilizzati dall utente per effettuare un ulteriore ricerca di tipo semantico. Questi concetti sono istanze dell ontologia relative sia alla query effettuata che ai video recuperati. Possiamo allora considerare il retrieving come una trasformazione interattiva dell interrogazione di partenza. L utente può interattivamente eseguire una ricerca basata su concetti scegliendo dall insieme di quelli rilevanti visualizzati e estratti dall ontologia sfruttando le proprietà che legano gli individui. Siccome i concetti visualizzati sono individui OWL essi vengono mostrati utilizzando il loro nome nell ontologia. La Figura 4 mostra i risultati della ricerca basata sull ontologia utilizzando la parola snow. I concetti sono quelli relativi agli sport invernali, quelli relativi all unico video recuperato e quelli figli della classe ritornata nell ontologia. Figura 2 Schema di funzionamento per il recupero di video Per verificare il processo implementato abbiamo collezionato più di 50 video relativi ai viaggi e scelto di considerare l ordine con cui l ambiente implementato visualizza all utente i video estratti. A tale scopo vengono soggettivamente analizzati i video sulla base della loro rilevanza navigando fra i risultati prodotti. Considerando il costo (anche in termini di tempo) della gestione di grosse moli di video, visualizzare i risultati rilevanti effettivamente nelle prime posizioni, e nelle prime pagine, mostrate all utente risulta di fondamentale importanza. 93

8 Je-LKS Applications - Vol. 5, n. 1, febbraio 2009 Per cominciare, abbiamo effettuato test utilizzando semplici e specifiche parole chiave e preferendo mostrare prima i video che mantengono le informazioni ricercate nei campi di descrizione generale piuttosto che nelle annotazioni dei singoli shot. Figura 3 Pagina dei risultati su query semplice Inoltre, abbiamo posto particolare attenzione all algoritmo di scelta dei concetti visualizzati nelle pagine risultato che devono essere quanto più pertinenti possibile per evitare costose ricerche da parte dell utente e possibili abbandoni dello strumento di ricerca. L analisi soggettiva dell ambiente implementato mostra allora buoni risultati nella scelta dei video e dei concetti più pertinenti rispetto alla ricerca effettuata. Inoltre, la ricerca guidata dai concetti permette possibilità interessanti di raffinamento della query iniziale, tramite la ricerca nei database dei soli concetti più rilevanti. 4 Conclusioni Nel presente articolo è stata presentata una metodologia di retrieving dei video di tipo semantico. Il sistema si occupa dell individuazione automatica degli shot presenti all interno dei video e dei relativi frame chiave. 94

9 Antonella Carbonaro - Un ambiente semantico per la gestione e il reperimento di video Inoltre esegue il matching fra le scene allo scopo di suggerire agli utenti del sistema annotazioni già effettuate su scene simili e ridurre così lo sforzo necessario alla loro realizzazione. I diversi test eseguiti sul sistema hanno mostrato la sua precisione negli algoritmi di individuazione degli shot e di matching fra le scene. Inoltre, l ambiente di recupero dei video basato sulle ontologie di dominio mostra la sua efficacia nel rispondere adeguatamente alle diverse query poste dagli utenti I prossimi passi di sviluppo del sistema riguarderanno lo studio e l implementazione di un livello ontologico atto a mantenere e a gestire una pluralità di ontologie che gli utenti potrebbero voler condividere. Figura 4 Presentazione ontologica dei risultati della ricerca BIBLIOGRAFIA Bighini C., Carbonaro A. (2004), InLinx: Intelligent Agents for Personalized Classification, Sharing and Recommendation, International Journal of Computational Intelligence. International Computational Intelligence Society. 2 (1). Bloehdorn S., Petridis K., Simou N., Tzouvaras V., Avrithis Y., Handschuh S., Kompatsiaris Y., Staab S., Strintzis M. G. (2004), Knowledge Representation for Semantic Multimedia Content Analysis and Reasoning, In Proceedings of the 95

10 Je-LKS Applications - Vol. 5, n. 1, febbraio 2009 European Workshop on the Integration of Knowledge, Semantics and Digital Media Technology. Calic J., Campbell N., Dasiopoulou S., Kompatsiaris Y. (2005), A Survey on Multimodal Video Representation for Semantic Retrieval, In: the Third International Conference on Computer as a tool (Eurocon 2005), IEEE. Carbonaro A. (2005), Defining personalized learning views of relevant learning objects in a collaborative bookmark management system, Web-Based Intelligent e-learning Systems: Technologies and Applications Idea Group Inc. Carbonaro A., Ferrini R. (2005), Considering semantic abilities to improve a Web- Based Distance Learning System, ACM International Workshop on Combining Intelligent and Adaptive Hypermedia Methods/Techniques in Web-based Education Systems. Carbonaro A., Ferrini R. (2007), Ontology-based Video Annotation in Multimedia Entertainment, Proc. 3rd IEEE International Workshop on Networking Issues in Multimedia Entertainment (NIME 07) th IEEE Communications and Networking Conference (CCNC 2007), Las Vegas, IEEE Communications Society. Carbonaro A. (2006), Defining Personalized Learning Views of Relevant Learning Objects in a Collaborative Bookmark Management System, In Z. Ma (Ed.), Web-based Intelligent ELearning Systems: Technologies and Applications (pp ). Hershey, Information Science Publishing. Dai H., Mobasher B. (2004), Integrating semantic knowledge with web usage mining for personalization, Web Mining: Applications and Techniques, A. Scime (Ed.), Hershey: Idea Group Publishing, Dowman M., Tablan V., Cunningham H., Popov B. (2005), Web-assisted annotation, semantic indexing and search of television and radio news, Proceedings of the 14th international conference on World Wide Web, Grana C., Tardini G., Cucchiara R. (2005), MPEG-7 Compliant Shot Detection in Sport Videos, in Proceedings of IEEE International Symposium on Multimedia (ISM2005), Irvine, California, USA, pp , December 12-14, Henze N., Dolog P., Nejdl W. (2004), Reasoning and Ontologies for Personalized E-Learning in the Semantic Web, Educational Technology & Society, 7 (4), ISO/IEC. Overview of the MPEG-7 Standard (version 8). ISO/IEC JTC1/SC29/ WG11/N4980, Klagenfurt, July Knublauch H. (2004), Ontology-Driven Software Development in the Context of the Semantic Web: An Example Scenario with Protégé-OWL, International Workshop on the Model-Driven Semantic Web, Monterey, CA. Lytras M.D., Naeve A. Eds. (2005), Intelligent Learning Infrastructure for Knowledge Intensive Organizations, Information Science Publishing, London. Mendes M.E.S., Sacks L. (2004), Dynamic Knowledge Representation for e- Learning Applications, In: M. Nikravesh, L.A. Zadeh, B. Azvin and R. Yager 96

11 Antonella Carbonaro - Un ambiente semantico per la gestione e il reperimento di video (Eds.), Enhancing the Power of the Internet - Studies in Fuzziness and Soft Computing, Springer, vol. 139, Smeulders A. W. M., Worring M., Santini S., Gupta A., Jain R. (2000), Content based image retrievals at the end of the early years, IEEE Trans. on Pattern Analysis and Machine Intelligence, vol. 22, (12), Tjondronegoro D., Spink A. (2008), Web search engine multimedia functionality, Information Processing and Management,