Tecniche di annotazione per contenuti multimediali

Transcript

1 Tecniche di annotazione per contenuti multimediali

2 Tecniche di annotazione per contenuti multimediali Sommario 2 Introduzione Annotazioni Audio Annotazioni di Immagini Annotazioni di Video

3 Tecniche di annotazione per contenuti multimediali Sommario 3 Introduzione Annotazioni Audio Annotazioni di Immagini Annotazioni di Video

4 Introduzione Librerie Digitali 4 Una libreria digitale è Un collezione di oggetti informativi Una collezione di servizi che supportano gli utenti nella gestione di oggetti informativi le organizzazioni nella presentazione di questi oggetti direttamente o indirettamente attraverso canali elettronici/digitali DLib Working Group on Digital Library

5 Introduzione Dati delle librerie musicali 5 Dati: i file digitali memorizzati Testo (e-book, documenti Word, pagine Web, PDF, Blog, etc.) Audio Parlato (broadcasting, podcasting, registrazioni, etc.) Musica (CD, MP3, etc.) Immagini/Photo: collezioni di pixel Video: sequenze di immagini + audio (musica e/o parlato)

6 Introduzione Attività associate a una libreria digitale 6 Memorizzazione e conservazione dei dati in formato elettronico Trasformazioni (digitalizzazione di libri, foto, etc.) Cambi di formato Reperimento dei contenuti e creazione di interfacce per la ricerca dei dati Estrazione e/o generazione dei metadati (o annotazioni) Gestione copyright, etc.

7 Introduzione Cose è un metadato? I metadati sono dati relativi ai dati Descrivono in modo strutturato proprietà dei dati Esempio: creatore, proprietario, data di creazione, modifica, descrizione Alcuni metadati sono presenti in modo esplicito nei dati Esempio: dimensione file, nome, etc. Altri sono impliciti e sono estratti tramite algoritmi di analisi dei dati 7

8 Introduzione Utilità dei metadati I metadati servono per Migliorare le ricerche interrogando non solo i dati ma anche i metadati I metadati spesso contengono delle informazioni che sono contenute in forma implicita nei dati Facilitare lo scambio di informazioni tra sistemi diversi Se si utilizzano gli stessi metadati o metadati compatibili - Esempio: formati XML (MPEG7, Dublin Core, etc.) 8

9 Introduzione Perché annotare contenuti multimediali? 9 I computer non sono in grado di comprendere il significato di un contenuto multimediale Un calcolatore, a differenza di un essere umano, non può comprendere che questa immagine rappresenta un tramonto Pixel e campioni audio non portano semantica, ma solo informazione binaria E necessario produrre rappresentazioni trattabili da un calcolatore Esempio: testo o numeri

10 Introduzione Perché annotare automaticamente contenuti multimediali? L annotazione manuale di oggetti multimediali è un processo Costoso Esempio: la segmentazione manuale di un video richiede circa 10 ore di lavoro per 1 ora di video Le collezioni multimediali possono anche contenere milioni di oggetti Incompleto o inaccurato un utente può non essere in grado di cogliere tutti i significati associati ad un oggetto multimediale una immagine vale più di mille parole! Difficoltoso Alcuni contenuti sono difficili da descrivere a parole - Esempio: una melodia senza accompagnamento vocale e con una struttura irregolare Le tecniche di annotazione automatica consentono di creare annotazioni di buona qualità e a basso costo 10

11 Introduzione Esempi di utilizzo di annotazioni multimediali 11 Archiviazione Gestione efficiente di grosse collezioni di dati multimediali Aggregazione di contenuti in insiemi coerenti per significato Ricerca Esempio: insieme delle canzoni di genere Indie Trovare tutti i contenuti aventi la stessa annotazione Esempio: cercare tutte le puntate dei Simpson in cui viene pronunciata la parola ciambella

12 Introduzione Esempi di utilizzo di annotazioni multimediali 12 Comparazione Identificazione di contenuti MM equivalenti Esempio: Protezione del brand e della proprietà intellettuale Individuazione di contenuti simili Esempio: trovare abiti aventi lo stesso tipo di tessuto e colore

13 Tecniche di annotazione per contenuti multimediali Sommario 13 Introduzione Annotazioni Audio Annotazioni di Immagini Annotazioni di Video

14 Audio Segmentazione 14 OBIETTIVO: dividere una traccia audio in segmenti omogenei al fine di determinare il loro tipo Musica Parlato Rumore Musica e parlato Possibili utilizzi Miglioramento performance di altre tecnonologie di annotazione (es. parlato, musica) Meccanismi di accesso al contenuto di un video Rimozione o identificazione pubblicità

15 Audio Segmentazione - Esempio 15 CREDITS: Thorsten Hermes@SSMT2006

16 Audio Identificazione dello speaker OBIETTIVO: identificare automaticamente gli individui che prendono parte ad una conversazione 16 ERIC DAVID JOHN UTILIZZI: Meccanismi di ricerca e catalogazione Esempio: trova tutte le registrazioni in cui viene intervistato X Individuazione di un parlatore in videoconferenze Esecuzione di comandi vocali

17 Audio Word spotting OBIETTIVO: riconoscere automaticamente dal parlato parole appartenenti a un vocabolario chiuso 17 Call Open Bomb UTILIZZI: Riconoscere parole specifiche nel parlato spontaneo Esempio: blacklist words (attack, bomb, ) Esecuzione di comandi vocali Controlli di accesso (password vocali), possibilmente combinato con il riconoscimento del parlatore

18 Audio Speech to text 18 OBIETTIVO: riconoscere automaticamente dal parlato parole appartenenti ad un dizionario completo UTILIZZI: Trascrizione automatica Meccanismi di ricerca e catalogazione Esempio: trova tutti i video in cui qualcuno pronuncia la parola ciambelle

19 Audio Trascrizione automatica del parlato - Esempio 19 CREDITS: Thorsten Hermes@SSMT2006

20 Audio Identificazione di eventi sonori 20 OBIETTIVO: identificare automaticamente nell audio la presenza di eventi sonori significativi Esempio: spari, urla UTILIZZI: Meccanismi di ricerca e catalogazione Creazione di sommari automatici CREDITS: Thorsten Hermes@SSMT2006

21 Audio Identificazione di eventi sonori 21 CREDITS: Thorsten

22 Audio Classificazione di generi musicali 22 OBIETTIVO: identificazione automatica del genere musicale di una data canzone Rock, pop, Jazz, Blues, etc. Rock Dance! UTILIZZO: Meccanismi di ricerca e catalogazione Esempio: trova tutte le canzoni Pop nella collezione musicale Selezione automatica di canzoni in una playlist

23 Audio Individuazione di strumenti 23 OBIETTIVO: identificazione automatica degli strumenti utilizzati per l esecuzione di una canzone Batteria, chitarra elettrica, chitarra acustica, pianoforte, etc. UTILIZZO: Meccanismi di ricerca e catalogazione Input per algoritimi di identificazione del genere

24 Audio Caratteristiche ritmiche 24 OBIETTIVO: identificazione automatica delle caratteristiche ritmiche di una data canzone Esempio: BPM UTILIZZO: Ricerca e catalogazione Nike+ per ipod Composizione automatica di playlist

25 Audio Caratteristiche di struttura 25 OBIETTIVO: segmentare automaticamente una canzone nelle sue componenti strutturali Intro Chorus Outro Etc.. UTILIZZO: Ricerca e catalogazione Composizione automatica di playlist Tecniche avanzate di navigazione nel file musicale

26 Tecniche di annotazione per contenuti multimediali Sommario 26 Introduzione Annotazioni Audio Annotazioni di Immagini Annotazioni di Video

27 Immagini Estrazione feature di basso livello 27 OBIETTIVO: estrarre caratteristiche implicite di una immagine Luminosità Colore dominante Orientamento dell immagine Presenza di tessiture UTILIZZO: Classificazione e ricerca (anche per similarità) Input per successivi algoritmi di analisi

28 Immagini Segmentazione testo/immagine di documenti 28 OBIETTIVO: identificare la tipologia di contenuto di una immagine testo/immagine Sezioni di una immagine UTILIZZO: Classificazione e ricerca Input per successivi algoritmi di analisi delle immagini

29 Immagini Optical character recognition (OCR) OBIETTIVO: convertire le parole contenute all interno di una immagine nel corrispondente testo Digitializzazione di testi cartacei Estrazione di testo da fotografie Targhe, sottotitoli, etc. UTILIZZO: Meccanismi di ricerca e catalogazione Esempio: trova tutte le immagini in cui appare la targa X Meccanismi di archiviazione digitale 29

30 Immagini Riconoscimentoedidentificazionedivolti OBIETTIVO: riconoscere e identificare I volti presenti all interno di una immagine UTILIZZO: Conteggio di persone Applicazioni di sicurezza Ricerca e catalogazione 30 CREDITS: Thorsten Hermes@SSMT2006

31 Immagini Riconoscimento ed identificazione di volti 31

32 Immagini Riconoscimento ed identificazione di volti 32 CREDITS: Thorsten

33 Tecniche di annotazione per contenuti multimediali Sommario 33 Introduzione Annotazioni Audio Annotazioni di Immagini Annotazioni di Video

34 Immagini Riconoscimento di persone 34 OBIETTIVO: riconoscimento di persone all interno di una immagine UTILIZZO: Conteggio di persone Applicazioni di sicurezza (riconoscimento di situazioni potenzialmente critiche ) Ricerca e catalogazione Trova tutte le immagini che contengono folle dipersone

35 Immagini Riconoscimento di oggetti 35 Obiettivo: identificare e registrare gli oggetti che compaiono in una immagine Palleda tennis, calcio, basket, etc. Automobili Possibili utilizzi Archiviazione e ricerca Sicurezza Aiuti visuali per gli spettatori

36 Immagini Riconoscimento di oggetti attraverso esempi 36 Obiettivo: identificare degli oggetti in una immagine dato un esempio Riconoscimento indipendente da posizione dello scatto,distanza etc. Possibili utilizzi Archiviazione e ricerca Identificazione di contenuti MM equivalenti Esempio: Protezione del brand e della proprietà intellettuale

37 Video Motion identification 37 Obiettivo: identificare movimenti della camera durante la registrazione di una scena Zoom Rotazione Panoramica (orizzontale o verticale) Possibili utilizzi Identificazione automatica di tecniche di regia Riconoscimento di registi Input per algoritmi di segmentazione CREDITS: Thorsten Hermes@SSMT2006

38 Video Motion identification 38 CREDITS: Thorsten

39 Immagini Inseguimento di oggetti OBIETTIVO: riconoscimento di un oggetto all interno di un video Persone Palle da tennis, calcio, basket, etc. Automobili UTILIZZO: Riconoscimento del movimento delle persone Applicazioni di sicurezza (riconoscimento di comportamenti sospetti ) Ricerca e catalogazione Trova tutte le immagini che contengono folle di persone Aiuti visuali per gli spettatori On-line gaming Tactics analysis 39

40 Immagini Riconoscimento del movimentodellepersone 40 Obiettivo:riconoscere il tipo di movimento effettuato da una persona Camminare Correre Cadere Possibili utilizzi Applicazioni di sicurezza (riconoscimento di comportamenti sospetti ) Ricerca e catalogazione

41 Video Segmentazione Fotogrammi chiave 41 OBIETTIVO: dividere una traccia video in funzione dei suoi fotogrammi chiave Compressione Temporalmente equidistanti Possibili utilizzi Sommario del video Analisi dei fotogrammi chiave per annotazioni su immagini

42 Video Segmentazione Riprese OBIETTIVO: dividere una traccia video in segmenti dove la ripresa della camera è ininterrotta 42 Transizioni instantanee Fades Uno shot ha lunghezza minore o uguale ad una scena Una scena può contenere più shot Possibili utilizzi Sommario del video Estrazione di keyframe Composizione semantica di video (manuale o automatica)

43 Video Esempi di segmentazione Riprese 43 DISSOLVE HARD CUT FADE-IN FADE-OUT CREDITS: Thorsten

44 Video Segmentazione - Scene 44 Obiettivo: dividere una traccia video in segmenti che riguardano una azione coerente Master scene Flashback scenes Introduction scenes Possibili utilizzi Sommario del video Composizione semantica di video (manuale o automatica)

45 Video Video OCR 45 Obiettivo: estrarre testo da filmati Titoli introduttivi Titoli di coda (attori, registi etc.) Sottotitoli Nome di luoghi, persone, fatti etc. Data/ora registrazione Possibili utilizzi Indicizzazione per ricerca testuale

46 Video Video Summarization 46 Obiettivo: creare automaticamente una versione compatta di un filmato, capace di trasmetterne sintenticamente il suo contenuto Composizione intelligente di segmenti eterogenei Come? Segmentazione Video Audio Possibili utilizzi Trailers di film Preview Pubblicità CREDITS: Thorsten

47 Tecniche di annotazione per contenuti multimediali References 47 Slides del corso di Archivi Multimediali e Data Mining, Politecnico di Torino, Prof. Silvia Chiusano Slides e video delle lezione tenute dal Prof. Thorsten Hermes presso la summer school SSMS 2006