INDICIZZAZIONE DELLE INFORMAZIONI VIDEO

Transcript

1 INDICIZZAZIONE DELLE INFORMAZIONI VIDEO GAETANO SANCILIO ApBiscom Agenzia di Stampa Ap.Biscom L'Agenzia di Stampa ApBiscom, nata da una join-venture tra "The Associated Press" ed "e.biscom", produce e trasmette in tempo reale, 24 ore su 24, notizie a carattere nazionale ed internazionale. ApBiscom ha sede principale in Roma da dove, la Redazione Centrale, coordina gli uffici distaccati di Milano, Bruxelles e New York. L'Agenzia di Stampa, diretta da Lucia Annunziata, dispone di una squadra redazionale di consolidata esperienza professionale e si avvale di una fitta rete di collaboratori. A poco più di un anno dalla nascita, ed una produzione giornaliera di olte 600 news, ApBiscom è oggi una realtà di riferimento nel panorama delle Agenzie di informazione primaria. Il notiziario è distribuito in tempo reale, ai Clienti del'agenzia, attraverso vari sistemi di diffusione, quali satellite, internet, linee dedicate e le nuove reti a banda larga in fibra ottica (Fastweb). E' possibile ricevere le notizie ApBiscom nei formati più noti per la trasmissione delle news di Agenzia: FIEG (Federazione Italiana Editori e Giornali); ANPA (American Newspaper Publishers Association); XML/NITF (extensible Markup Language / News Industry Text Format). L'Agenzia è iscritta all'asig (Associazione Stampatori Italiani e Giornali), all'iptc (International Press and Telecommunication Council), e collabora con diverse Società di sviluppo, ed Enti di Ricerca, al fine di supportare adeguatamente le esigenze di produzione della Redazione e quelle dei propri Clienti. News Multimediali L'Agenzia è da tempo impegnata nello studio di un nuovo servizio di news multimediali nelle quali, accanto al testo, possano essere associati anche contributi di natura diversa, come foto, audio, video e link ad altri contenuti correlati, al fine di documentare nel modo più completo possibile un determinato evento. News multimediali complete, quindi, che prodotte già alla fonte in una logica modulare, e grazie all'impiego adeguato del formato XML e delle relative tecnologie, saranno in grado di supportare al meglio la creatività giornalistica e di garantire la massima adattabilità dell'informazione a qualsiasi supporto di pubblicazione finale. Le attuali linee di prodotto multimediali, nella quasi totalità dei casi, sono realizzate e commercializzate separatamente tra loro in base al "media" di riferimento, ed esiste una 199

2 molteplicità di soluzioni tecniche per la ricezione e consultazione dei flussi di Agenzia misti, che consentono di associare fra loro, attraverso meccanismi di filtro per parole chiavi, oggetti inerenti lo stesso evento ma provenienti da differenti canali di ricezione ed aventi diverse caratteristiche. Per quanto evoluti e sofisticati possano essere tali sistemi, la selezione e la raccolta di oggetti multimediali, provenienti da fonti primarie diverse, rimane comunque un'attività consistente nella elaborazione e realizzazione di prodotti editoriali finiti. Si è ritenuto quindi che il lavoro di selezione ed associazione di oggetti multimediali a news testuali di riferimento, debba necessariamente essere svolto da personale giornalistico operante nell'ambito di una specifica linea editoriale, e che ciò costituisca il principale valore aggiunto per il Cliente finale del nuovo tipo di servizio. La facilità e la velocità con cui deve essere possibile ricercare ed analizzare una grande quantità di contributi multimediali, provenienti dalle fonti specializzate, sono le principali criticità tecniche individuate nello studio del nuovo processo produttivo. E' quindi di fondamentale importanza, disporre di soluzioni che consentano di conoscere, nel più breve tempo possibile i contenuti dei contributi multimediali provenienti da fonti esterne o disponibili negli archivi video, senza la necessità di effetuarne interamente la visualizzazione e l'ascolto, e quindi, di sistemi in grado di effettuare automaticamente l'analisi e la classificazione di tali informazioni e consentirne una efficace indicizzazione. Indicizzazione informazioni video delle Con il termine "indicizzazione", intendiamo la produzione automatica di strutture organizzate di informazioni in grado di descrivere i contenuti dei file multimediali per poi facilitarne la ricerca e l'accesso. Possiamo considerare il video il media più completo, in quanto, nei filmati, abbiamo una presenza contemporanea di più media, quali le 200

3 immagini, ferme o in movimento, le didascalie, i grafici animati, e l'audio, sottoforma di suoni, musica e dialoghi. Pensiamo quindi che lo sviluppo di sistemi in grado di analizzare e classificare le informazioni contenute nei video, possa condurre ad una effettiva convergenza tecnologica di soluzioni originariamente studiate per l'elaborazione separata dei singoli media, come l'analisi delle immagini statiche, l'individuazione di soggetti in movimento, l'identificazione delle condizioni ambientali di ripresa, la decodifica dei dialoghi, l'analisi linguistica dei testi. Per classificare il video, oltre alle consuete informazioni tecniche, tipicamente disponibili, come il formato di registrazione, la durata, ed eventuali informazioni testuali inserite dall'autore, è indispensabile analizzare i contenuti visivi e sonori del file ed estrarre da essi il maggior numero di informazioni possibili. Per le immagini, ad esempio, è possibile individuare: - la quantità e la tipologia delle scene; - il tipo di ripresa (camera fissa o in movimento); - le caratteristiche ambientali (interni, panorami, città, folla); - il tipo di azione documentato (azioni di guerra, eventi sportivi, interviste); - caratteristiche dei soggetti in movimento (veicoli, persone, animali); accedere direttamente alle porzioni di filmato che interessano. Anche l'audio può essere analizzato, in modo da identificare : - suoni ambientali; - dialoghi (parlato dei soggetti e voci fuori campo) ; - eventuale colonna sonora; E' possibile inoltre separare il parlato di soggetti diversi ed ottenerne la versione trascritta (speech-to-text) con eventuale tradu- Ed è possibile anche individuare i fotogrammi più significativi di ogni scena per la creazione di un vero e proprio "story board" del filmato, utile successivamente per 201

4 zione nella lingua desiderata. L'analisi congiunta del video e del sonoro può sicuramente fornire ulteriori e preziosi elementi per rendere ancor più efficace l'analisi dei filmati. Nel caso specifico delle "video news", è possibile sfruttare anche il flusso delle notizie testuali, in cui parte di esse è sicuramente correlabile ai fatti documentati nei video, al fine di incrementare ulteriormente il livello di affidabilità del software di analisi linguistica utilizzato. Indicazioni per la Ricerca e lo Sviluppo ApBiscom non svolge direttamente attività di ricerca, ma ritiene di poter fornire un contributo agli Enti preposti, proponendo suggerimenti ed indicazioni per lo sviluppo di soluzioni da impiegare direttamente nei propri processi produttivi e mettendo a disposizione le proprie risorse ed i propri contenuti, offrendo così la possibilità di sperimentare sul campo le nuove tecnologie. Le principali linee guida per lo sviluppo di sistemi di indicizzazione video, peraltro già largamente condivise in ambito informatico, sono le seguenti: "Standard dei dati - Il formato dei dati, frutto delle elaborazioni video, dovrebbe adottare uno standard adeguato, possibilmente integrando con le nuove definizioni uno di quelli già esistenti, come ad esempio, per le news di Agenzia, l'nitf e NewsML (News Markup Language); "Integrazione multiformato - Le tecnologie di analisi e trattamento automatico audio/video dovrebbero convergere verso soluzioni integrate capaci di elaborare qualsiasi formato di file multimediale; "Portabilità - Le soluzioni software realizzate dovrebbero essere studiate per garantire una ampia compatibilità con le piattaforme esistenti, in modo da consentire a tutti i sistemi editoriali in commercio di poter beneficiare delle nuove funzionalità; "Impiego di basi dati "a oggetti" - L'estrema variabilità, in termini di struttura delle informazioni elaborate, rende pressochè impossibile l'uso delle tradizionali basi dati relazionali, ed è quindi necessaria l'adozione di "data base" orientati agli oggetti; "Uso delle reti a banda larga - Le nuove possibilità offerte dalle reti a banda larga (Fastweb), consentono il disegno di architetture dati distribuite in cui le varie componenti multimediali dell'informazione, possono rimanere dislocate sul territorio ed essere trasferite solo al momento dell'effettiva fruizione, rendendo possibile ipotizzare l'uso delle stesse reti come basi dati territoriali. Progetto Europeo VINCENT Tenendo fede ai suoi propositi, ApBiscom ha recentemente preso parte ad un consorzio per lo studio e la presentazione del progetto europeo denominato VINCENT (Video News Classification for Enhanced information Technology) che ha per obiettivo la realizzazione di un sistema per l'analisi, la classificazione e l'estrapolazione automatica dei contenuti audio/video da file multimediali, ed in particolar modo delle video news. Al consorzio hanno partecipato alcuni fra i principali Enti di ricerca, società informatiche, aziende editoriali ed istituiti di standardizzazione: - APBISCOM (Agenzia di Stampa ebisnews/apbiscom - IT); - ILC (Istituto di Linguistica Computazionale, C.N.R., Pisa - IT); - META (Multimedia Programming - Lucca, IT); - ITC (Istituto Trentino di Cultura, IRST - IT); - CITYLIFE (City Portal - IT); - UPC (Universidad Politecnica de Catalunya - ES); - VECSYS (Speech Processing - FR); - EGID (Université de Bordeaux - FR); - ENIC (Ecole Nouvelle d'ingénieurs en Communication - FR); - USFD (University of Sheffield - UK); - APTN (Associated Press Television 202

5 News - UK); - IPTC (International Press and Telecommunication Council - UK); Il sistema, avvalendosi delle più avanzate tecnologie per l'analisi automatica delle immagini e del parlato, sarà in grado di estrarre il maggior numero di informazioni possibili dai filmati, e di metterle a disposizione del giornalista per una agevole ed immediato impiego editoriale. La standardizzazione dei dati, secondo le specifiche elaborate ed approvate da un apposito istituto internazionale, come l'iptc, garantirà la più ampia diffusione del nuovo formato. Prospettive scientifiche e tecnologiche L'uso dell'indicizzazione automatica del video nel processo produttivo delle News Multimediali, proposta da ApBiscom, è solo una delle possibili applicazioni di queste nuove tecnologie. L'Agenzia di informazione primaria può costituire sicuramente un interessante banco di prova, ed un valido "punto d'innesto" per la diffusione di queste tecniche, ma attraverso un graduale processo di industrializzazione ed integrazione, è possibile ipotizzare fin d'ora un utilizzo su larga scala delle nuove tecnologie. L'elenco che segue, mostra alcuni tra i possibili campi d'applicazione dell'autoclassificazione ed indicizzazione audio/video: Editoria multilinguistica - Indicizzazione di grandi banche dati multimediali (film, documenti, foto, audio registrazioni); - Produzione di palinsesti televisivi autotradotti e sottotitolati per le varie lingue; Intrattenimento - Sistemi per la fruizione dei prodotti video interattivi (Video "navigabili" e "interrogabili",tv interattiva); - Video camere con autoclassificazione delle riprese effettuate; Sicurezza - Potenziamento di sistemi per la video sorveglianza con trascrizione storica del materiale registrato; - Realizzazione di nuovi meccanismi di allarme e controllo (monitoraggio stradale, ferroviario, aeroportuale); Pari opportunità - La possibilità di accesso alle informazioni video per disabili; - La più ampia condivisione delle informazioni in una società sempre più multirazziale. Le soluzioni descritte porteranno senza dubbio all'apertura di nuovi mercati producendo effetti positivi nel mondo lavoro, in ambito economico, sociale, e contribuendo in genere al miglioramento della qualità della vita, ed è quindi di fondamentale importanza fornire il massimo supporto alla Ricerca e allo sviluppo di tali tecnologie, contribuendo con tutte le iniziative possibili. Gaetano Sancilio Responsabile Tecnico gaetano.sancilio@apbiscom.it Milena Broccoli Rebecca Manacorda Marketing dirco@apbiscom.it e.bisnews Spa Via del Gesù Roma Tel Fax