Sistemi context-aware per la gestione di informazioni multimodali

Transcript

1 Sistemi context-aware per la gestione di informazioni multimodali Augusto Celentano, Ombretta Gaggi Primo Workshop Annuale del Dipartimento di Informatica, Mestre, 2 marzo 2006 Nuovi scenari per l informatica quotidiana Nel 1993 Mark Weiser conia l espressione ubiquitous computing (pervasive computing) ambiente di elaborazione distribuito nel mondo reale dispositivi di interazione e di calcolo inseriti direttamente ( embedded ) negli artefatti che ci circondano intelligenza di calcolo granulare Poco dopo (1998) Donald Norman introduce l idea del computer invisibile i dispositivi di elaborazione sono nascosti all'interno di apparecchi e oggetti che formano il nostro ambiente di vita Si avvicina l era della tecnologia tranquilla (calm) l'interazione con i dispositivi che elaborano informazioni, e le modalità con cui questa viene richiesta e presentata, sono immersi in un continuo che riduce il carico cognitivo richiesto all'utente 2 - A. Celentano, O. Gaggi

2 Nuove tecnologie per gestire informazioni Il mercato è lento rispetto alle aspettative, ma privilegia i settori della comunicazione personale dispositivi mobili di comunicazione (smartphone) crescente proposta di servizi nell'area dell'entertainment e della comunicazione personale slogan centrati sulla continuità del contatto tra gli utenti, in qualunque luogo e in qualunque momento L innovazione coinvolge tre aree principali i sistemi di human-computer interaction (HCI); i sistemi di gestione di informazioni multimediali/multimodali; i sistemi context-aware, in grado di percepire la situazione dell'utente e di adattare di conseguenza il loro comportamento 3 - A. Celentano, O. Gaggi Oltre l informazione multimediale Multicanale: informazione che può essere distribuita attraverso diversi canali di comunicazione formati diversi (dipendono dalle risorse) contenuti diversi (tipo, dettaglio) Multimodale:informazione che appartiene a diversi codici comunicativi percepiti da sensi diversi e mediati da dispositivi diversi fruiti in situazioni utente (contesti) diversi Multiversione: informazione i cui componenti esistono o sono distribuiti in versioni differenziate per canale di comunicazione per codice comunicativo per contesto 4 - A. Celentano, O. Gaggi

3 Che cos è il contesto? Definizioni parziali... location, identities of nearby people and objects, and changes to those objects... Schilit and Theimer...environment and situation... Ward et al.... where you are, who you are with and what resources are nearby... Schilit et al. Una definizione più completa Context is any information that can be used to characterize the situation of an entity. An entity is a person, place or object that is considered relevant to the interaction between a user and an application, including the user and the applications themselves. Dey 5 - A. Celentano, O. Gaggi Context-awareness Contraddistingue i sistemi capaci di percepire il contesto in cui essi e l utente operano, e di modificare di conseguenza il loro comportamento e l informazione scambiata A system is context-aware if it uses context to provide relevant information to the user, where relevancy depends on the user s task. Dey The ultimate goal of context-awareness in document management is to allow a user to receive information with content and presentation suitable for the situation in which he/she is, spending an adequate interaction effort. Weiser 6 - A. Celentano, O. Gaggi

4 Tipi di contesto Contesto dell utente luogo, tempo, mobilità profilo, situazione, storia Contesto ambientale esterno/interno, illuminazione, silenzio Contesto di comunicazione larghezza di banda, affidabilità cablata/wireless, continua/discontinua Contesto del dispositivo caratteristiche audio e video, dispositivi di ingresso grado di attenzione dell utente Influenzano il progetto dell informazione 7 - A. Celentano, O. Gaggi Progetto di documenti context-aware Elemento atomico Elemento di interazione Elemento composto Relazioni tra i media Componente virtuale 8 - A. Celentano, O. Gaggi

5 Una presentazione meteo (1) Per un desktop computer con video e audio 9 - A. Celentano, O. Gaggi Una presentazione meteo (2) Per un desktop computer con video, senza audio 10 - A. Celentano, O. Gaggi

6 Una presentazione meteo (3) Per un PDA con immagini, senza audio 11 - A. Celentano, O. Gaggi Una presentazione meteo (4) Per un telefono cellulare (audio) 12 - A. Celentano, O. Gaggi

7 Una presentazione meteo (5) Per un telefono cellulare (sms) 13 - A. Celentano, O. Gaggi Una presentazione meteo virtuale (1) Per qualunque contesto 14 - A. Celentano, O. Gaggi

8 Una presentazione meteo virtuale (2)... <composite id="situation"> <vcomponent id="comment"> <vcomponent id="audio_comment"> <clip type="audio" id="situation_audio_short" file=... /> <clip type="audio" id="situation_audio_long" file=... /> </vcomponent> <composite id="text_only"> <ui id="next"/> <vcomponent id="text_comment" optional="no"> <page type="text" id="situation_text_long" file=... /> <page type="text" id="situation_text_short" file=... /> </vcomponent> </composite> </vcomponent> <vcomponent id="satellite" optional="yes"> <clip id="situation_anim" type="video" file=... /> <page type="image" id="situation_image" file=... /> </vcomponent> </composite> A. Celentano, O. Gaggi Contesto e vincoli (1) La situazione dell utente è definita da proprietà del contesto Le proprietà mediali di un documento sono definiti da caratteristiche L adattamento al contesto richiede che siano selezionate (o calcolate) le opportune istanze dei media tipo (es. immagini vs. audio) formato (es. risoluzione) contenuto (es. riassunto vs. testo completo, lingua) supporto offerto dal dispositivo (es. PDA vs. smart-phone) risorse (es. larghezza di banda) L associazione può essere fatta da un sistema di regole 16 - A. Celentano, O. Gaggi

9 Contesto e vincoli (2)... adapt_audio(d, U, M):- % D = device, U = user, M = media audio(d), type(m,audio), % the device supports audio (headset(d,yes); loudspeaker(d,yes)), % has speakers or headset sampl_rate(m,x), dsampl_rate(d,y), member(x,y), %the media sampling rate is supported bandwidth(d,w), X =< W, % the bandwidth is adequate test_user_audio(m, U). % the user is not hearing-impaired... adapt_screen(d, M) :- % D = device, M = media graphic_video(d,yes), % the device is a graphic device media_format(m,f), supported_format(d,sf), member(f,sf), % supports the media format compressor(m,c), supported_codec(d,sc), member(c,sc), % supports the coded adapt_color(d,m). % the color depth is compatible A. Celentano, O. Gaggi Costruzione di un documento concreto Esempio: le previsioni meteorologiche adattate ad un PDA schermo limitato, no video, audio attraverso altoparlante o auricolari l utente è in una biblioteca e non ha gli auricolari 18 - A. Celentano, O. Gaggi

10 Costruzione di un documento concreto Selezione dei media compatibili i file di testo, i file audio, l immagine satellitare, la piccola mappa con la previsione 19 - A. Celentano, O. Gaggi Costruzione di un documento concreto Selezione dei media compatibili l anomazione è scartata a causa di un collegamento a banda limitata 20 - A. Celentano, O. Gaggi

11 Costruzione di un documento concreto Selezione dei media compatibili l immagine più grande è scartata per incompatibilità di dimensioni 21 - A. Celentano, O. Gaggi Costruzione di un documento concreto Controllo dell ambiente i commenti audio sono scartati perché la biblioteca è un ambiente silenzioso e l utente non ha gli auricolari 22 - A. Celentano, O. Gaggi

12 Costruzione di un documento concreto Controllo della struttura si risolvono i componenti virtuali fin dove è possibile 23 - A. Celentano, O. Gaggi Costruzione di un documento concreto Controllo della struttura le relazioni tra i componenti virtuali sono attribuite ai media concreti 24 - A. Celentano, O. Gaggi

13 Costruzione di un documento concreto Se ci sono più possibilità, si sceglie euristiche assistente intelligente definizione semantica ad alto livello (?) 25 - A. Celentano, O. Gaggi Costruzione di un documento concreto Se ci sono più possibilità, si sceglie euristiche assistente intelligente definizione semantica ad alto livello (?) 26 - A. Celentano, O. Gaggi

14 Costruzione di un documento concreto Quindi si completa la costruzione del documento finale 27 - A. Celentano, O. Gaggi Problemi Non esiste un documento concreto compatibile documenti plausibili adattamento trasgressivo Non conviene predisporre tutto prima adattamento dinamico solo per alcune trasformazioni es. web services Come definire l equivalenza tra documenti? equivalenza di contenuto equivalenza di comportamento equivalenza percepita dall utente 28 - A. Celentano, O. Gaggi