A Publishing Infrastructure for Interactive Paper Documents

Transcript

1 Diss. ETH No A Publishing Infrastructure for Interactive Paper Documents Supporting Interactions across the Paper-Digital Divide A dissertation submitted to the SWISS FEDERAL INSTITUTE OF TECHNOLOGY ZURICH for the degree of Doctor of Sciences presented by Nadir Weibel Dipl. Informatik-Ing. ETH born February 18, 1978 citizen of Jonschwil, SG, Switzerland accepted on the recommendation of Prof. Dr. Moira C. Norrie, examiner Prof. Dr. David F. Brailsford, co-examiner Prof. Dr. James D. Hollan, co-examiner 2009

2 Abstract Paper has been repeatedly recognised as an important medium for exchanging, editing and managing documents throughout the document life-cycle. Despite their static nature, paper documents still represent one of the preferred way of handling information in different situations, such as on the move or in collaboration. In order to overcome the limitations of paper and exploit the advantages of digital interfaces, new technologies for interactive paper have been introduced in recent years. Technologies such as the Anoto Digital Pen and Paper enable users to access digital information through interactions with printed copies. Links to digital content and services are defined on paper and activated when users interact with the paper sheet by means of a digital pen. Various research projects have investigated how to best enable interactions with digital services through interactive paper interfaces. The developed prototypes showed the potential of the available technologies for bridging the paper-digital divide and how paper and digital documents can be effectively interwoven. However, most of the existing approaches concentrate on enriching paper-digital interactions only, very often forgetting to take into account the process of producing interactive paper documents and the effective management of information across the two interfaces. The current lack of support for generating rich interactive paper documents leads to a separation of paper-digital documents in two detached entities, that can hardly be mapped again as the paper and digital instances of the same document. To further enrich the information exchange across the paper-digital boundary and to support a better management of paper-digital documents, we introduce a set of general concepts and models for supporting a novel information-centric infrastructure for publishing interactive paper documents. Our approach supports the automatic and semi-automatic generation of paper-based links to digital information, by intercepting the publishing process of a digital document and applying document analysis techniques to the underlying document models. Furthermore, i

3 ii the presented solution supports the large-scale production of interactive paper documents with the aid of a Web Content Management System (CMS), thus enabling the development of innovative paper-based Web applications. Finally, our approach also enables the management of information that continuously moves between the digital and the paper worlds, allowing users to work with the medium that is best suited to a particular task. The introduction of a novel document model for storing mixed physical-digital information fully supports the bidirectional mapping of paper and digital interactions at different granularity levels. We implemented our publishing framework on top of the existing infrastructure for interactive paper offered by the ipaper/iserver system. However, the approach and the architecture are general enough to be applied to other toolkits as well. Our framework supports the management of different document models and the coupling with a range of authoring tools, through the definition of a flexible plug-in interface. Furthermore, the developed publishing framework also provides extended support for generating and printing Anoto-based interactive paper documents. The generality, flexibility and extensibility of the presented infrastructure enable the rapid development of plug-ins for different kinds of documents, services and interactions, thus supporting the rapid prototyping of innovative rich interactive paper applications. Our approach has been validated through the development of a range of applications and prototypes enabling rich interactions across the paper-digital divide. These prototypes have been presented and discussed with academic and industrial partners from computer science, printed and organic electronics, paper engineering, social science, the publishing industry and interaction design. We believe that the provision of a central infrastructure for publishing interactive paper documents and the handling of the underlying information in a data-centric way, as enabled by our approach, are the key to support the seamless transition between the digital and paper worlds. Our innovative publishing infrastructure supports a full interplay between paper and digital documents, eventually enabling the development of richer interactive paper applications.

4 Riassunto I documenti cartacei sono stati più volte riconosciuti come importante mezzo di comunicazione per lo scambio, la modifica e la gestione di informazioni. Nonostante si tratti di un supporto essenzialmente statico, l utilizzo della carta rimane il modo più diffuso di maneggiare documenti, soprattutto in situazioni che richiedono un elevata mobilità o la collaborazione di più persone. Ai fini di superare la staticità di questo supporto e le sue limitazioni, sono state recentemenete sviluppate nuove tecnologie basate sul concetto di carta interattiva. Tecnologie come Anoto Digital Pen and Paper permettono l accesso ad informazioni digitali dinamiche grazie alla semplice interazione con normali supporti cartacei per mezzo di una speciale penna digitale. L accesso a contenuti e servizi digitali viene reso possibile grazie alla definizione su carta di speciali collegamenti ipertestuali (links), attivati attraverso la diretta interazione della penna digitale con questi ultimi. Diversi progetti di ricerca hanno esaminato il modo migliore per arricchire le interazioni con il mondo digitale, partendo da supporti cartacei e sfruttando le nuove tecnologie basate sulla carta interattiva. I prototipi recentemente sviluppati hanno dimostrato il potenziale di queste tecnologie sia nel colmare la distanza attualmente ancora esistente tra carta ed informazione digitale, sia nel permettere una migliore coesistenza di documenti digitali e cartacei. Tuttavia, la maggior parte degli approcci esistenti è focalizzata unicamente sull arricchimento delle interazioni tra carta e supporto digitale, dimenticando molto spesso di considerare sia il processo di produzione di un documento cartaceo interattivo, sia l efficace gestione delle informazioni che si trovano a cavallo delle due interfacce. La mancanza di tale supporto, ha portato sinora ad una netta separazione dei documenti in due entità distinte e difficilmente riconducibili allo stesso documento di partenza. L arricchimento dell attuale processo di scambio d informazioni attraverso il confine carta-digitale, e la migliore gestione dei documenti che coesistono nei due mondi, vengono affrontati attraverso l introduzione di iii

5 iv un insieme di concetti e modelli generali, focalizzati sulla gestione delle informazioni, a supporto di un innovativa infrastruttura per la creazione di documenti cartacei interattivi. Il nostro approccio permette la generazione automatica e semi-automatica di collegamenti digitali su carta, attraverso l intercettazione del processo di pubblicazione dei documenti digitali e l applicazione di tecniche per l analisi dei loro contenuti, della loro struttura e dei loro modelli fondamentali. Inoltre, le soluzioni proposte permettono la produzione su larga scala di documenti interattivi, con l aiuto di un sistema per gestione dei contenuti (Content Management System CMS) basato su tecnologie Web. Questo approccio permette lo sviluppo di soluzioni basate su carta interattiva anche nel campo delle applicazioni Web. Infine, l approccio proposto supporta la gestione di informazioni, che si muovono continuamente tra mondo digitale e documenti cartacei, permettendo agli utenti finali di scegliere in ogni momento quale supporto utilizzare, a dipendenza del particolare compito da risolvere. L introduzione di un nuovo modello per la gestione di informazioni a cavallo tra carta e digitale consente una sincronizzazione bidirezionale delle interazioni a differenti livelli di granularità. La nostra infrastruttura per la pubblicazione di documenti interattivi è stata realizzata sulla base dell esistente framework per l interazione con la carta interattiva ipaper/iserver. Nonostante ciò, l approccio e l architettura utilizzati sono universali e possono quindi venire applicati anche ad altri sistemi. La soluzione proposta, unitamente a permettere la gestione di diversi modelli fondamentali di documenti, può anche essere associata a vari strumenti per la loro redazione, attraverso un interfaccia per la definizione di estensioni dedicate. Infine, anche la creazione e la stampa di documenti interattivi basati sulla tecnologia Anoto è supportata dal nostro framework. La generalità, la flessibilità e l estensibilità dell infrastruttura proposta permettono la rapida definizione di estensioni per diversi tipi di documenti, servizi e interazioni, supportando quindi il rapido sviluppo di nuovi prototipi nel campo della carta interattiva. Il nostro approccio è stato convalidato attraverso l implementazione di varie applicazioni interattive che arricchiscono l attuale panorama. Questi prototipi sono stati presentati e discussi con partner attivi nei campi dell informatica, dell elettronica organica e dei polimeri, dell ingegneria della carta, delle scienze sociali, dell editoria a della progettazione delle interazioni, sia in campo accademico sia nell industria. Siamo convinti che la creazione di un infrastruttura centralizzata per la pubblicazione di documenti cartacei interattivi e la focalizzazione sui

6 dati nella gestione delle informazioni alla loro base, come introdotto dal nostro approccio, sono la chiave per permettere un efficace transizione delle informazioni tra mondo digitale e cartaceo. La nostra innovativa infrastruttura supporta la piena integrazione di carta e documenti digitali, permettendo un importante arricchimento nello sviluppo di applicazioni interattive su carta. v