Interoperabilità delle Biblioteche Digitali Roma, Università Roma Tre 9-10 ottobre 2006 Introduzione all Interoperabilità tecnica: modelli, tecnologie, sw open source Dr. Valdo Pasqui Gruppo di Studio AIB sulle Biblioteche Digitali CSIAF Università di Firenze valdo.pasqui@unifi.it
Definizione La capacità di sistemi o componenti diversi (differenti piattaforme hw e sw, strutture dati, interfacce, applicazioni, etc.) di scambiarsi informazioni e usare le v3 informazioni scambiate v2 di lavorare insieme per svolgere un compito comune Si basa sulla standardizzazione di protocolli, formati dati, codifiche, regole Valdo Pasqui Università di Firenze 2
Diapositiva 2 v2 v3 Institute of Electrical and Electronics Engineers. IEEE Standard Computer Dictionary: A Compilation of IEEE Standard Computer Glossaries. New York, NY: 1990. valdo; 16/08/2006 "The ability of software and hardware on multiple machines from multiple vendors to communicate." IEEE Standard Computer Dictionary: A Compilation of IEEE Standard Computer Glossaries. New York, NY: 1990. http://www.computer-dictionary-online.org/interoperability.htm?q=interoperability valdo; 06/10/2006
Le biblioteche Hanno sempre perseguito questo obiettivo attraverso: La definizione di standard bibliografici (ISBN, ISSN, xmarc e ISO 2709, Dublin Core, etc.) Lo sviluppo di protocolli appositamente concepiti nell ambito dei propri servizi: Z39-50 per il cross-searching ILL 10160 e 10161 per il prestito interbibliotecario OAI-PMH e OpenURL nel contesto delle BD SBNMARC per l Indice SBN Valdo Pasqui Università di Firenze 3
Contesto:i silos delle risorse Molte soluzioni e vari approcci tecnci ma l interoperabilità Banche Dati (TOC, citazioni,etc) Collezioni delle Biblioteche Riviste (analogiche elettroniche e digitali) Repository Istituzionali E-learning Course Management tra repository e tra domini/comunità diversi è molto limitata Il ( resto del) Web blog, wiki, video, musica, etc. Valdo Pasqui Università di Firenze 4
Il modello D2D (Lorcan Dempsey) http://www.oclc.org/research/presentations/dempsey/accessinst_20020306.ppt Discover Locate Request Deliver - Search -Browse - Syndicate feeds OpenURL resolver - Fornitura libro - Copia articolo - Download oggetto digitale Use Valdo Pasqui Università di Firenze 5
Integrazione: Orizzontale: si attraversa la catena dei processi es. dalla scoperta di un articolo alla ricerca dei servizi che lo forniscono Verticale: si integrano attività dentro un processo es. Metasearch per il discovery es. Delivery attraverso integrazione con servizi per l acquisto on-line o ILL Valdo Pasqui Università di Firenze 6
Gli utenti ed i servizi L utente è ancora costretto, nonostante i Metasearcher e OpenURL, a: saltare tra servizi diversi subire la disomogeneità degli strumenti di ricerca adattarsi alle diverse interfacce grafiche e alle differenti modalità di presentazione dei risultati Valdo Pasqui Università di Firenze 7
Le nuove esigenze L utente vuole accedere alle risorse: tramite interfacce semplici, intuitive e personalizzabili che consentano agili modalità di ricerca, navigazione e presentazione sia dei risultati che delle risorse che rendano possibile l accesso al più ampio spettro possibile di risorse e che lo aiutino integrandosi nei suoi processi (workflow) di studio e lavoro Valdo Pasqui Università di Firenze 8
Quindi una visione più ampia Get users to the content : attenzione spostata sull accesso alle risorse di qualunque natura siano e indipendentemente dalla localizzazione Integrazione dei servizi della biblioteca tradizionale con quelli del digitale Le risorse ed i servizi delle biblioteche digitali (e non) sono parte di un contesto informativo più ampio, nel contesto accademico: integrazione con le risorse e gli strumenti per la formazione (e-learning) Interoperabilità con i servizi istituzionali Valdo Pasqui Università di Firenze 9
1) Focus centrato sugli Utenti Orientamento ai Servizi dalla logica di prodotto a quella di servizio Facilitazione dei Workflow Progettare sulla base dei compiti/processi degli utenti ( use case ) Profilatura e personalizzazione: l utente ha un ruolo attivo nella scelta dei servizi e delle risorse usa diversi strumenti/interfacce (browser, tel. cell., PDA, ipod, MP3, ) Valdo Pasqui Università di Firenze 10
Alcuni Workflow RISORSE Ingest Archive Adminstrate Gather Create Share raccolta, analisi, creazione, selezione, acquisizione, aggregazione, organizzazione, memorizzazione, preservazione Submit Review Accept/Refuse Publish Create Organise Curate UTENTI <> RISORSE Discover Locate Request Deliver Publish Subscribe UTENTI <> UTENTI/BIBLIOTECARI/ESPERTI Connect Advise Collaborate Valdo Pasqui Università di Firenze 11
2) le Biblioteche (digitali) devono interoperare con altri domini Cultural Heritage (conservazione e diffusione delle risorse del patrimonio culturale) Formazione (universitaria, professionale) Editoria (elettronica e cartacea, riviste, e-books) Ricerca e produzione scientifica (statistiche, dati sperimentali, simulazioni, software) E-government (semplificazione, trasparenza, comunicazioni tra PA, PA e imprese, PA e cittadini, dematerializzazione ) Archivistica (conservazione dei documenti) e il resto. del Web.blogs, wiki, video, etc. Valdo Pasqui Università di Firenze 12
3) Ripensare i servizi pensare in termini di servizi orizzontali, modulari ed integrabili (ricomponibili) per riprodurre i processi degli utenti metabolizzare gli elementi innovativi di Google, Amazon, Del.icio.us, itunes etc. ponendo al centro dell attenzione i bisogni ed il comportamento degli utenti Valdo Pasqui Università di Firenze 13
Per realizzare questa visione Occorrono strumenti e tecnologie appropriate che consentano: lo sviluppo di una infrastruttura di servizi modulari e integrati => interoperanti la personalizzazione e l adattamento dinamico alle diverse esigenze degli utenti la possibilità di realizzare i diversi flussi operativi e di supportare differenti interfacce Valdo Pasqui Università di Firenze 14
Tre parole chiave per la Interoperabilità Tecnica Standard Metadati Formati dei dati e Rappresentazione di Oggetti complessi/compositi Middleware (protocolli, API, Web Services) e Portali Identificativi per le risorse digitali Gestione delle sicurezze Servizi di E-commerce Gestione dei diritti (DRM) Virtualizzazione (storage, grid computing) Valdo Pasqui Università di Firenze 15
Tre parole chiave per la Interoperabilità Tecnica Progettare sulla base di modelli consolidati Architetturali e Funzionali OAI, OAIS, D2D, SOA, GoogleZon, Folksonomies Sviluppo di sw open source Promuovere lo sviluppo di sw open source e la riusabilità delle applicazioni Valdo Pasqui Università di Firenze 16
Modello OAI per l Organizzazione funzionale dei servizi della BD Data Providers (Repository) Service Provider I livello (Aggregatori) Service Provider di livelli superiori Protocol for Metadata Harvesting Valdo Pasqui Università di Firenze 17
Modello OAI => architettura della BD Aggregazione dei metadati che descrivono le risorse contenute in archivi aperti (e non) assicurando la qualità dei metadati diffusi Accesso agli oggetti digitali (complessi) ai fini della diffusione e preservazione dei contenuti Favorisce l integrazione delle risorse nel contesto della biblioteca ibrida L integrazione con i servizi di reference linking e di citazione consente lo sviluppo di portali tematici e istituzionali Valdo Pasqui Università di Firenze 18
OAIS: Modello Funzionale per i processi di conservazione delle risorse Valdo Pasqui Università di Firenze 19
OAIS => i Package Submission Information Package (SIP) Archival Information Package (AIP) Dissemination Information Package (DIP) Occorrono degli standard per la rappresentazione di oggetti complessi: METS, MPEG-21 DIDL, MAG Necessità di avere identificatori unici e persistenti per gli oggetti digitali e per tutti gli altri attori in gioco Valdo Pasqui Università di Firenze 20
Service Oriented Architecture Evoluzione delle architetture distribuite basate sul paradigma richiesta/risposta Le applicazioni sono sviluppate componendo ed integrando servizi (WebServices) modulari L interfaccia dei servizi è indipendente dalla loro implementazione (J2EE,.NET) I servizi comunicano tramite messaggi (XML) Esistono registri che operano come indici dei servizi esposti dalle applicazioni Valdo Pasqui Università di Firenze 21
University of California Bibliographic Services Task Force (BSTF) Design Principles Dec 2005 Google Web API Amazon E-Commerce Services Fedora Access services Fedora Management services Atom Syndication Valdo Pasqui Università di Firenze 22
Pathways project http://www.infosci.cornell.edu/pathways/ Valdo Pasqui Università di Firenze 23
.e i suoi sviluppi Un data model astratto condiviso Il concetto di surrogate come rappresentazione serializzata e trasportabile degli oggetti digitali Un insieme di servizi base (core services) che ogni repository deve supportare ( harvest, obtain e deposit request ) Un infrastruttura di registri che servono alla scoperta ed alla localizzazione dei servizi, per l identificazione dei repository, dei formati, etc. Valdo Pasqui Università di Firenze 24
Visione Schematica Distribuiti Modulari Riusabili Browser (PC, tel,pda,..) XML, Ajax Portal frameworks Service Oriented Architecture (SOA) e Web Services Virtualizzazione delle risorse e GRID Valdo Pasqui Università di Firenze 25
Presentation Layer Pages, windows, Themes & Layout Registri dei Servizi portlet portlet portlet portlet API & Web Services Sistemi di Identificazione OpenURL Resolver ILL/DD Harvester RSS feeds MetaSearcher Federated Identity Management altre Risorse remote Risorse locali / aggregate e-commerce Valdo Pasqui Università di Firenze 26
Software Open Source: 4 Ragioni per promuoverne lo sviluppo E una (la prima) forma di interoperabilità e promuove quella tra i servizi Permette un migliore controllo della rispondenza ai requisiti funzionali e della qualità dei prodotti e dei servizi Consente di ridurre il Total Cost of Ownership (TCO) Favorisce la sostenibilità dei progetti e dei servizi informatizzati Valdo Pasqui Università di Firenze 27
Open Source: annotazioni Promosso a livello normativo, CINPA: Osservatorio Open Source e Centro di Competenza Portale del riuso Implica l interoperabilità/cooperazione tra enti, istituzioni e persone Ha comunque un costo, più umano che materiale, ma crea competenze Non esclude l impiego di partner commerciali Bisogna crederci Spesso è più comodo comprare prodotti già fatti! Valdo Pasqui Università di Firenze 28
Conclusioni Focus sull utente Integrazione tra repository e tra domini Ripensare i Servizi Interoperabilità Tecnologica Standard Modelli SW Open Source Valdo Pasqui Università di Firenze 29
Appendice Breve rassegna (non esaustiva) di strumenti e prodotti software open source per le lo sviluppo delle Biblioteche Digitali Valdo Pasqui Università di Firenze 30
Strumenti di base Apache Web Server http://httpd.apache.org/ Tomcat Java Servlets container (servlets, JSP) http://tomcat.apache.org/ JBOSS Application server (J2EE container) http://www.jboss.org/products/jbossas Linguaggi di sviluppo (Java, Ajax, Perl, PHP) Valdo Pasqui Università di Firenze 31
Sistemi di autenticazione Directory servers e client OpenLDAP http://www.openldap.org/ Apache Directory Server http://directory.apache.org/ LDAP browser/editor http://www-unix.mcs.anl.gov/~gawor/ldap/ Shibboleth http://shibboleth.internet2.edu Valdo Pasqui Università di Firenze 32
Implementazione dei repository (1) DBMS Berkeley DB http://www.sleepycat.com/products/overview.html MySQL http://www.mysql.com/ MaxDB http://www.mysql.com/products/maxdb/ Postgresql http://www.postgresql.org/ Oracle Database 10g Express Edition http://www.oracle.com/technology/products/database/x e/index.html File system distribuiti SAMBA (Linux Windows) http://us1.samba.org/samba/ OpenAFS (Andrew file system distribuito, virtuale) http://www.openafs.org/ Valdo Pasqui Università di Firenze 33
Implementazione dei repository (2) ARC file format java utilities http://netarchive.dk/kildetekster/index-en.php Indexing/Search engine Java Lucene http://lucene.apache.org/ MG++ http://www.greenstone.org/english/download.html Valdo Pasqui Università di Firenze 34
Portal frameworks Apache Jeetspeed 1 e Jeetspeed 2 http://portals.apache.org/jetspeed-1/ http://portals.apache.org/jetspeed-2/ JBoss portal http://www.jboss.org/products/jbossportal uportal http://www.uportal.org/ Zope (Plone) http://www.zope.org Valdo Pasqui Università di Firenze 35
Strumenti nel contesto bibliotecario OAI OAIHarvester2 (OCLC) http://www.oclc.org/research/software/oai/harvester2.htm Public Knowledge Project (PKP) Harvester http://pkp.sfu.ca/pkp-harvester/ e http://pkp.sfu.ca/harvester2 OAICat (OCLC) metadata server che può essere interfacciato a repository esistenti http://www.oclc.org/research/software/oai/cat.htm DP9 (Old Dominion University) espone i metadati sotto forma di pagine HTML utlizzabili da web search-engines http://arc.cs.odu.edu:8080/dp9/index.jsp Valdo Pasqui Università di Firenze 36
OpenURL OCLC OpenURL resolver http://www.oclc.org/research/software/openurl/ SRU/SRW OCLC SRW/U http://www.oclc.org/research/software/srw/ Handle System http://www.handle.net/download.html Valdo Pasqui Università di Firenze 37
Prodotti verticali DSpace (MIT,HP) http://www.dspace.org Eprints.org (Univ. of Southampton) http://www.eprints.org Fedora http://www.fedora.info/ Greenstone Digital Library Software http://www.greenstone.org Document server software (CERN) http://cdsware.cern.ch/ ADORE http://african.lanl.gov/adore/projects/adorearchive/ Open Journal Systems http://pkp.sfu.ca/ojs/ Valdo Pasqui Università di Firenze 38