CATHERINE LUPOVICI BIBLIOTHÈQUE NATIONALE DE FRANCE, PARIS

Transcript

1 ARCHI VI AZI ONE WEB: COSA DOBBI AMO PRESERVARE E COME RENDERLO USABI LE?

2 CATHERINE LUPOVICI BIBLIOTHÈQUE NATIONALE DE FRANCE, PARIS ABSTRACT I contenuti pubblicati sul Web diventano sempre più complementari rispetto alle risorse classiche e le istituzioni scientifiche e culturali progettano l integrazione del materiale presente sul Web nelle loro politiche di sviluppo delle collezioni. L aumento del numero dei temi rappresentati dal Web non può venire trattato in modo tradizionale per ciò che concerne l acquisizione, la descrizione e l accesso. L International Internet Preservation Consortium (IIPC) è stato istituito nel 2003 fra istituzioni già coinvolte nell archiviazione Web. Gli obiettivi sono la condivisione delle esperienze relative ai requisiti specifici e lo sviluppo di metodi, strumenti e standard adeguati che permetteranno la futura interoperabilità dei depositi al fine di facilitare l accesso incrociato a collezioni di grandi dimensioni e l usabilità, nel futuro, grazie all utilizzo degli strumenti smart analysis che verranno sviluppati. PERCHÉ ARCHIVIARE IL WEB I contenuti Web diventano sempre più complementari rispetto alle risorse classiche che vengono tradizionalmente acquisite dalle istituzioni culturali e scientifiche ed è ovvio che, attualmente, il Web sia il luogo dove i documenti classici diventino digitali. La tipologia dei contenuti Web si amplia dalle pubblicazioni classiche con sempre più pubblicazioni proprie come pure letteratura non convenzionale a tipi emergenti di contenuti online in continua apparizione quali arte digitale, e- learning, e-business ma anche blog e nuovi spazi pubblici dedicati alla discussione e chat. Il Web ha anche caratteristiche tecniche specifiche che creano nuove sfide per l acquisizione, la conservazione e la comunicazione. Le più significative sono: Il Web rappresenta contenuti dinamici massivi con una grande quantità di collegamenti che aggiungono un valore semantico alle pagine. Di conseguenza, il Web può venire archiviato solo su base periodica e l archivio deve comprendere i link quali parti del contenuto stesso. Inoltre, la massa può venire gestita solo da processi automatici. Il Web è diviso in due parti: la superficie Web o Web visibile che è accessibile ai robots per raccogliere e schedare ed il Web profondo con accesso limitato ai robots grazie a passwords o limitazioni tecniche. 1

3 ARCHIVIAZIONE WEB: COSA DOBBIAMO PRESERVARE E COME RENDERLO USABILE? Il Web sta crescendo in modo esponenziale ed è difficile conoscere con precisione la sua reale dimensione. Se facciamo riferimento allo studio di descrizione del Web OCLC 1, il numero dei singoli siti web è cresciuto dai del 1998 ai del 2000 ai siti del Fuori da questo numero, i siti pubblici (siti o parte significante di siti liberamente accessibili e senza restrizioni) sono cresciuti dai del 1998 ai del 2000 ai siti nel Altri studi si sono focalizzati sulle pagine indicizzabili trovate dai motori di ricerca. Un primo studio stima nel il numero di pagine a 200 milioni ed uno studio simile condotto nel gennaio del stima il numero in 11,5 miliardi di pagine. Se consideriamo il dominio nazionale di una nazione europea come la Francia, un istantanea del dominio.fr risultante da un mese di vasto crawl era di 121 milioni di file appartenenti a differenti host. La misura dell istantanea è di 3 TB. In paragone, la BnF riceve circa monografie all anno per il deposito legale. Possiamo vedere che il numero dei temi da prendere in considerazione da parte di una Biblioteca Nazionale con la missione di memoria di conservare e fornire accesso a quello che è reso disponibile pubblicamente nella nazione rappresenta un enorme cambiamento di scala se si va sul Web. COME LE BIBLIOTECHE NAZIONALI STANNO ARCHIVIANDO IL WEB Politica di raccolta Le Biblioteche Nazionali hanno iniziato l archiviazione Web alla metà degli anni 90 con approcci differenti rispetto alla politica della raccolta. La National Library of Canada nel 1994 e la National Library of Australia nel 1996 hanno iniziato con il deposito delle sole risorse digitali (es e-journals). Le hanno processate nello stesso modo delle risorse tradizionali per il workflow del deposito. Le raccolte corrispondenti sono state catalogate argomento per argomento. La Royal Library of Sweden ha iniziato nel 1997, come l Internet Archive, con una raccolta automatica periodica del dominio Web nazionale sul modello di una politica di dominio centrale. Naturalmente, le raccolte non sono state catalogate, ma solo indicizzate tramite le URL dei file. 1 O Neill, Edward T. ; Lavoie, Brian F. ; Bennett, Rick. - Trends in the evolution of the public web In D-Lib Magazine, April 2003, vol. 9, n 4, 2 K.Bharat and A.Broder. A technique for measuring the relative size and overlap of public search engines. WWW conference A.Gulli and A.Signorini. The indexable web is more than 11.5 billion pages. WWW conference

4 CATHERINE LUPOVICI BIBLIOTHÈQUE NATIONALE DE FRANCE, PARIS La Library of Congress ha dato il via ad un evento tematico basato su una copertura a livello mondiale per le elezioni presidenziali nel 2000 e per l 11 settembre 2001 fondato su di una politica centralizzata sull argomento. Le pagine raccolte non sono state catalogate secondo un metodo classico, ma alcuni metadati descrittivi sono stati forniti a livello di collezione. Le Biblioteche Nazionali avevano già iniziato l archiviazione web creata in compartecipazione con l Internet Archive, l International Internet Preservation Consortium 4 nel luglio del 2003 con gli obiettivi di condividere le loro conoscenze specialistiche e di sviluppare metodologie e strumenti appropriati per la propria intera catena di sviluppo prendendo in considerazione collezioni archiviali del web per lo meno su di una scala di dominio. Il lavoro fatto nel consorzio ha dimostrato che approcci complementari devono venire implementati per poter raccogliere siti web pubblici come pure il web profondo. La raccolta conserva i collegamenti web e la caratteristica di navigazione ed il contesto devono venire registrati al momento della raccolta Il deposito presso il produttore permette di rintracciare il web profondo. La relazione con i produttori facilita la negoziazione per l inserimento di alcuni metadata di conservazione nei file depositati. Il consorzio ha elaborato un formato che consente la gestione di un considerevole numero di file raccolti ed anche di file depositati e di registrare metadati di conservazione conformi al modello di informazione OAIS 5 (Open Archival Information System). Il formato WARC 6 è stato accettato come argomento di lavoro ISO TC46 e si presume diventerà uno standard ISO. Accesso utente Oltre al problema del diritto d autore che porta a limitare il pubblico accesso al risultato della raccolta web in alcune nazioni dove la legislazione per il Deposito Legale è stata già estesa al web, la ricerca e la navigazione attraverso grandi collezioni di archivi web è la nuova sfida. I requisiti minimi identificati dai membri IIPC per strumenti di accesso alle collezioni a livello di dominio sono: Indicizzazione e ricerca per URL e per data di raccolta Motori di ricerca full text quale funzionalità 4 IIPC web site. 5 Model for an Open Archival Information System. Consultative Committee for Space Data Systems. Blue book, January WARC, Web ARChive file format 3

5 ARCHIVIAZIONE WEB: COSA DOBBIAMO PRESERVARE E COME RENDERLO USABILE? Navigazione attraverso l archivio per URL e nel tempo Tali requisiti minimi sono già offerti dai membri IIPC e strumenti nei domini pubblici sono disponibili per il download sul sito web del consorzio 7. Il seguente esempio mostra l interfaccia sviluppata dal progetto dei Nordic Web Archives. La demo disponibile online 8 è realizzata con strumenti IIPC applicati a più istantanee dei siti istituzionali di partner IIPC. Applica i principi definiti dai membri del consorzio in relazione ai requisiti minimi. - Ricerca per URI - Ricerca full text - Timeline con il tempo di raccolta disponibile per l URL selezionata. La risoluzione della linea di tempo può venire settata sui seguenti valori: minuti, ore, giorni, mesi, anni, che corrispondono ai possibili parametri di frequenza usati per la raccolta. Oltre a queste semplici caratteristiche già disponibili indipendentemente dalla dimensione delle collezioni, i membri IIPC hanno riconosciuto la necessità di smart tools in grado di permettere la classificazione automatica e WERA (Web archive Access) 4

6 CATHERINE LUPOVICI BIBLIOTHÈQUE NATIONALE DE FRANCE, PARIS l organizzazione semantica delle collezioni. I prossimi programmi dell IIPC si concentreranno su tali strumenti. ARCHIVIAZIONE WEB ALLA BNF La BnF ha iniziato i suoi esperimenti di archiviazione web come pilota per l estensione della legislazione sul deposito legale alle pubblicazioni online. Il deposito legale è l obbligo legale per ogni editore, stampatore, produttore, distributore, importatore di documenti di depositare copie di tutto il materiale pubblicato presso le istituzioni demandate. Promulgato originariamente per i libri stampati nel 1537, il deposito legale è stato progressivamente esteso a tutti i tipi di materiale di espressione e creazione, incluse le nuove tecnologie non appena sono apparse in Francia. Dopo libri, incisioni, musica, fotografie, poster, documenti audiovisivi e multimediali, è venuto il momento di archiviare anche i siti Web 9. Nel 2006, la legislazione è stata estesa in due direzioni: La DADVSI Law (DADVSI stands for Droit d auteur et droits voisins dans la société de l information- loi ) è stata ufficialmente pubblicata il 3 agosto La BnF aspeettava da molto tempo tale legge, della quale il Title IV (Clauses 39 to 47) stabilisce ufficialmente il deposito legale del Web. Tutte le raccolte realizzate durante la fase pilota a partire dal 2001 saranno rese accessibili ai visitatori autorizzati della BnF solo nelle sale di lettura della Research Library. La restrizione si applica a tutte le raccolte legalmente depositate. L accesso sarà autorizzato solo dopo la pubblicazione di uno specifico decreto, forse nel Nel giugno del 2006, una modifica al precedente decreto di deposito legale ha consentito alla BnF di trattare con i produttori il deposito di file elettronici in sostituzione dei mezzi tradizionali precedenti (ad esempio: la carta). L attuale processo di archiviazione è organizzato in tre metodi di raccolta complementari: Raccolta automatica di massa dei siti Web con dominio nazionale francese. La BnF ha sottoscritto un accordo triennale con l Internet Archive (IA) nel 2004 nell ambito del quale entrambi i partners concordano di imbarcarsi in un progetto di ricerca sui domini nazionali francesi. Attraverso questa partnership, 9 Legal deposit : five questions about Web Archiving at BnF. 5

7 ARCHIVIAZIONE WEB: COSA DOBBIAMO PRESERVARE E COME RENDERLO USABILE? la BnF ha catturato due istantanee dei siti con dominio francese, alla fine del 2004 e del Ogni istantanea contiene da 118 a 140 milioni di file corrispondenti ad un volume di 7 Terabytes. La terza istantanea è in lavorazione. L obiettivo è di due istantanee all anno. Le raccolte complete sono indicizzate per URL, data di raccolta e per quella attuale sarà inoltre possibile la ricerca full text. Raccolta focalizzata tematicamente su una selezione di siti per soggetto o per reference librarian. Il focus crawl può essere tematico o basato su un evento. Circa 3500 siti web sono stati archiviati dalle elezioni francesi del 2002 e 2004 (23 milioni di file). Il più recente (alla fine del 2005) riguarda 4500 siti (400 milioni di file, un terzo dei quali erano blog). Quello attuale riguarda le elezioni presidenziali e generali e va dall ottobre 2006 al giugno Le collezioni delle elezioni sono indicizzate per URL, data di raccolta e metadata del soggetto forniti dai curatori al momento della selezione. La BnF sta inoltre conducendo uno studio utente di studenti e studiosi dell Institut d études politiques de Paris sull uso delle collezioni delle elezioni del 2002 e Crawl continuo: l edizione online del Journal official de la République française (la più importante pubblicazione governativa) viene raccolta su base giornaliera. La collezione completa del titolo è stata raccolta sin dalla prima pubblicazione online nel giugno IMPATTO DI RACCOLTE DIGITALI SU LARGA SCALA SULLE POLITICHE DI ACCESSO E CONSERVAZIONE La dimensione delle nostre collezioni digitali cambia attualmente in modo drastico. I cambiamenti chiave sono prodotti da un lato dai programmi di digitalizzazione di massa risultato della spinta data da iniziative quali Google Library o Open Content Alliance e tendenti a portare più contenuti classici disponibili sul Web e dall altro lato dall introduzione di contenuti Web nel nostro Patrimonio Culturale attraverso sempre più iniziative di archiviazione Web. La digitalizzazione massiva di collezioni analogiche classiche permetterà di utilizzare i surrogati digitali al posto dell originale non solo per l accesso remoto, ma anche in modalità locale per la biblioteca. Sta riducendo la pressione di azioni di conservazione classiche richieste per il materiale analogico più on demand e consente il trasferimento delle risorse corrispondenti dalla conservazione alla digitalizzazione. Per esempio, nella BnF il servizio di digitalizzazione è stato annesso al dipartimento di Conservazione nel 2004 per facilitarne lo sviluppo. 6

8 CATHERINE LUPOVICI BIBLIOTHÈQUE NATIONALE DE FRANCE, PARIS La possibilità offerta alla BnF dalla legge di scegliere tra il formato elettronico e la versione cartacea spinge a gestire la conservazione digitale di raccolte digitali su larga scala. Le maggiore priorità per istituzioni che si occupano del Patrimonio Culturale 7