CAPITOLATO TECNICO AFFIDAMENTO DI SERVIZI PROFESSIONALI PER LO SVILUPPO E LA GESTIONE DEL SISTEMA DI CRAWLING DEI SITI WEB DELLA P.A., NELL AMBITO DEL PROGETTO ITALIA.GOV.IT MOTORE DELL AMMINISTRAZIONE DIGITALE Versione Data di rilascio Commenti 1.01 28.08.2012 Capitolato tecnico Documento predisposto dal Gruppo di lavoro Italia.gov.it - Ver. 1.01 pag. 1
CAPITOLATO TECNICO AFFIDAMENTO DI SERVIZI PROFESSIONALI PER LO SVILUPPO E LA GESTIONE DEL SISTEMA DI CRAWLING DEI SITI WEB DELLA P.A., NELL AMBITO DEL PROGETTO ITALIA.GOV.IT MOTORE DELL AMMINISTRAZIONE DIGITALE 1. Oggetto del servizio L oggetto del servizio è un insieme di servizi professionali per lo sviluppo e la gestione del sistema di crawling basato sulla piattaforma open source Apache Nutch rel. 1.3. 2. Contesto del servizio Il servizio riguarda lo sviluppo e la gestione della funzionalità di crawling del sistema Italia.gov.it. La funzione crawling permette la ricerca di contenuti pubblicati sui siti Web della Pubblica amministrazione, ed è alla base di un servizio centralizzato di ricerca utilizzabile tramite interfaccia Web dagli utenti del sito www.italia.gov.it. Il sistema Italia.gov.it dispone di una infrastruttura dedicata al recupero, l archiviazione e l indicizzazione di informazioni provenienti dai siti web delle Pubbliche Amministrazioni al fine di: popolare la base di conoscenza di italia.gov.it con informazioni provenienti dal web (inteso come fonte aperta di dati) per analisi di fenomeni quali la creazione e l evoluzione della rubrica delle PA, la ricerca di sezioni specifiche di siti contenenti determinati contenuti (es. albi pretori, archivi di moduli, sezioni trasparenza etc); estrarre contenuti specifici dai siti delle PA per realizzare collezioni tematiche (quali ad esempio quella dei moduli) e realizzarne le relative funzioni di ricerca; realizzare un motore di ricerca generalista delle informazioni provenienti dai siti web delle PA. Tale infrastruttura è costituita, dal punto di vista tecnologico, dai seguenti prodotti: Piattaforma infrastrutturale di file system distribuito (per garantire la scalabilità delle soluzioni) basata sul prodotto Apache Hadoop ver. 0.20. Tale piattaforma è già stata implementata in ambiente di test e sarà realizzata in esercizio su cluster costituito da almeno sei nodi. Piattaforma di crawling e recrawling, basata sul prodotto Apache Nutch ver. 1.3, integrata con Hadoop. Tale piattaforma è stata estesa da programmi ad hoc aventi funzionalità specifiche per la creazione delle liste di siti oggetto del crawling a partire dalla base di conoscenza e l estrazione di particolari tipologie di contenuti dai segmenti di Nutch. Piattaforma di indicizzazione e creazione di motori di ricerca basata su Apache SOLR ver. 3.4, integrata con Nutch per l indicizzazione dei contenuti sia a partire da sessioni di crawling archiviate sia per l aggiornamento continuo degli indici in fase di crawling. Documento predisposto dal Gruppo di lavoro Italia.gov.it - Ver. 1.01 pag. 2
L infrastruttura tecnologica si completa anche con prodotti quali il crawler Heritrix (usato nei casi in cui Nutch presenta dei limiti nel recupero di determinate tipologie di contenuti), sulla piattaforma UIMA per l analisi e la classificazione dei documenti, su classificatori automatici. Il documento allegato Italia.gov.it: architettura logica del sistema e architettura logica del KMS versione 1.0 del 20.12.2011, DigitPA Prot. 1059/2011 descrive il sottosistema di crawling nel contesto dell architettura complessiva del sistema ed è parte integrante del presente capitolato. 3. Attività di sviluppo e gestione del sistema di crawling Nell ambito del servizio, si rende necessario realizzare prioritariamente le seguenti attività: configurazione e messa a punto della piattaforma Nutch ai fini dello scandaglio dei siti web della Pubblica amministrazione; pianificazione ed esecuzione di sessioni di crawling su sottoinsiemi dei siti web della P.A.; raccolta e formattazione dei risultati del crawling per la successiva elaborazione nella Base di conoscenza; sviluppo di interfacce web personalizzate per facilitare la gestione del sistema di crawling nel progetto Italia.gov.it; realizzazione di una sessione di aggiornamento tecnico sulle metodologie e i prodotti di crawling utilizzati nel progetto Italia.gov.it revisione dell architettura informatica dello strato di osservazione del sistema Italia.gov.it, con particolare riferimento alla definizione delle interfacce di comunicazione con gli altri strati del sistema. 4. Strumenti di supporto allo sviluppo software In accordo alle modalità di organizzazione delle attività progettuali definite nel Piano Esecutivo del progetto Italia.gov.it motore di ricerca dell amministrazione digitale, lo sviluppo software è realizzato con applicazione di metodologie agili e particolare riferimento ad approcci bottom-up e iterativi. A supporto delle attività di sviluppo e di gestione del ciclo di vita del software sono utilizzati i seguenti strumenti: Bugzilla: sistema per il tracciamento delle richieste di modifica al software e dei bug, gestione delle attività di sviluppo software. SVN Subversion: sistema di versionamento del codice sorgente. Maven: sistema per la gestione e realizzazione di build. Eclipse: ambiente integrato di sviluppo (IDE) su client. 5. Qualità del servizio Il servizio consiste nella messa a disposizione di profili professionali che corrispondano ai requisiti di esperienza e conoscenza professionale definiti nel seguito. Il Prestatore è chiamato a rispondere delle risorse messe a disposizione e della rispondenza dei profili professionali ai requisiti di esperienza e conoscenza professionale definiti nel seguito, nonché dell attitudine e dell esperienza nella realizzazione della attività specificate nel seguito. Documento predisposto dal Gruppo di lavoro Italia.gov.it - Ver. 1.01 pag. 3
DigitPA si sta dotando strutturalmente e organizzativamente delle competenze e delle risorse necessarie alla gestione e realizzazione del progetto, ma ha necessità di inserire nei propri gruppi di lavoro profili aggiuntivi che per qualifica, competenza, specializzazione o dimensione non corrispondono alle proprie disponibilità, per il tempo necessario per il raggiungimento degli obiettivi prefissi nella pianificazione del progetto Italia.gov.it. E quindi di competenza di DigitPA la gestione e l organizzazione del lavoro nonché il raggiungimento dei risultati, mentre sono di competenza del Prestatore la messa a disposizione delle risorse con i requisiti richiesti secondo le quantità e le tempificazioni specificate nel seguito. Il servizio sarà erogato sotto la forma contrattuale a misura, espressa nell unità del giorno/persona. Si richiede la messa a disposizione di risorse professionali in quantità massima complessiva di 60 giorni/persona. I profili professionali e le unità di personale richiesti sono i seguenti: progettista di sistemi informatici (corrispondente al Lemma 5.1 PSI del Manuale 4 Dizionario delle Forniture ICT, DigitPA), specialista di sistemi di crawling e motori di ricerca: una unità di personale in quantità massima di 10 giorni/persona; analista programmatore junior (corrispondente al Lemma 4.1 APR del Manuale 4 Dizionario delle Forniture ICT, DigitPA), specialista di piattaforma Apache Nutch: una unità di personale in quantità massima di 50 giorni/persona. 5.1. progettista di sistemi informatici / specialista di prodotto Requisiti professionali: possesso di laurea magistrale, specialistica o vecchio ordinamento in discipline scientifiche (ingegneria, matematica,fisica, tecnologie informatiche o equipollenti); almeno otto anni di documentata esperienza lavorativa nel campo ICT con particolare riferimento a progetti di innovazione tecnologica; esperienza di progettazione software di almeno cinque anni nell ambito delle Architetture di riferimento e in ambienti open source. Nell ambito del servizio in oggetto e del progetto Italia.gov.it, al progettista di sistemi informatici sarà assegnato lo svolgimento delle seguenti tipologie di attività: Definisce specifiche dettagliate e contribuisce direttamente alla creazione e/o modifica efficiente di sistemi software complessi utilizzando gli standard e gli strumenti sopra descritti. Definisce i criteri per la verifica che i risultati rispondano ai requisiti sia per la qualità della progettazione tecnica che in termini di conformità alle specifiche funzionali concordate. Elabora documentazione tecnica presentata sotto forma di architetture informatiche e comprendenti processi, servizi e sistemi. Prende parte alla definizione dei processi organizzativi per la gestione dei servizi di Italia.gov.it in termini di attività e funzioni, e li sviluppa in architetture IT operative, selezionando e applicando schemi e metodologie adeguate. Partecipa alla revisione dell architettura informatica dal punto di vista del bilanciamento tra benefici, costi e rischi, incluse le minacce alla sicurezza. Documento predisposto dal Gruppo di lavoro Italia.gov.it - Ver. 1.01 pag. 4
Controlla l efficacia complessiva dell architettura informatica, l efficienza delle singole soluzioni IT (in termini di apparati informatici, capacità di elaborazione e comunicazione, strutture dati, oggetti, algoritmi, logiche applicative, ecc.) e la fattibilità tecnica delle nuove soluzioni proposte, verificando i loro rischi, i costi e i potenziali benefici. Assicura che le singole soluzioni informatiche soddisfino i requisiti non funzionali dell azienda, incluse qualità, sicurezza, prestazioni, usabilità e scalabilità. Partecipa alla definizione delle modalità operative del gruppo di lavoro dedicato allo sviluppo ed alla manutenzione dell architettura in tutte le fasi dello sviluppo, del rilascio e della manutenzione delle architetture informatiche. Fornisce consulenze sulle tendenze emergenti e sulle innovazioni relative alle architetture informatiche di riferimento per Italia.gov.it. Contribuisce alla valutazione e al confronto delle tecnologie informatiche. Produce documenti e rapporti scritti di alta qualità, in cui vengono descritte soluzioni architetturali informatiche con uno stile chiaro e conciso. Realizza sessioni di comunicazione e di formazione sulle metodologie e le tecnologie utilizzate nello sviluppo del progetto Italia.gov.it. 5.2. Profilo di analista programmatore junior / specialista di prodotto Requisiti professionali: possesso di laurea triennale e di almeno un anno di documentata esperienza lavorativa come sviluppatore di sistemi software o, in alternativa, possesso di laurea specialistica o vecchio ordinamento in discipline scientifiche (ingegneria, matematica, fisica, tecnologie informatiche o equipollenti); esperienza in attività di sviluppo e gestione della piattaforma Nutch / Hadoop per il crawling di siti web; esperienza operativa nell utilizzo dei seguenti strumenti di supporto allo sviluppo del software: Bugzilla, SVN, Eclipse e Maven. Nell ambito del servizio in oggetto e del progetto Italia.gov.it, all analista programmatore junior sarà assegnato lo svolgimento delle seguenti tipologie di attività: Converte le specifiche logiche in progetti più dettagliati, che tengono conto delle funzionalità tecniche e non tecniche e delle limitazioni dell ambiente di implementazione finale. Costruisce o modifica, collauda e corregge moduli di componenti software a partire dalle specifiche. Prepara e realizza il collaudo di moduli software; identifica i difetti e le cause degli insuccessi e migliora i programmi e la configurazione del sistema fino ad ottenere un risultato completamente positivo. Contribuisce a definire i moduli software che costituiscono una versione pronta per l integrazione, assicurando che rispettino i criteri di test del software definiti e generando delle versioni di software per il caricamento sull hardware target a partire dal codice sorgente del software. Documento predisposto dal Gruppo di lavoro Italia.gov.it - Ver. 1.01 pag. 5
6. Durata e pianificazione delle prestazioni Il servizio in oggetto avrà una durata di tre mesi a decorrere dalla data di invio delle letteracontratto (che sarà anticipata via fax). L esecuzione delle attività avrà inizio, previa accettazione dei curricula presentati, a partire dal sesto giorno lavorativo successivo a quello della data di invio della lettera-contratto. La tabella seguente illustra la pianificazione di massima delle prestazioni per ciascun mese solare di attività. I valori indicati nella tabella seguente sono espressi in giorni/persona, per ciascuna unità di personale richiesta. Mese 1 2 3 Tot Progettista di sistemi 4 4 2 10 Analista programmatore Junior 18 18 14 50 Totale 22 22 16 60 7. Modalità di esecuzione Le prestazioni saranno erogate con la forma contrattuale a misura, espressa in giorni/persona. Un giorno/persona ha una durata media di 8 ore di lavoro. Il luogo di svolgimento delle attività della figura professionale di analista programmatore junior/specialista di prodotto è in Roma, presso la sede di DigitPA, Viale Marx 31/49. La figura professionale di progettista di sistemi potrà svolgere le attività anche presso le sedi del Prestatore. Le prestazioni si svolgono nei giorni feriali, in orario da concordare in fase di pianificazione di dettaglio e compreso tra le ore 8.00 e le ore 18.00. La pianificazione di dettaglio delle attività è concordata e aggiornata all inizio delle attività e successivamente ogni 30 giorni. La pianificazione di dettaglio definisce l impegno di ciascuna risorsa professionale per ciascun periodo di 30 giorni. Il Prestatore dovrà produrre il resoconto delle attività svolte al termine del primo e terzo mese di attività. Il resoconto contiene, come minimo: la quantità di impiego di ciascuna risorse professionali nel periodo di riferimento; l elenco delle eventuali sostituzioni di personale e la data in cui ciascuna di esse è avvenuta; una sintetica descrizione del prodotto delle attività svolte. Il rispetto della pianificazione è requisito essenziale del servizio, pertanto eventuali variazioni nella erogazione del servizio proposte dal Prestatore rispetto alla pianificazione concordata sono soggette ad approvazione preventiva dal parte di DigitPA. Nel caso in cui la prestazione ecceda l ammontare previsto dalla pianificazione, DigitPA si riserva diritto di non approvare il pagamento della prestazione che eccede quanto pianificato; nel caso in cui la prestazione sia erogata in misura ridotta rispetto alla pianificazione, DigitPA applicherà le penali descritte nel paragrafo 10. Documento predisposto dal Gruppo di lavoro Italia.gov.it - Ver. 1.01 pag. 6
Il Prestatore assicura la disponibilità, attraverso propri servizi on line e strumenti di tipo CVS (Control Version System), della documentazione tecnica elaborata e del codice sorgente in fase di sviluppo. Il Prestatore assicura l accesso a tali servizi e strumenti on line alle unità di personale comunicate da DigitPA. Gli strumenti di tipo CVS messi a disposizione dal Prestatore dovranno consentire per lo svolgimento di attività di manutenzione del software da parte di personale autorizzata da DigitPA. Il Prestatore assicura che il personale di profilo Progettista software e Analista programmatore junior sia dotato di postazioni di lavoro portatili adeguate allo svolgimento delle attività loro assegnate. Il coordinamento delle attività è sotto la responsabilità di DigitPA, che avrà anche la responsabilità di verificare e approvare i resoconti periodici delle prestazioni. 8. Corrispettivi e pagamenti I corrispettivi relativi alle prestazioni oggetto del presente servizio saranno pagati da DigitPA, previo rilascio da parte del Responsabile unico del procedimento/direttore dell esecuzione del certificato di verifica di conformità, in ottemperanza a quanto stabilito dall art. 317 del D.P.R. n. 207/2010 e s.m.i., a seguito dell emissione da parte del Prestatore di fatture posticipate al termine del primo e terzo mese di attività. 9. Personale Il Prestatore dovrà trasmettere a DigitPA i curricula delle risorse professionali entro cinque giorni lavorativi decorrenti dalla data di invio della lettera contratto. DigitPA si riserva di verificare le risorse professionali proposte sulla base delle rispondenza dei curricula ai profili previsti nel presente Capitolato tecnico. Il Prestatore dovrà garantire l erogazione dei servizi professionali nei modi e nei tempi concordati nelle pianificazioni di dettaglio mensili. DigitPA si riserva di proporre l esclusione di coloro che non siano di proprio gradimento per cattivo contegno, incapacità o inidoneità nell'esecuzione del proprio dovere, chiedendone la sostituzione. La sostituzione delle risorse professionali deve avvenire entro cinque giorni lavorativi successivi alla data di ricezione della richiesta di sostituzione da parte di DigitPA. La sostituzione da parte del Prestatore di ogni figura professionale, motivata per cause di forza maggiore e approvata da parte di DigitPA, deve avvenire entro cinque giorni lavorativi successivi alla data della suddetta approvazione. In ogni caso la sostituzione dovrà avvenire con risorse in possesso dei requisiti minimi previsti dal presente Capitolato tecnico. 10. Livelli di servizio e penali Fatto salvo il risarcimento dei maggiori danni causati a DigitPA, in caso di inosservanza dei livelli di servizio saranno applicate le penali come definite nel seguito: - In caso di ritardo nell avvio dei servizi in oggetto rispetto a quanto stabilito al paragrafo 6, si applica una penale pari all 1 per mille dell importo contrattuale massimo per ogni giorno solare di ritardo; Documento predisposto dal Gruppo di lavoro Italia.gov.it - Ver. 1.01 pag. 7
- In caso di minore quantità delle risorse fornite rispetto alla pianificazione definita al paragrafo 6, si applicano le penali calcolate secondo quanto definito in Tabella 1. - In caso di ritardo rispetto ai tempi massimi di sostituzione delle risorse, si applicano le penali calcolate in secondo quanto definito in Tabella 2. Tabella 1: Azioni contrattuali relative ad inadempimento nella quantità della prestazione. Livello di servizio Caratteristica /Sottocaratteristica Indicatore/Misura Sistema di gestione delle misure Unità di misura Dati elementari da rilevare Frequenza esecuzione misure Formula di calcolo Obiettivi, valori soglia Penali Quantità della prestazione Efficienza / efficienza temporale Rispetto delle scadenze di disponibilità delle risorse (indicatore RTMP) Misura il rispetto della quantità di risorse impegnate rispetto alla pianificazione. Giorni (lavorativi) Pianificazione delle risorse; disponibilità erogata dalle risorse rilevata da resoconto dell impiego delle risorse professionali Primo e terzo mese di attività RTMP = Numero giorni lavorativi così calcolati: (Numero di giornate pianificate - Numero di giornate lavorate) Valore soglia RTMP = 8 Al superamento della soglia, verrà applicata una penale pari all 1 per mille dell importo contrattuale massimo per ogni giornata/persona non erogata. Tabella 2: Azioni contrattuali relative ad inadempimento nei tempi di sostituzione risorse Livello di servizio Caratteristica /Sottocaratteristica Indicatore/Misura Sistema di gestione delle misure Unità di misura Dati elementari da rilevare Frequenza esecuzione misure Formula di calcolo Regole di arrotondamento Obiettivi, valori soglia Penali Tempi di sostituzione delle risorse Funzionalità / accuratezza Ritardo nella sostituzione delle risorse nel tempo (indicatore RSRIS) Misura la variabilità delle risorse che erogano i servizi nel tempo, basandosi sul tempo di sostituzione di una risorsa da parte del Prestatore, comunque motivata per cause di forza maggiore e approvata dall Amministrazione Giorni (lavorativi) Data della richiesta di sostituzione risorsa; data inizio prestazione rilevata da resoconto dell impiego delle risorse professionali Primo e terzo mese di attività RSRIS = DPSOS - DESOS dove DESOS = Data effettiva sostituzione risorsa DPSOS = Data Prevista sostituzione risorsa L arrotondamento è al giorno lavorativo Valore soglia RSRIS = 0 Al superamento della soglia, verrà applicata una penale pari all 1 per mille dell importo contrattuale massimo per ogni giornata/persona non erogata. Documento predisposto dal Gruppo di lavoro Italia.gov.it - Ver. 1.01 pag. 8
L applicazione e l entità delle penalità saranno portate a conoscenze del Prestatore in forma scritta (raccomandata A.R. anticipata via fax). L ammontare della penalità sarà addebitato, di regola, sui crediti del Prestatore derivanti dal contratto e sarà trattenuta sulla prima fattura in pagamento, senza pregiudizio del rimborso delle maggiori spese che DigitPA dovesse sostenere per sopperire in altro modo alle mancanze attribuibili al Prestatore. Le penali sono cumulabili tra loro, ma non potranno comunque superare il 10% dell importo complessivo contrattuale dei servizi richiesti. Qualora l ammontare complessivo delle penali superi la predetta percentuale, DigitPA si riserva la facoltà di risolvere il rapporto mediante lettera raccomandata, senza bisogno di messa in mora o di azione giudiziaria, con rivalsa nei confronti del Prestatore anche dell eventuale maggior onere rispetto alle condizioni economiche di cui alla presente e salvo le richieste di risarcimento dei danni subiti. Documento predisposto dal Gruppo di lavoro Italia.gov.it - Ver. 1.01 pag. 9