ht://miner Un sistema open-source di data mining e data warehousing per lo studio dei comportamenti degli utenti su Internet Gabriele Bartolini Comune di Prato Sistema Informativo Servizi di E-government e Open-Source g.bartolini@comune.prato.it www.htminer.it PAAL: Pubblica Amministrazione Aperta e Libera Opportunità, Criticità ed Esperienze nell Adozione di Standard Aperti e Software Libero nella Pubblica Amministrazione Sardegna Ricerche, Pula (Cagliari), 15 e 16 marzo 2007 1
- Sommario Prato e la sua rete civica: Po-Net Comune di Prato e software libero Web Usage Mining Strumenti di web log analysis tradizionale Obiettivi principali di ht://miner Architettura di ht://miner Pre-Processing Processing Data Warehouse Analisi Il futuro di ht://miner Conclusioni 2
Prato e la sua rete civica: Po-Net Popolazione residente nella provincia di Prato al 31/12/2005: 242.497 Progetto Po-Net nasce nel 1995 e vede coinvolti: Comuni della Provincia Provincia Prefettura Camera di Commercio ASL Aziende a partecipazione pubblica Biblioteche Musei Istituzioni culturali Scuole Associazioni Fa parte di RTRT (Rete Telematica Regionale Toscana) E' composto da 140 gruppi di lavoro e redazioni Il coordinatore è l'ufficio Rete Civica del Comune di Prato Circa 37 milioni di richieste ai siti web di Po-Net nel corso 2006 3
Comune di Prato e software libero (soggetto attivo) Progetti: ht://dig Search Engine (1999 2003) ht://check Link Checker (dal 1999) ht://miner Web Usage Mining System (dal 2003) OpenCabling (dal 2001) Vantaggi: Crescita professionale del personale interno Maggiore stabilità e robustezza del software (testing diffuso) Suggerimenti e contribuzioni volontarie (utilizzo diffuso) Costi: Metabolizzare il cambio di portata del progetto Gestione di servizi rivolti alla comunità di utilizzatori (attività di supporto) Adeguamento a standard per il processo collaborativo di sviluppo software, in un'ottica globale (e.g. Internazionalizzazione dei sorgenti, siti web, mailing list, ecc.) 4
Web Usage Mining E' parte integrante delle seguenti discipline di IT: Knowledge Discovery from Data (KDD) Data mining, in particolare Web mining (data mining applicato al web) Dall'inglese: Web usage: utilizzo del web (riferito agli utenti navigatori di Internet) Mining: attività di estrazione di conoscenza nascosta da dati Processo di scoperta e analisi di modelli (pattern) che concentra l'attenzione sui dati relativi agli accessi effettuati dagli utenti (Web usage data) Rientrano in questa categoria i processi di analisi degli accessi collezionati a livello di: HTTP server (server web) HTTP proxy server ISP HTTP client L'argomento di questa presentazione verterà su accessi a server HTTP 5
Strumenti di web log analysis tradizionale open-source Alcuni esempi: AWStats, Webalizer, Analog PRO: Altamente configurabili Produzione di report statistici descrittivi molto chiari Supporto efficiente Stabilità CONTRO: Elaborazione di file di testo (log) Staticità dei report prodotti (istantanea) Ogni modifica al report richiede una rielaborazione totale Mancanza di integrazione con fonti di dati ausiliarie Assenza di un database relazionale pluriennale modellato sulle esigenze di business 6
Obiettivi principali di ht://miner Memorizzazione automatica delle informazioni in un RDBMS Creazione di un data warehouse per il supporto alle decisioni (DSS) Predisposizione al data mining: Association rules (market basket analysis) Path analysis Clustering Individuazione automatica dei visitatori unici, delle sessioni, delle transazioni e del tempo speso Rilevazione supervisionata e automatica degli spider Supporto per la localizzazione degli indirizzi IP tramite GeoIP Classificazione delle URL in strutture gerarchiche organizzate a categorie Creazione di un framework di astrazione in PHP (libreria middleware) per l'interrogazione online Rispetto e garanzia della privacy... 7
Architettura di ht://miner Architettura a stack su 5 livelli: Pre-processing Processing Data warehousing Analisi: Data mining Report Interrogazione via Web Personalizzazione di massa 8
Pre-Processing Punto di partenza: Access Log (file di testo prodotti dal server) Obiettivi: preparare i dati per la scoperta di conoscenza Task: Leggere file di access log (formati diversi) Creare un archivio temporaneo (flat table) Filtrare le richieste (esclusioni) Importare le richieste nell'archivio temporaneo Risolvere gli indirizzi IP in nomi di host 9
Processing Punto di partenza: archivio temporaneo Obiettivi: scoprire conoscenza organizzare i dati in un DB normalizzato Task: Organizzare i dati provenienti dal DB temporaneo in: Visitatori unici Sessioni Ordinare le richieste per tempo di richiesta Trasformare i dati: Identificando le transazioni Rilevando gli spider Classificando gli user agent Localizzando le richieste sulla base dell'indirizzo IP Memorizzare i dati nell'archivio delle transazioni (OLTP) 10
Data Warehouse Punto di partenza: database transazioni Obiettivi: creare il data warehouse Task: Organizzare il data warehouse di primo livello: Secondo lo schema a stella (star schema): Fatti Dimensioni Recupera i dati dal DB delle transazioni Memorizza i subject: Richieste di pagine Richieste di errori Modellare il DB sulla base delle esigenze: Data warehouse di secondo livello Sistema per la classificazione delle URL Richieste anonime (esclusi motori di ricerca) 11
Analisi Punto di partenza: database transazioni e data warehouse Obiettivi: scoprire informazioni e/o presentarle al personale di business come supporto alle decisioni Task: Integrare ht://miner con applicazioni esterne e/o librerie di data mining Presentare informazioni tramite interfaccia web (tramite middleware PHP) Produrre report riepilogativi statici (PDF, HTML, RTF,...) opportunamente commentati (dossier di business) Interfacciare ht://miner con sistemi OLAP 12
Il futuro di ht://miner ht://miner attualmente sfrutta una minima parte delle sue potenzialità I prossimi punti di intervento su ht://miner riguardano: Portabilità e stabilità (e.g.: utilizzo del framework C++ ACE) Modulo di data mining Ampliamento dei subject memorizzati nel data warehouse (visite, punti di ingresso, ecc.) Analisi (creazione di report statici in modo supervisionato) Il Comune di Prato cerca partner (imprese, universita') per continuare lo sviluppo: Open-source Collaborativo (community) Il Comune di Prato offre la sua assistenza per il riuso del software da parte di altri enti pubblici all'interno delle reti civiche Il Comune di Prato propone la fornitura del servizio di analisi in ASP per gli enti pubblici che non sono in grado di gestirlo in proprio In senso lato, il Comune di Prato offre la sua esperienza pluriennale nello sviluppo cooperativo di software open-source sul territorio nazionale 13
Conclusioni Riferimenti Utili: Sito principale di presentazione del progetto http://www.htminer.it Sito di sviluppo su Sourceforge.net http://www.sourceforge.net/projects/htminer Prossime iniziative: Prima edizione italiana del PostgreSQL Day (PGDay): Monash University, Prato, 6-7 luglio 2007 Interverranno i principali esponenti della comunità mondiale Partecipazione gratuita Patrocinio: Comune e Provincia di Prato, Regione Toscana http://www.pgday.it Domande? GRAZIE 14