LINUX DAY 2006 I T A L I A

Dimensione: px

Iniziare la visualizzazioe della pagina:

Download "LINUX DAY 2006 I T A L I A"

Enrichetta Palmisano
5 anni fa
Visualizzazioni

ht://miner a Complete Web Usage Mining System Il primo sistema completo open-source per l'analisi del comportamento degli utenti su Internet a cura di Gabriele

1 ht://miner a Complete Web Usage Mining System Il primo sistema completo open-source per l'analisi del comportamento degli utenti su Internet a cura di Gabriele Bartolini Comune di Prato e per alcune parti G.Bartolini Presentazione rilasciata sotto licenza Creative Commons Attribuzione - Non commerciale 2.5

2 Requisiti di ht://miner Sistema Operativo Linux Compilatore GNU GCC e G++ PostgreSQL 8 PCRE (espressioni regolari compatibili Perl) Libreria Expat Zlib OpenSSL (md5) Gettext 2

3 Sommario KDD & Web Usage Mining Log Analysis tradizionale PO-Net e ht://miner Il valore aggiunto di ht://miner Architettura di ht://miner ht://miner è Open-Source (Licenza GPL) 3

4 PARTE I KDD e WUM Una piccola introduzione ai concetti di Knowledge Discovery from Data e Web Usage Mining 4

5 Web Usage Mining Mining (dall'inglese attività di estrazione da una miniera ) Web Usage (dall'inglese utilizzo del Web ) Per chiarire il significato è necessario introdurre 3 concetti: KDD (Knowledge Discovery from Data) Data Mining Web Mining 5

6 KDD Knowledge Discovery from Data Processo di scoperta di conoscenze nascoste in una o più collezioni di dati, tramite l'impiego di strumenti analitici e tecniche: Selezione dei dati Filtraggio dei dati Codifica dei dati DATA MINING Analisi Azione 6

7 Data Mining Tappa fondamentale del procedimento di KDD Applicazione di tecniche (diverse a seconda degli scopi) su grosse moli di dati per la scoperta di conoscenza nascosta (nota con il termine pattern): Classificazione Stima Predizione Affinity Grouping (market basket analysis) Clustering Descrizione 7

8 Web Mining Data mining applicato al Web Web mining si divide in: Web Structure Mining (si studia la struttura del Web, in termini di relazioni fra pagine) Web Content Mining (si studia il contenuto del Web) Web Usage Mining (si studia l'utilizzo che viene fatto del Web da parte degli utenti) Lo sapevate che un motore di ricerca è un'applicazione di Web Content Mining e possibilmente anche di Web Structure Mining? 8

9 WUM & ht://miner 9

10 PARTE II Log analysis tradizionale 10

11 Statistiche degli accessi a siti web 1/2

12 Statistiche degli accessi a siti web 2/2 PRO: Mostrano misure di frequenza interessanti (hits) per diversi fatti come richieste di pagine, visitatori unici, browser, sistemi operativi, etc. Altamente configurabili CONTRO: Non creano un database interrogabile Non rilevano automaticamente gli spider Non permettono l'integrazione dei dati con altre fonti interne (di struttura, di classificazione, etc.) 12

13 PARTE III PO-Net e ht://miner 13

14 PO-Net PO-Net è la rete civica provinciale di Prato Provincia: residenti (al 31/12/2005) Partecipano: Comuni della Provincia, Camera di Commercio, ASL, Aziende a partecipazione pubblica, Biblioteche, Musei, Istituzioni Culturali, Scuole, Associazioni 140 gruppi di lavoro e redazioni 30 milioni di accessi alle pagine nel

15 Nasce l'idea di ht://miner 1/3 Esigenze della Rete Civica di Prato: Snellire il procedimento di raccolta dei log dai vari server di Po-Net ed ottimizzare il procedimento di risoluzione degli indirizzi IP Garantire la privacy dell'utente Rendere immediatamente a disposizione i dati di accesso del giorno precedente Creare un database relazionale storico degli accessi in grado di permettere il confronto di dati negli anni Classificare in modo supervisionato le URL ed organizzarle in categorie di varia natura (organizzazione, tema, etc.) Predisposizione al Data Mining e.g. Market Basket Analysis (ieri, l'80% dei visitatori del sito x ha anche visitato il sito y) 15

16 Nasce l'idea di ht://miner 2/3 Analog si dimostrava sempre più inadeguato Costi di manutenzione alti per ottemperare alle inadempienze di Analog Esperienza accademica in Web Usage Mining Assenza di un potenziale competitor Esperienza sviluppo Open-Source = studio di fattibilità per nuovo sistema (2003) 16

17 Nasce l'idea di ht://miner 3/3 2003: L'analisi ed il progetto pilota di 4 mesi evidenziano le potenzialità dell'applicazione, scritta in C++ per GNU/Linux con database PostgreSQL e sfruttando i thread Sulla scia di ht://dig e ht://check il progetto viene nominato ht://miner Lo sviluppo è ospitato su Sourceforge.net Il codice è distribuito con licenza GNU/GPL 17

18 PARTE IV Il valore aggiunto =>? 18

19 Il valore aggiunto 1/5 Memorizzazione dei dati in RDBMS: Disponibilità via rete (online) Possibilità di interrogazione tramite SQL Integrazione con altri sistemi, fonti di dati, applicazioni, interfacce (ODBC) Staging a due livelli: Transazionale (dettaglio, archivio normalizzato) Data warehouse (storico, denormalizzato) 19

20 Il valore aggiunto 2/5 Creazione di un data warehouse: Archivio prettamente orientato all'analisi e alla produzione di report Strumento di supporto alle decisioni Importanza della prestazione delle query a scapito della ridondanza (denormalizzazione) Data Webhouse, trattandosi di dati sul Web Predisposizione al data mining Predisposizione a personalizzazione di massa 20

21 Il valore aggiunto 3/5 Individuazione automatica delle sessioni (gruppi di richieste da parte di uno stesso utente con periodo di inattività minore di 30 minuti) Studio dei percorsi di navigazione Individuazione automatica delle transazioni (sottoinsieme delle sessioni) con particolare attenzione alla classificazione tra richieste di navigazione e di contenuto sulla base del tempo speso su una pagina (e.g. di contenuto se tempo > 15 secondi) 21

22 Il valore aggiunto 4/5 Tempo speso su ogni pagina Rilevazione supervisionata e automatica degli spider, tramite procedimenti euristici che ne studiano la tipologia delle richieste Supporto per localizzazione geografica sulla base dell'indirizzo IP Classificazione degli User Agent Classificazione dei sistemi operativi 22

23 Il valore aggiunto 5/5 Supporto per la classificazione delle URL in gerarchie organizzate a categorie, per una più organica attività di report Infine: Architettura multi-thread per il processo di ETL (Extraction, Transformation, Load) Supporto per access log di IIS con rilevazione automatica del formato di log Risoluzione multi-thread degli indirizzi IP Autotools e Internazionalizzazione (gettext) 23

24 Come classificare le URL in ht://miner 24

25 PARTE V Architettura =? 25

26 Architettura (a stack su 5 moduli/livelli con 3+ archivi) A) Pre-processing B) Processing C) Data Warehouse D) Analisi E) Mass Customisation 26

27 Fase 1: Pre-Processing 27

28 Fase 2: Processing (1/3) 28

29 Fase 2: Processing (2/3) Lettura dei dati di input identificazione degli utenti (autenticati e anonimi) identificazione delle sessioni Trasformazione dei dati identificazione delle transazioni, secondo particolari algoritmi di IA; [... continua ] 29

31 Fase 3: Data warehousing 31

32 Fase 4: Analisi (1/2) Il modulo di analisi è composto da: Data mining Online reporting (Web interface) Standard reporting: Pagine HTML statiche documenti PDF Fogli elettronici Report di Business Object o altri strumenti OLAP 32

33 Fase 4: Analisi (2/2) Al momento è in fase avanzata di sviluppo l'interfaccia Web, con libreria open-source in PHP in grado di fornire API per la produzione di documenti XML, (X)HTML tramite XSL e grafici al volo 33

34 Fase 5: Personalizzazione di massa 34

35 PARTE VI Open-Source e futuro 35

36 Sviluppo Open-Source 1/2 ht://miner è software open-source in quanto i sorgenti sono rilasciati in GNU/GPL ht://miner utilizza software open-source: GNU/Linux PostgreSQL PHP GNU C++ compiler e librerie Sourceforge.net e PgFoundry Forte investimento del Comune di Prato 36

37 Sviluppo Open-Source 2/2 Aspettative di ROI per rilascio OS: Testing diffuso con conseguenti: Bug reporting diffuso Richieste di nuove funzionalità Sviluppo diffuso con conseguenti: Patch fixing Sviluppo di moduli Partnership con aziende e Università: Proliferazione data warehouse Sviluppo di moduli di Data mining 37

38 Stato di avanzamento Release 1.0: Entro la fine del 2006 Moduli di pre-processing, processing, caricamento del warehouse standard Warehouse custom in grado di permettere: Classificazione di URL in gerarchie Richieste anonime raggruppate per giorno Attivazione su PO-Net prevista: Attualmente in fase di testing 38

39 Alcuni numeri (dati a disposizione dal 1/10/07) 11 milioni di richieste (HTML, immagini, etc.) compresi gli errori (3GB) 330 mila host memorizzati sessioni (300MB) 3 milioni di transazioni 1 milione di URL (630MB) 45 mila User Agent E sistemi operativi :) 39

40 Riepilogo KDD & Web Usage Mining Log Analysis tradizionale PO-Net e ht://miner Il valore aggiunto di ht://miner Architettura di ht://miner ht://miner è Open-Source (GNU GPL) 40

41 Domande? 41

42 GRAZIE Per informazioni: 42

43 Licenza di questa presentazione Tu sei libero: di riprodurre, distribuire, comunicare al pubblico, esporre in pubblico, rappresentare, eseguire e recitare quest'opera di modificare quest'opera Alle seguenti condizioni: Attribuzione. Devi attribuire la paternità dell'opera nei modi indicati dall'autore o da chi ti ha dato l'opera in licenza. Non commerciale. Non puoi usare quest'opera per fini commerciali. Ogni volta che usi o distribuisci quest'opera, devi farlo secondo i termini di questa licenza, che va comunicata con chiarezza. In ogni caso, puoi concordare col titolare dei diritti d'autore utilizzi di quest'opera non consentiti da questa licenza. 43

Documenti analoghi

ht://miner Un sistema open-source di data mining e data warehousing per lo studio dei comportamenti degli utenti su Internet

ht://miner Un sistema open-source di data mining e data warehousing per lo studio dei comportamenti degli utenti su Internet Gabriele Bartolini Comune di Prato Sistema Informativo Servizi di E-government