PROGETTO SICH Semantic Illegal Content Hunter

Transcript

1 PROGETTO SICH Semantic Illegal Content Hunter CONFERENZA FINALE UNO SGUARDO VERSO IL FUTURO: L EREDITÀ DEL PROGETTO SICH Massimo Bernaschi - Istituto Applicazioni del Calcolo - CNR Roma, 20 Novembre 2015

2 Progetto IANCIS IANCIS - Indexing of Anonymous Networks for Crime Information Search Finanziato dal DIRECTORATE-GENERAL HOME AFFAIRS, programma ISEC Partners Arma dei Carabinieri Istituto Applicazioni del Calcolo (C.N.R.) Expert System Finanziato dal programma ISEC GA n

3 Progetto IANCIS Obiettivo: Sviluppare uno strumento capace di navigare nel Deep Web ed alimentare un motore di analisi semantica per indicizzare e catalogare i dati raccolti. Esplorare in maniera automatica gli hidden service Estrarre i testi dai dati raccolti ed analizzarli Visualizzare i risultati dell analisi ed identificare possibili attività illecite

4 TOR The Onion Routing è una rete anonima che sfrutta il concetto di instradamento a strati dei pacchetti IP. Disegnata, implementata e resa disponibile dall U.S. Naval Research Laboratory. La rete Tor è composta da server che, su base volontaria, mettono a disposizione le loro risorse per permettere agli utenti di preservare la loro privacy e sicurezza su Internet. Tor protegge i suoi utenti dall analisi del traffico. L analisi del traffico permette di individuare chi-parla-con-chi anche senza intercettare i contenuti. Tor Network User

5 Servizi Nascosti I servizi nascosti del TOR permettono di pubblicare siti web ed altri servizi senza rivelare né l indirizzo IP, né la locazione del sito Gli hidden services sono accessibili solo attrarverso la rete TOR ed ogni service è identificato dal suo onion address. Un onion address è una sequenza di 16 caratteri seguita dal dominio.onion, e.g Il numero di Hidden Services è stimato essere nell ordine delle decine di migliaia [1,2] Tor Network User Rendezvous Point Hidden Service [1] Torproject Blog, Some statistics about onions, [2] A. Biryukov, I. Pustogarov, and R. Weinmann Trawling for Tor Hidden Services: Detection, Measurement, Deanonymization. In Proceedings of SP '13

6 Servizi Nascosti Perché le forze di Polizia possono essere interessate ai Servizi Nascosti? Traffico di armi Traffico di narcotici Pedopornografia Traffico di esseri umani Terrorismo Silk Road era un mercato elettronico utilizzato soprattutto per vendere merci illegali. Nel 2013 FBI ha spento il sito. Alcuni Hidden Services supportano attività illegali quali: Lolita City ospitava immagini e video pedopornografici.

7 Workflow di IANCIS Identificazione di attività illegali Acquisizione Elaborazione Visualizzazione

8 Tecnologie utilizzate Acquisizione BUBING: crawler ad alte prestazioni sviluppato dal laboratorio per l algoritmica Web dell Università di Milano (adattato per TOR) ELABORAZIONE Estrazione del testo TIKA: lo stesso componente open-source dell Apache Foundation utilizzato per l indicizzazione ELABORAZIONE Analisi del testo COGITO COGITO: motore di analisi semantica sviluppato da Expert System. Classifica i testi secondo una tassonomia predefinita fornendo informazioni quantitative e qualitative (di quale argomento tratta un testo e quanto il testo tratta quell argomento)

9 Architettura Crawling Analisi Semantica Il testo viene estratto e preparato per l analisi I dati raccolti sono filtrati ed organizzati per le successive analisi Estrazione e Filtraggio Analisi e Filtraggio Extraction, Analysis and Storage I risultati delle analisi ed i metadata sono salvati su un apposito DB WARC (web archive) Database orientato ai documenti Database orientato ai documenti

10 Progetto ISODAC ISODAC- Indexing and Searching Of Data Against Crime Finanziato dal DIRECTORATE-GENERAL HOME AFFAIRS, programma ISEC Partners Arma dei Carabinieri Istituto Applicazioni del Calcolo (C.N.R.) Finanziato dal programma ISEC GA n

11 Perchè un nuovo indicizzatore? Le forze di polizia hanno bisogno di uno strumento efficiente per indicizzare e ricercare i dati presenti nel dischi sequestrati o raccolti in rete

12 Come funziona Estrae i file ed i metadati da: dischi sequestrati la rete (ToR) Li distribuisce tra più sistemi Estrae il testo e tutte le informazioni da ogni file compresi i file cancellati Crea indici distribuiti Offre una interfaccia semplice per effettuare ricerche

13 Architettura Software CONNECTIONS LEGEND DB input/ouput HPC cluster Admin Web GUI Search DATABASE SEARCHER MEDIATOR DBMS INDEX REPO COORDINATOR Job Scheduler Status Manager WORKER AGENT Worker Nodes HPC Cluster

14 Componenti Principali Ogni nodo può eseguire uno o più componenti: Image-Extractor Per estrarre i file dai dischi Docu-Parser Per estrarre testo e metadati da ogni file Docu-Indexer Per creare indici dei contenuti testuali e dei metadati Connessi tra di loro per formare una catena software: Extraction > Parse > Indexing

15 Extract Parse Indexing 1: EXTRACT 2: PARSE 3: INDEXING Docu - Parser Docu - Indexer Image - Extractor Docu - Parser Docu - Parser Docu - Indexer Docu - Indexer Docu - Parser Docu - Indexer

16 Estrazione Dati Basata su The Sleuth Kit Library Supporta file system Unix, Linux, OsX e Windows Estrae file e metadati dal file system e dai documenti SYSTEM METADATA CREATION_DATE FILENAME SIZE PATH LAST_MODIFICATION_DATE The Sleuth Kit Library

17 Parsing dei Documenti Basata sulla Libreria Apache Tika Rileva ed estrae il testo ed i metadati Supporta circa 1400 diversi tipi di file! DOCUMENT METADATA Tika Library AUTHOR TITLE KEYWORDS SUMMARY LANGUAGE TOOL RIGHTS FORMAT

18 Indicizzazione dei Documenti Basata sulle Librerie Apache Lucene Permetta l indicizzazione e la ricerca L indice occupa circa il 20-30% del testo indicizzato Apache Lucene Libraries

19 Ricerca nei Documenti Basata sulle Librerie Apache Lucene Tipi di ricerche supportati: Ricerca con ordinamento dei risultati Ricerche su indici multipli e combinazione dei risultati Ricerche con operatori logici (AND / OR) Ricerca per campi (e.g., titolo, autore, contenuti) I risultati possono essere visualizzati direttamente o esportati per essere utilizzati in altre applicazioni.

20 Prestazioni Time 1:12:00 1:04:48 0:57:36 0:50:24 0:43:12 0:36:00 0:28:48 0:21:36 0:14:24 0:07:12 0:00:00 "Extract-Parse-Index Time" "DD Time" Seized disk image size (in GB) Dimensione dei dati (GB) Extract-Parse-Indexing Tempo Tempo di lettura # File Dimensione Indice (GB) 32 00:09:15 00:07: :17:43 00:14: :37:16 00:20: :02:22 00:33:

21 Indicizzazione ad alte prestazioni L analisi del testo richiede la separazione in parole (tokenization), il filtraggio e rimozione delle stop words (articoli, congiunzioni, etc.) Le Graphics Processing Units offrono enormi capacità di calcolo Uso delle GPU per accelerare queste parti del processo di indicizzazione Clucene Libraries

22 Time (Seconds) (2070 Fermi) GPU CUDA Results CLucene GPU+CLucene Speed-Up 7x 9x x MB 32MB 128MB Plain-Text Size

23 Optical Character Recognition Basata sulla libreria Tesseract Elaborazione parallela per documenti multi-pagina Su documenti di 10 pagine si ottiene uno speed-up di circa un fattore 7 Elaborazione parallela di linee e parole in ogni pagina Speed-up (circa) 2 (Attività futura) Sviluppo di una libreria OCR per GPU

24 Altre caratteristiche di ISODAC Elaborazione in-memoria per Extraction+Parse+Indexing Solo gli indici sono scritti su disco Molto più veloce di soluzioni basate sul paradigma Map-Reduce (> 100%) Capacità di recupero in caso di errori nell' indicizzazione I file sono di nuovi processati in maniera selettiva in caso di fallimenti Indici esportabili Gli indici possono essere utilizzati da altri applicazioni ed aggiornati Scansione in profondità Scansione dello spazio disco non allocato e dei file cancellati Indicizzazione di archivi: TAR, ZIP, RAR, etc.

25 Q&A

26 Contatti Grazie MASSIMO BERNASCHI Istituto Applicazioni del Calcolo - CNR