Laboratorio di Information Retrieval SOLR. Marco Rossetti Based on Emanuele Panzeri s slides panzeri@disco.unimib.

Transcript

1 Laboratorio di Information Retrieval SOLR Marco Rossetti Based on Emanuele Panzeri s slides panzeri@disco.unimib.it 19/12/2014

2 SOLR Search Engine Apache SOLR 1 è una piattaforma di ricerca costruita sulle funzionalità offerte dal Framework Lucene. Vengono estese le funzionalità degli indici di Lucene ed integrati all interno di un WebService che definisce un motore di ricerca integrato e performante. 1 Marco Rossetti rossetti@disco.unimib.it SOLR 2 / 25

3 SOLR: Caratteristiche Le principali caratteristiche di SOLR, oltre a quanto già fornito da Lucene, sono: Gestione del sistema tramite API (REST) Gestione di più indici nello stesso Search Engine (Multi-Core) Utilizzo dei formati standard di comunicazione HTTP, XML, JSON, etc Amministrazione tramite interfaccia grafica Web Indicizzazione di documenti tramite richieste REST Esecuzione delle ricerche tramite invocazione di URLs Gestione della replica degli indici e delle ricerche distribuite (distributed-indexes, cloud search, etc) Marco Rossetti rossetti@disco.unimib.it SOLR 3 / 25

4 Estensione di Lucene Core Oltre all indice e le caratteristiche di Lucene, SORL include: Configurazione dell indice tramite files XML Associazione dinamica degli analizzatori ai campi dei documenti Gestione semplificata delle ricerche con Facets Inclusione di Risultati Simili e Spell-Cheking Gestione avanzata del caching degli indici/ricerche/risultati Effetto Evidenziatore per i frammenti di testo reperiti Gestione multi-campo automatica delle query (estensione della sintassi di Lucene) Gestione ricerche di documenti con dati geografici (latitudine/longitudine e poligoni)... Marco Rossetti rossetti@disco.unimib.it SOLR 4 / 25

5 Configurazione di SOLR Il search engine SOLR viene configurato (principalmente) da due files: schema.xml e solrconfig.xml presenti all interno di una directory che ne rappresenta il core (o collezione) configurato schema.xml Permette di specificare la struttura dell indice e quali sono i campi (e come deve avvenire la loro analisi) dei documenti: solrconfig.xml Permette di configurare i diversi parametri delle API esposte da SOLR Marco Rossetti rossetti@disco.unimib.it SOLR 5 / 25

6 Configurazione di SOLR Il search engine SOLR viene configurato (principalmente) da due files: schema.xml e solrconfig.xml presenti all interno di una directory che ne rappresenta il core (o collezione) configurato schema.xml Permette di specificare la struttura dell indice e quali sono i campi (e come deve avvenire la loro analisi) dei documenti: solrconfig.xml Permette di configurare i diversi parametri delle API esposte da SOLR Marco Rossetti rossetti@disco.unimib.it SOLR 5 / 25

7 Schema.xml Il file schema.xml è un file la configurazione per: fields Vengono qui configurati i campi dei documenti: nome, tipo e altri parametri (campi non configurati daranno luogo ad errori durante la fase di indicizzazione) copyfield Vengono specificati dei campi il cui contenuto è il risultato del concatenamento del testo di altri campi types Vengono definite le tipologie di campi, la loro analisi (sia in fase di indicizzazione che di ricerca) uniquerkey Specifica quale campo dei documenti deve essere trattato come attributo identificativo ed univoco dei documenti (usato per le operazioni di aggiornamento e sincronizzazione degli indici) Documentazione SOLR: Marco Rossetti rossetti@disco.unimib.it SOLR 6 / 25

8 Schema.xml Il file schema.xml è un file la configurazione per: fields Vengono qui configurati i campi dei documenti: nome, tipo e altri parametri (campi non configurati daranno luogo ad errori durante la fase di indicizzazione) copyfield Vengono specificati dei campi il cui contenuto è il risultato del concatenamento del testo di altri campi types Vengono definite le tipologie di campi, la loro analisi (sia in fase di indicizzazione che di ricerca) uniquerkey Specifica quale campo dei documenti deve essere trattato come attributo identificativo ed univoco dei documenti (usato per le operazioni di aggiornamento e sincronizzazione degli indici) Documentazione SOLR: Marco Rossetti rossetti@disco.unimib.it SOLR 6 / 25

9 Schema.xml Il file schema.xml è un file la configurazione per: fields Vengono qui configurati i campi dei documenti: nome, tipo e altri parametri (campi non configurati daranno luogo ad errori durante la fase di indicizzazione) copyfield Vengono specificati dei campi il cui contenuto è il risultato del concatenamento del testo di altri campi types Vengono definite le tipologie di campi, la loro analisi (sia in fase di indicizzazione che di ricerca) uniquerkey Specifica quale campo dei documenti deve essere trattato come attributo identificativo ed univoco dei documenti (usato per le operazioni di aggiornamento e sincronizzazione degli indici) Documentazione SOLR: Marco Rossetti rossetti@disco.unimib.it SOLR 6 / 25

10 Schema.xml Il file schema.xml è un file la configurazione per: fields Vengono qui configurati i campi dei documenti: nome, tipo e altri parametri (campi non configurati daranno luogo ad errori durante la fase di indicizzazione) copyfield Vengono specificati dei campi il cui contenuto è il risultato del concatenamento del testo di altri campi types Vengono definite le tipologie di campi, la loro analisi (sia in fase di indicizzazione che di ricerca) uniquerkey Specifica quale campo dei documenti deve essere trattato come attributo identificativo ed univoco dei documenti (usato per le operazioni di aggiornamento e sincronizzazione degli indici) Documentazione SOLR: Marco Rossetti rossetti@disco.unimib.it SOLR 6 / 25

11 Schema.xml: Fields La sezione <fields> può contenere uno o più elementi <field>, che a loro volta, tramite i seguenti parametri, specificano come un campo deve essere gestito da SOLR: name Il nome del campo :obbligatorio type Il tipo del campo come specificato nella sezione <types> :obbligatorio indexed Indica se il campo deve essere ricercabile nell indice stored Indica se il campo deve essere memorizzato nell indice docvalues Indica se è un campo di tipo DocValue multivalued Specifica se il campo può essere ripetuto in un documento required Specifica se il campo è obbligatorio Marco Rossetti rossetti@disco.unimib.it SOLR 7 / 25

12 Schema.xml: Fields La sezione <fields> può contenere uno o più elementi <field>, che a loro volta, tramite i seguenti parametri, specificano come un campo deve essere gestito da SOLR: name Il nome del campo :obbligatorio type Il tipo del campo come specificato nella sezione <types> :obbligatorio indexed Indica se il campo deve essere ricercabile nell indice stored Indica se il campo deve essere memorizzato nell indice docvalues Indica se è un campo di tipo DocValue multivalued Specifica se il campo può essere ripetuto in un documento required Specifica se il campo è obbligatorio Marco Rossetti rossetti@disco.unimib.it SOLR 7 / 25

13 Schema.xml: Fields La sezione <fields> può contenere uno o più elementi <field>, che a loro volta, tramite i seguenti parametri, specificano come un campo deve essere gestito da SOLR: name Il nome del campo :obbligatorio type Il tipo del campo come specificato nella sezione <types> :obbligatorio indexed Indica se il campo deve essere ricercabile nell indice stored Indica se il campo deve essere memorizzato nell indice docvalues Indica se è un campo di tipo DocValue multivalued Specifica se il campo può essere ripetuto in un documento required Specifica se il campo è obbligatorio Marco Rossetti rossetti@disco.unimib.it SOLR 7 / 25

14 Schema.xml: Fields La sezione <fields> può contenere uno o più elementi <field>, che a loro volta, tramite i seguenti parametri, specificano come un campo deve essere gestito da SOLR: name Il nome del campo :obbligatorio type Il tipo del campo come specificato nella sezione <types> :obbligatorio indexed Indica se il campo deve essere ricercabile nell indice stored Indica se il campo deve essere memorizzato nell indice docvalues Indica se è un campo di tipo DocValue multivalued Specifica se il campo può essere ripetuto in un documento required Specifica se il campo è obbligatorio Marco Rossetti rossetti@disco.unimib.it SOLR 7 / 25

15 Schema.xml: Fields La sezione <fields> può contenere uno o più elementi <field>, che a loro volta, tramite i seguenti parametri, specificano come un campo deve essere gestito da SOLR: name Il nome del campo :obbligatorio type Il tipo del campo come specificato nella sezione <types> :obbligatorio indexed Indica se il campo deve essere ricercabile nell indice stored Indica se il campo deve essere memorizzato nell indice docvalues Indica se è un campo di tipo DocValue multivalued Specifica se il campo può essere ripetuto in un documento required Specifica se il campo è obbligatorio Marco Rossetti rossetti@disco.unimib.it SOLR 7 / 25

16 Schema.xml: Fields La sezione <fields> può contenere uno o più elementi <field>, che a loro volta, tramite i seguenti parametri, specificano come un campo deve essere gestito da SOLR: name Il nome del campo :obbligatorio type Il tipo del campo come specificato nella sezione <types> :obbligatorio indexed Indica se il campo deve essere ricercabile nell indice stored Indica se il campo deve essere memorizzato nell indice docvalues Indica se è un campo di tipo DocValue multivalued Specifica se il campo può essere ripetuto in un documento required Specifica se il campo è obbligatorio Marco Rossetti rossetti@disco.unimib.it SOLR 7 / 25

17 Schema.xml: Fields La sezione <fields> può contenere uno o più elementi <field>, che a loro volta, tramite i seguenti parametri, specificano come un campo deve essere gestito da SOLR: name Il nome del campo :obbligatorio type Il tipo del campo come specificato nella sezione <types> :obbligatorio indexed Indica se il campo deve essere ricercabile nell indice stored Indica se il campo deve essere memorizzato nell indice docvalues Indica se è un campo di tipo DocValue multivalued Specifica se il campo può essere ripetuto in un documento required Specifica se il campo è obbligatorio Marco Rossetti rossetti@disco.unimib.it SOLR 7 / 25

18 Schema.xml: Fields (example) Il seguente codice specifica un campo di nome id di tipo string, il campo è obbligatorio e non può apparire più volte in un documento. <field name=id" type="string" indexed="true" stored="true" required="true" multivalued="false" /> Il tipo string è uno dei tipi di campo definiti nella sezione <types> del file schema.xml Marco Rossetti rossetti@disco.unimib.it SOLR 8 / 25

19 Schema.xml: DynamicField SOLR permette di configurare dei campi senza indicare l esatto nome; i dynamicfield permettono di specificare un matching con il quale identificare un campo Gli attributi di questi campi sono gli stessi che possono essere definiti per i campi standard (stored, indexed, etc..) Il loro nome può contenere il carattere * (all inizio o alla fine del nome) per il matching dei nomi dei campi tramite prefissi o suffissi Nel caso di matching con più campi dinamici, SOLR prende in considerazione il campo con il nome più lungo Marco Rossetti rossetti@disco.unimib.it SOLR 9 / 25

20 Schema.xml: DynamicField SOLR permette di configurare dei campi senza indicare l esatto nome; i dynamicfield permettono di specificare un matching con il quale identificare un campo Gli attributi di questi campi sono gli stessi che possono essere definiti per i campi standard (stored, indexed, etc..) Il loro nome può contenere il carattere * (all inizio o alla fine del nome) per il matching dei nomi dei campi tramite prefissi o suffissi Nel caso di matching con più campi dinamici, SOLR prende in considerazione il campo con il nome più lungo Marco Rossetti rossetti@disco.unimib.it SOLR 9 / 25

21 Schema.xml: DynamicField SOLR permette di configurare dei campi senza indicare l esatto nome; i dynamicfield permettono di specificare un matching con il quale identificare un campo Gli attributi di questi campi sono gli stessi che possono essere definiti per i campi standard (stored, indexed, etc..) Il loro nome può contenere il carattere * (all inizio o alla fine del nome) per il matching dei nomi dei campi tramite prefissi o suffissi Nel caso di matching con più campi dinamici, SOLR prende in considerazione il campo con il nome più lungo Marco Rossetti rossetti@disco.unimib.it SOLR 9 / 25

22 Schema.xml: DynamicFields (example) Il seguente codice configura SOLR in modo da gestire tutti i campi il cui nome termina con txt (nome txt, testo txt,..) come text general. Il tipo text general è uno dei tipi di campo definiti nella sezione <types> del file schema.xml <dynamicfield name="*_txt" type="text_general" indexed="true" stored="true" multivalued="true"/> Marco Rossetti rossetti@disco.unimib.it SOLR 10 / 25

23 Schema.xml: CopyFields SOLR permette di concatenare il contenuto di un campo (source) in un un campo destinazione (dest) tramite l uso di CopyFields. Questo permette di ottenere, per esempio, un campo contenente il testo di più campi diversi. Esempio: <copyfield source="descrizione" dest="text"/> <copyfield source="abstract" dest="text"/> <copyfield source="prefazione" dest="text"/> Marco Rossetti rossetti@disco.unimib.it SOLR 11 / 25

24 Schema.xml: Types Nella sezione <types> vengono descritti, tramite gli elementi <fieldtype> i tipi di campi e l analisi che deve essere eseguita (ad index time e/o a query time) per il loro contenuto. I due parametri richiesti per un fieldtype sono: name Stringa che identifica il nome del tipo del campo class La classe SOLR/Lucene del campo (solr.strfield, solr.boolfield, solr.textfield, etc..) Altri parametri sono dipendenti dalla classe specificata. Marco Rossetti rossetti@disco.unimib.it SOLR 12 / 25

25 Schema.xml: FieldTypes (example) Esempio di tipi di campo di SOLR: <fieldtype name="string" class="solr.strfield" sortmissinglast="true" /> Viene definito un tipo di campo dal nome string, corrispondente al tipo StringField di Lucene. Il parametro sortmissinglast=true specifica come ordinare i documenti nei quali quel campo non è presente (in questo caso i documenti senza quel campo saranno mostrati dopo i documenti in cui quel campo è valorizzato) Marco Rossetti rossetti@disco.unimib.it SOLR 13 / 25

26 Schema.xml: FieldType e solr.textfield La classe solr.textfield permette di specificare quali analizzatori devono essere impiegati nel corso dei processi di indicizzazione e di ricerca per un determinato tipo di campo (simile al funzionamento del PerFieldAnalyzerWrapper) Gli analizzatori da utilizzare ad index/query -time vengono specificati come sotto-elementi di fieldtype: <fieldtype name="..." class="solr.textfield"> <analyzer type="index">... </analyzer> <analyzer type="query">... </analyzer> </fieldtype> Marco Rossetti rossetti@disco.unimib.it SOLR 14 / 25

27 Schema.xml: Analyzers Un analizzatore viene configurato definendo il flusso dei tokens dal Tokenizer (<tokenizer>) all insieme dei TokenFilters (<filter>). SOLR utilizza delle classi Factory per incapsulare le classi di analisi standard di Lucene. Esempio: <analyzer type="query"> <tokenizer class="solr.standardtokenizerfactory"/> <filter class="solr.stopfilterfactory" ignorecase="true" words="stopwords.txt" /> <filter class="solr.lowercasefilterfactory"/> </analyzer> Documentazione SOLR: http: //wiki.apache.org/solr/analyzerstokenizerstokenfilters Marco Rossetti SOLR 15 / 25

28 Solrconfig.xml Il file Solrconfig.xml permette di configurare il comportamento del server SOLR in tutte le sue parti: Memorizzazione e salvataggio indici Distribuzione e sincronizzazione dei server SOLR Funzioni esposte tramite REST e loro configurazione Tipologie delle query eseguite e loro configurazione (diverse estensioni del QueryParser di Lucene) Documentazione SOLR: Marco Rossetti rossetti@disco.unimib.it SOLR 16 / 25

29 Comunicazione con SOLR Il server SOLR permette di interagire con l indice Lucene tramite l invocazione di alcune richieste REST, specificate nel file solrconfig.xml sotto la dicitura RequestHandler. Un RequestHandler si occupa di gestire l invocazione delle funzionalità di SOLR tramite URL e include: Esecuzione delle query ( /select, etc..) 2 Gestione dei documenti ( /update) 3 Manipolazione e analisi dello Schema.xml ( /schema) Marco Rossetti rossetti@disco.unimib.it SOLR 17 / 25

30 Comunicazione con SOLR Il server SOLR permette di interagire con l indice Lucene tramite l invocazione di alcune richieste REST, specificate nel file solrconfig.xml sotto la dicitura RequestHandler. Un RequestHandler si occupa di gestire l invocazione delle funzionalità di SOLR tramite URL e include: Esecuzione delle query ( /select, etc..) 2 Gestione dei documenti ( /update) 3 Manipolazione e analisi dello Schema.xml ( /schema) Marco Rossetti rossetti@disco.unimib.it SOLR 17 / 25

31 Comunicazione con SOLR Il server SOLR permette di interagire con l indice Lucene tramite l invocazione di alcune richieste REST, specificate nel file solrconfig.xml sotto la dicitura RequestHandler. Un RequestHandler si occupa di gestire l invocazione delle funzionalità di SOLR tramite URL e include: Esecuzione delle query ( /select, etc..) 2 Gestione dei documenti ( /update) 3 Manipolazione e analisi dello Schema.xml ( /schema) Marco Rossetti rossetti@disco.unimib.it SOLR 17 / 25

32 Query con SOLR Per l esecuzione di una ricerca con SOLR: Invocare la corretta API ed indicare la query da eseguire Impostare il formato di ritorno (XML, JSON,..) Definire eventuali altri parametri della ricerca: Facets Highlighting Suggerimenti MoreLikeThis Tipo di query (lucene, dismax, edismax,..) Marco Rossetti rossetti@disco.unimib.it SOLR 18 / 25

33 Installazione di SOLR Per provare SOLR è conveniente utilizzare gli esempi forniti nel pacchetto di installazione del server stesso (è richiesta la VM di Java). SOLR include un server Jetty preconfigurato per l esecuzione del search-server. 1 Eseguire il download di SOLR (versione = 4.5) 2 Estrarre il contenuto del pacchetto in una cartella (es. /solr) 3 Configurare SOLR modificando i files nella cartella: /solr/example/solr/collection1/conf 4 Eseguire il server SOLR con il comandi: cd /solr/example java -jar start.jar 5 Ora SOLR è in esecuzione all indirizzo: Marco Rossetti rossetti@disco.unimib.it SOLR 19 / 25

34 Gestione di SOLR Il server SOLR mette a disposizione una interfaccia grafica per la gestione degli indici e delle loro configurazioni. Accedere alla pagina per visualizzare il sistema di gestione. Marco Rossetti rossetti@disco.unimib.it SOLR 20 / 25

35 Solr Admin: Dashboard Marco Rossetti SOLR 21 / 25

36 Solr Admin: Core Overview Marco Rossetti SOLR 22 / 25

37 Solr Admin: Schema Browser Marco Rossetti SOLR 23 / 25

38 Solr Admin: Core Search Marco Rossetti SOLR 24 / 25

39 Documentazione La principale documentazione di SOLR è reperibile online sul sito ufficiale, altri riferimenti utili per SOLR sono i seguenti: Sito ufficiale SOLR: SearchHub: LucidWorks LuceneRevolutions Marco Rossetti rossetti@disco.unimib.it SOLR 25 / 25