Indice. Che problemi risolve Lucene Consigli di integrazione Soluzioni scalabili. Javaday IV Roma 30 gennaio 2010

Transcript

1 Indice Che problemi risolve Lucene Consigli di integrazione Soluzioni scalabili

2 Sanne Grinovero Contributi open source Hibernate - Infinispan - jboss.org/infinispan Lucene - lucene.apache.org Lavoro presso Sourcesense

3 Chi cerca non sa cosa sta cercando: non è in grado di inserire l'id dell'oggetto che desidera recuperare non conosce il contenuto esatto del documento Interfaccia tipica: Form a campo unico Form complesse con molti campi

4

5 Soluzione improvvisata

6 Limiti di una LIKE, requisiti probabili Performance Di una Like %term% hybernate ~ hibernate? Approssimazione fonetica Similitudine Java Day ~ GiavaDéi Rilevanza Sinonimi, acronimi JPA ~ Java Persistence API

7 Rilevanza Useresti Google se ti restituisse i link in ordine alfabetico?

8 Questo proprio non funziona...

9 Riferimenti Lucene Lucene Java, non solo nella top 10 dei più scaricati

10 Un'applicazione Necessita di un indice Su disco In memoria... Formato da elementi immutabili Ottimizza la ricerca, non la modifica Un mondo fatto di stringhe e frequenze

11 Più una stringa è comune, meno è significativa:

12 Differenze strutturali

13 Problema di sincronizzazione

14 Un Documento Lucene, risultato di una query fulltext, assomiglia ad una Map<String,String> Un modello Hibernate è composto da entità strutturate, è designato per essere funzionale come business model. I valori di ritorno di Query JPA/Hibernate sono gestiti dal persistence manager: modifiche sincronizzate al commit Si devono mappare dati strutturalmente diversi.

15 Hibernate Search

16 Integrazione di Hibernate Search Come si integra Hibernate Search in un progetto Hibernate/JPA: Aggiungere hibernate-search al classpath <dependency> <groupid>org.hibernate</groupid> <artifactid>hibernate search</artifactid> <version>3.1.1.ga</version> </dependency>

17 Integrazione di Hibernate Search Il resto è opzionale: Dove mettere l'indice Estensioni Parametri per le performance Mapping più sofisticati Clustering...

18 Hibernate Search: public class Essay public Long getid() { return id; } public String getsummary() { return summary; public String gettext() { return text; public Author getauthor() { return author; }...

19 Hibernate public class Essay public Long getid() { return id; } public String getsummary() { return summary; public String gettext() { return text; public Author getauthor() { return author; }...

20 Hibernate public class Essay public Long getid() { return id; public String getsummary() { return summary; public String gettext() { return text; public Author getauthor() { return author; }...

21 Hibernate public class Essay public Long getid() { return id; public String getsummary() { return @Boost(0.8) public String gettext() { return text; public Author getauthor() { return author; }...

22 Hibernate public class Essay public Long getid() { return id; public String getsummary() { return @Boost(0.8) public String gettext() { return public Author getauthor() { return author; }...

23 Hibernate Search: ricerche String[] productfields = {"summary", "author.name"}; QueryParser parser = new MultiFieldQueryParser(productFields, new StandardAnalyzer() ); Query lucenequery = parser.parse(searchquery); FullTextEntityManager ftem = Search.getFullTextEntityManager(entityManager); FullTextQuery query = ftem.createfulltextquery(lucenequery,product.class ); List<Essay> items = query.setmaxresults(100).getresultlist(); int totalnbrofresults = query.getresultsize();

24 Hibernate @AnalyzerDef(name = "italiananalyzer",tokenizer = = = SnowballPorterFilterFactory.class, params = {@Parameter(name = "language", value = "Italian")}) }) public class Book = "italiananalyzer") private String title;...

25 Hibernate Search: filters

26 Hibernate @FullTextFilterDefs( = "prodottodisponibile", impl = ProdDisponibileFilter.class, cache = = "security", impl = SecurityFilterFactory.class, cache = FilterCacheModeType.INSTANCE_AND_DOCIDSETRESULTS) }) public class Prodotto {...

27 Hibernate Search: ricerche FullTextQuery ftquery = s // s è di tipo FullTextSession.createFullTextQuery( query, Prodotto.class ); ftquery.enablefulltextfilter( "bestdriver"); ftquery.enablefulltextfilter( "security").setparameter( "login", "andre" ); List<Prodotto> risultati = ftquery.list();

28 Hibernate Search: ricerche fulltextsession.createindexer( Object.class ).threadsforsubsequentfetching( 8 ).threadstoloadobjects( 4 ).batchsizetoloadobjects( 30 ).startandwait();

29 Hibernate Search: Automatic Index optimization

30 Master/Slave clustering

31 Riferimenti per Hibernate Search search.hibernate.org Blog: in.relation.to Forum: forum.hibernate.org (sezione Search)

32 Solr Solr è un server standalone basato su Lucene XML, Rest Scaling: sharding Replicazione Combinazione: sharding e replicazione

33 Solr replication

34 Sharding semplice L'indice viene suddiviso Dimensioni gestibili Scoring alterati Unico filtro ottimale

35 Sharding su più nodi

36 Indici mutevoli Alcune applicazioni necessitano di aggiustare frequentemente l'indice: Eclipse type search Ogni sito 2.0 Alfresco Alfresco in cluster? JIRA JIRA in cluster?

37 Clustering tramite Infinispan

38 Infinispan Lucene Directory: shared DB store

39 Infinispan Lucene Directory: disk persistence

40 Gestire Infinispan Si possono aggiungere nuovi nodi, togliere nodi: l'indice si ridistribuisce. Non c'è un single-point of failure Autodiscovery, i nodi del cluster si associano in automatico Anche sulle cloud: accendi n nodi, attiva il bilanciamento elastico, usa CloudStore per i backup.

41 Infinispan Manik Surtani, Project lead di Infinispan Presenta Infinispan al JavaDay : oggi alle 11:50 Infinispan, data grids and data storage in the cloud

42 Q&A Domande? twitter.com/sannegrinovero

43 Grazie per l'attenzione! twitter.com/sannegrinovero