django-rdflib e PostgreSQL il meglio dei due mondi

Transcript

1 django-rdflib e PostgreSQL il meglio dei due mondi Ştefan Talpalaru

2 - uso Python/Django da 3 anni - Linux dal secolo scorso - utente Gentoo dal primo contatto - Fondatore e CTO di Odeon Consulting Group Pte Ltd

3 - RDF ricerca full-text django-fts-odeon django-rdflib BAMS

4 RDF

5 divide et impera

6 la tripla: soggetto - predicato - oggetto

7 l'abbreviazione di "terminal nerve" nella nomenclatura Swanson 2004 per ratto è 'tn'

8 "terminal nerve" - "nomenclature" - "Swanson 2004" "terminal nerve" - "species" - "ratto" "terminal nerve" - "abbreviation" - "tn"

9 "terminal nerve" - "abbreviation" - "tn"

10

11

12 i namespace sono zucchero sintattico bams = bams:abbreviation

13 "tn"

14 modello semplice, sistemi di stoccaggio semplici - triplestores

15 il quad: soggetto - predicato - oggetto - contesto

16 grafi etichettati - isolare una parte dei dati

17 ulteriori complicazioni col stoccaggio

18 ottimizzare le operazioni più frequente (come cercare i soggetti con un certo rdf:type)

19 indicizzare i singoli elementi e le coppie (per velocizzare le ricerche)

20 Full-text search

21 perché confrontare le stringhe non basta

22 stemming -> stem

23 algoritmi di stemming

24 PostgreSQL la versione Snowball dell'algoritmo di Porter

25 dizionari ortografici

26 Ispell, Hunspell

27 thesaurus - rimpiazzare frasi con parole

28 ordine flessibile dei termini di ricerca

29 bar foo foo bar

30 ordinamento per rilevanza

31 evidenziare i risultati

32 django-fts-odeon

33 fork di django-fts

34 ci interessa soltanto il back-end pgsql

35 una migliore integrazione con Django - manager personalizzato - i metodi fts ora sopravvivono al concatenamento - comando di management per l'aggiornamento degli indici

36 la capacità di evidenziare i risultati

37 from django.db import models import fts class Literals(fts.SearchableModel): lexical = models.textfield() search_objects = fts.searchmanager(fields=('lexical',))

38 Literals.search_objects.search('foo bar', rank_field='rank')

39 django-rdflib

40 - libreria in Python al 100% - da mettere in un repository git - funziona su configurazioni varie

41 dipendenze: - Django - PostgreSQL - South - pyparsing per il parser SPARQL - django-fts-odeon

42 fork di rdflib

43 rdflib sembrava non mantenuto, a quel tempo

44 gli sviluppatori hanno cominciato a rimuovere funzioni, invece di risolvere i problemi

45 prima sono venuti per SPARQL (ora in una libreria chiamata "rdfextras")

46 poi sono venuti per la maggior parte dei storage back-ends (compresi MySQL e PostgreSQL)

47 perchè usarla?

48 API di ricerca in python

49 non ci sono alternative migliori

50 più facile riparare/migliorare che riscrivere

51 integrazione con Django

52 la parte facile: riutilizzare la connessione al database

53 from rdflib.store.mysql import SQL from django.db import connection, transaction class PostgreSQL(SQL):... def _connect(self, db=none): return connection def commit(self): transaction.commit_unless_managed() def rollback(self): transaction.rollback_unless_managed()

54 la parte interessante: - usare una migrazione South per creare le tabelle - creare i modelli (non gestiti) per le tabelle di rdflib

55 from rdflib.term import Literal, URIRef, BNode, Variable from django_rdflib.utils import get_rdflib_store_graph store, graph = get_rdflib_store_graph()

56 triple1 = (URIRef(' URIRef(' Literal('obj1')) triple2 = (URIRef(' URIRef(' Literal('obj2')) graph.add(triple1) graph.add(triple2) graph.commit()

57 quad1 = (URIRef(' None, None, None ) quad2 = (URIRef(' None, None, None ) graph.removen([quad1, quad2])

58 lit_str = """foo Bar""" q = """ SELECT?s?p WHERE {?s?p \"""%s\""". } """ % (lit_str, ) for (s, p) in graph.query(q): pprint((s, p))

59 BAMS - brancusi1.usc.edu Brain Architecture Management System Mihail Bota - Associate Professor (Research) of Biological Sciences, University of Southern California

60 raccolta di dati neurobiologici da pubblicazioni scientifiche

61 PHP/MySQL -> Python/Django/PostgreSQL/RDF

62

63

64

65

66

67

68 Foundational Model of Connectivity (Swanson & Bota, 2010)

69

70

71

72

73 domande?

74