Indicizzazione di documenti testuali

Transcript

1 Indicizzazione di documenti testuali

2 Generazione di un archivio di Documenti Testuali E eseguita off-line necessaria per accelerare il reperimento dei documenti E un processo che esegue le seguenti attività: Localizzazione : inserimento dei documenti nella collezione manuale, semiautomatica, automatica Decodifica Formato: Riduzione del documento a stringhe Indicizzazione : Produce una sintesi del contenuto informativo dei documenti Generazione di struttura dati opportuna : Memorizza in una struttura dati gli indici e i riferimenti ai documenti

3 Come rappresentare i documenti? Tipicamente l indicizzazione genera un insieme di termini indice (possibilmente pesati) come elementi base della rappresentazione formale di un documento (o di una query). Nell IR testuale gli indici possono essere: 1. parole automaticamente estratte dal documento; 2. radici di parole (per esempio class-) automaticamente estratte dal documento. Questa opzione è la più frequente; 3. frasi (ad esempio classificazione di processi industriali ) automaticamente estratte dal documento. Questo tipo di indici non hanno dato risultati migliori di 1 e 2; 4. parole (o frasi) estratte da un vocabolario controllato; 5. (in modo addizionale) metadati (ad esempio titolo, autori, data di creazione ecc. )

4 Indicizzazione automatica di documenti testuali L indicizzazione automatica (automatic indexing) di un documento testuale è il processo che esamina automaticamente gli oggetti informativi che compongono il documento e, utilizzando degli algoritmi appositi, produce una lista di termini indice (index terms). Questa lista può essere utilizzata per una rappresentazione più compatta del contenuto informativo del documento di partenza. Tipicamente: indicizzazione full-text. I termini indice sono utilizzati come surrogati per la rappresentazione del documento originale e, quindi, possono essere utilizzati al suo posto durante la fase di recupero. L uso degli indici semplifica e accelera il recupero (esempio: indice analitico di un libro).

5 Schema del processo di indicizzazione automatica di documenti testuali INPUT OUTPUT Documenti testuali originali Documenti in formato digitale Indicizzazione automatica Termini indice MODULO DI INDICIZZAZIONE Documenti in formato digitale

6 Indicizzazione: output Matrice sparsa! (presenza di molti 0 in ogni colonna) I pesi w possono essere binari o valori reali o interi positivi: sono calcolati in fase di indicizzazione

7 Indicizzazione: esaustività e specificità Finalità: Rappresentare il contenuto semantico di un documento con due obbiettivi: esaustività: assegnare un grande numero di termini indice specificità : termini generici: non sono adatti a distinguere i documenti rilevanti da quelli irrilevanti termini specifici: permettono di reperire pochi documenti, ma la maggior parte di questi è rilevante Modalità: estrazione diretta dal documento intero (full text) o mediante l utilizzo di fonti esterne (es: dizionari controllati) Tecniche associative (tesauri, pseudo-tesauri, clustering)

8 Linguaggio di indicizzazione E il linguaggio usato per descrivere i documenti e le query è definito su un insieme di simboli (Vocabolario) Termini indice sottoinsiemi di parole selezionate per rappresentare i contenuti del documento Derivate dal testo o associate indipendentemente Analisi statistica dei documenti basata sulla frequenza delle occorrenze dei termini nel testo dei documenti Pro - automatizzata, efficiente Contro - potenzialmente inaccurata Ricerca basata su parole chiave liberamente specificate dall utente Ricerca basata su un vocabolario controllato

9 Considerazioni sulla frequenza dei termini Termini funzionali es., "and", "or", "of", "but", la frequenza di questi termini è alta in tutti i documenti Termini indicatori del contenuto parole che identificano i contenuti del documento hanno frequenza variabile nei documento della collezione la loro frequenza è indicativa dell importanza del termine nel rappresentare il contenuto del documento

10 Frequenza dei termini in relazione a Richiamo e Precisione favoriscono il richiamo: i termini ad alta frequenza Tecniche associative di espansione degli indici (tesauri, clustering) la precisione alta è data dalla capacità dell indicizzazione di distinguere i contenuti dei documenti i termini con frequenza elevata servono a favorire la precisione quando la loro frequenza non è alta in tutti i documenti della collezione.

11 Fasi del Processo di Indicizzazione Documenti Analisi Lessicale Eliminazione Stopwords stemming Le fasi del processo di indicizzazione automatica che devono essere attuate in sequenza: 1. Analisi lessicale e selezione delle parole 2. Rimozione delle parole molto comuni o stop-words 3. Riduzione delle parole originali alle rispettive radici semantiche 4. Eventuale pesatura degli elementi dell indice (significatività) 5. Creazione dell indice I sistemi commerciali per il recupero delle informazioni non implementano necessariamente tutte queste funzionalità. Termini indice

12 Analisi lessicale e selezione delle parole E il processo di trasformazione di un flusso di caratteri di input (il testo originario del documento) in un flusso di parole (o tokens ), ovvero in una sequenza di caratteri portatore di uno specifico significato. Nel testo le parole possono essere facilmente identificate grazie alla presenza di spazi, a capo, segni di interruzione, ecc

13 Collezione di documenti: un esempio ID documento Contenuto testuale del documento D 1 Università degli Studi di Bologna. Facoltà di Lettere e Filosofia Corso di laurea in SCIENZE della COMUNICAZIONE D 2 D 3 Libera Università di Lingue Comunicazione IULM; Facoltà di SCIENZE della COMUNICAZIONE e dello Spettacolo Corso di laurea in SCIENZE della COMUNICAZIONE Università degli Studi di Padova Facoltà di Lettere e Filosofia: Corso di laurea: SCIENZE della COMUNICAZIONE

14 Collezione di documenti: un esempio Es: Parole estratte dai documenti (spazi ; :.) D 1 : università degli studi di bologna facoltà di lettere e filosofia corso di laurea in scienze della comunicazione D 2 : libera università di lingue e comunicazione iulm facoltà di scienze della comunicazione e dello spettacolo corso di laurea in scienze della comunicazione D 3 : università degli studi di padova facoltà di lettere e filosofia corso di laurea scienze della comunicazione

15 Riconoscimento di parole (token) Es: Parole estratte dai documenti (spazi ; :. ) Scelte euristiche: aren t aren t, arent,? O Neill Oneill, O Neill? coeditor coeditor, co editor? Hewlett-Packard HewlettPackard, Hewlett Packard? lower case = lowercase? Particolari sequenze: address: carlo@tin.it URL: Progr. Languages: C++, FORTRAN 90 IP addresses: nomi composti: Volo Los Angeles-San Francisco Volo Los AngelesSan Francisco? - co-editor coeditor NB: si usa lo stesso criterio anche per le query Dipende dalla lingua ad esempio in cinese le parole non sono separate da blank segmentazione di parole mediante uso di vocabolario

16 NORMALIZZAZIONE Conversione in lettere minuscole eliminazione simboli diacritici Normalizzazione date Normalizzazione nomi : Usa usa naïve naive March 1 st /01/07 Bejing peking

17 Rimozione delle Stopword Le parole molto frequenti nell insieme di tutti i documenti portano poca informazione sul contenuto dei singoli documenti. Ad es: computer in una collezione di informatica Tali parole, stop-word, possono essere eliminate dalla lista dei token. Metodi: 1.Analisi statistica frequenza dei termini nella collezione e eliminazione dei termini con basso potere discriminante 2.Termini funzionali (articoli, preposizioni, verbi ausiliari) sono Parole molto frequenti nella lingua in cui sono scritti i documenti 3.note a priori indipendentemente dalla collezione e raccolte in una tabella (stop list per l inglese termini) Ad es: been", a", about", otherwise, the L eliminazione delle stopword permette una riduzione tra il 30% e il 50% dei token Può diminuire la recall es: to be or not to be let it be vengono eliminate NB: La maggior parte dei WEB search engine non identificano le stopword

18 Rimozione delle Stopwords Per la lingua inglese è stata messa a punto una lista di circa 250 parole che sono considerate stop- word. stop- word dell esempio : DEGLI DI E IN DELLA DELLO Parole dell esempio che vengono considerate dopo l eliminazione delle stop-words D 1 : università studi bologna facoltà lettere filosofia corso laurea scienze Comunicazione D 2 : libera università lingue comunicazione iulm facoltà scienze comunicazione spettacolo corso laurea scienze comunicazione D 3 : università studi padova facoltà lettere filosofia corso laurea scienze comunicazione

19 Stemming: Riduzione delle parole alle rispettive radici semantiche L efficacia del retrieval aumenta se la query è espansa con i termini che hanno lo stesso significato di quelli contenuti in essa. Gli algoritmi di Stemming sono procedure di conflation (fusione) che riducono tutte le parole con stessa radice a una singola radice In molte lingue, parole che iniziano allo stesso modo (o che hanno delle sequenze di caratteri in comune) possono avere la stessa origine etimologica. Tali parole hanno un contenuto informativo molto simile. Generalmente rimuovono la parte finale delle parole riducendo tutte le parole affini ad un unica radice (in inglese stem). Es computer, computational, computing e computed comput Is are being am be paint painting painted painter paint Colour colours color different difference differ Computers are painted different colours comput be paint differ color Altri approcci sono basati sulla lemmatizzazione mediante sull uso di dizionari

20 Relazioni tra i termini indice Indicizzazione basata su termini singoli i termini singoli sono spesso ambigui. molti termini singoli sono o troppo specifici o troppo generici. Individuazione di indici composti esperti indicizzatori analisi linguistica (NLP) metodi di espansione dei termini mediante tesauri o clustering dei termini

21 Uso di tesauri per la risoluzione di sinonimia Un tesauro può essere: tematico; in questo caso è una mappa del lessico specifico di un certo dominio della conoscenza in un dato linguaggio; questo è il caso più frequente; generale; in questo caso è una mappa di un intero linguaggio. Per applicazioni di IR, sono stati sviluppati vari tipi di tesauro, tra cui tesauri gerarchici, tesauri clustered, e tesauri associativi.

22 Tesauri Gerachici Elenco classificato dei termini usati in un dato dominio della conoscenza RELAZIONI: sinonimia (RT) Related Term quasi-sinonimia: (UF) Use For Ex UF(hg, mercury (metal)), UF(planet Mercury,mercury (planet)). RELAZIONI DI GERARCHIA generalizzazione (BT) Broader Term specializzazione (NT) Narrower Term I tesauri gerarchici sono stati oggetto di standardizzazioni ISO e ANSI e sono quasi sempre tematici.

23 Clustered tesauri Un tesauro clustered è un grafo di gruppi (o cluster, o synset) di parole. Tra due gruppi collegati da un ramo esiste una correlazione semantica (tipicamente generica, cioè non tipizzata); ogni gruppo e un insieme di parole tra cui esiste una forte correlazione semantica (quasi-sinonimia). In WordNet, il più conosciuto tesauro «clustered» (costruito manualmente), la quasi-sinonimia è l unione di un insieme di relazioni: sinonimia ( stesso nome ; per esempio usa/utilizza); antonimia ( nome opposto ; per esempio pesante/leggero); iponimia ( sotto-nome ; per esempio elefante/animale); meronimia ( parte-nome ; e.g. orecchio/testa); troponimia ( maniera-nome ; e.g. correre/camminare); entailment, anche conosciuto come presupposizione (e.g. divorzio/sposare). I tesauri clustered possono essere generati automaticamente, ma solo nel caso in cui non è fatta alcuna distinzione tra i tipi differenti di relazioni semantiche;

24 Tesauri associativi Vantaggi: Possono essere costruiti in modo completamente automatico, a partire da una collezione di documenti. In questo caso la relazione semantica tra ti e tj rispecchia le caratteristiche della collezione, ed è basata sulla relazione di cooccorrenza (o co-assenza) tra ti e tj. Costruzione di un tesauro associativo : 1. Generazione di una matrice di similarità tra termini sij, usando una funzione appropriata; 2. Applicazione di una soglia z a questa matrice, in modo tale che sij è posto a 0 quando sij z; Il passo critico è ovviamente il Passo 1, per realizzare il quale sono state definite varie tecniche.

25 Analisi statistica dei testi: aumento della precisione Non tutte le parole di un documento lo descrivono con la stessa precisione. I termini indice possono essere assegnati ai documenti della collezione con un dato peso. Associando ai termini un peso si intende tenere conto della significatività (importanza) del termine nel documento. La funzione di pesatura tiene conto della frequenza del termine nel documento e nella collezione. Quando il peso è binario, ai termini viene assegnato: un peso = 1 se presenti in un documento e un peso = 0 se assenti; non si tiene conto della frequenza effettiva del termine nel documento, ma solo della sua eventuale presenza.

26 Indicizzazione con pesatura binaria documenti parole D 1 D 2 D 3 bologna comunicazione corso facoltà filosofia iulm laurea lettere libera lingue padova scienze spettacolo studi università 1 1 1

27 Indice con pesatura in base alla frequenza documenti parole D 1 D 2 D 3 bologna comunicazione corso facoltà filosofia iulm laurea lettere libera lingue padova scienze spettacolo studi università 1 1 1

28 Distribuzione della frequenza in Per ogni parola w funzione del rank f(w) è la frequenza con cui w compare nella collezione r(w) è l indice rank (posizione) di w nella lista ordinata in funzione decrescente di frequenza, es, la parola che appare più comunemente ha un indice di rank uguale a 1 f w ha un rank r e e frequenza f 6 r

29 Legge di Zipf 8 Se le parole w, in una collezione vengono ordinate r(w), in ordine decrescente di frequenza f(w), soddisfano la seguente relazione: r(w) * f(w) = c Collezioni differenti hanno costanti c diverse. Nei testi in lingua inglese, c tende a circa n / 10, ove n è il numero di parole nella collezione. vedi Zipf, G. K., Human Behaviour and the Principle of Least Effort. Adison-Wesley, 1949

30 Analisi di Luhn Potere discriminante delle parole significative (curva di Zipf): capacità delle parole di discriminare il contenuto dei documenti è massima nella posizione intermedia tra i due livelli di cut-off

31 Criteri di indicizzazione basati sull analisi di Luhn Pesatura dei Termini indice: le parole più frequenti assumono un peso di significatività più basso Stop list: Le parole più frequenti vengono eliminate dagli indici (cut-off superiore) Parole significative: Le parle più frequenti e meno frequenti vengono eliminate dagli indici (cut-off superiore e inferiore) 10

32 Significatività dei termini indice E una funzione composta da due fattori: w td = f td * Discr-value t f td frequenza del termine t in d è in relazione alla esaustività, fattore di recall Discr-value t è in relazione alla specificità, fattore di precisione

33 Inverse Document Frequency Inverse Document Frequency (IDF) del termine t j idf j = log N df j ove df j (frequenza del termine t j nei documenti) è il numero di documenti in cui t j appare e N il numero di documenti nella collezione Favorisce la precisione è alta se il termine appare in pochi documenti della collezione

34 Significatività dei termini indice Il peso w td del termine t in un documento d w td = tf td log N df t Dopo aver eliminato le parole funzionali si calcola w td per ogni termine t in ogni documento d Si assegnano ai documenti della collezione tutti i termini con valori alti di w td

35 Significatività dei termini indice normalizzazione rispetto alla lunghezza dei documenti La frequenza assoluta tf td di un termine t cresce con la lunghezza del documento d - Per questo il peso w itd del termine t in un documento d viene normalizzato wtd = tf td maxtf d N log df t maxtf d è la frequenza massima dei termini nel documento d Il primo fattore è la frequenza relativa del termine t in d

36 Conclusione: efficacia dei metodi di indicizzazione automatica Base: indicizzazione automatica basata su singoli termini Utilizzo di un tesauro tematico per raggruppare termini in un settore specifico +10% al +20% Uso di tesauri associativi (pseudo-tesauri) derivati automaticamente in una sottocollezione campione 0% al +10% Uso di frasi di termini ottenute sulla base delle cooccorrenze nei testi +5% al +10%