CORSO DI SISTEMI INFORMATIVI III

Transcript

1 CORSO DI SISTEMI INFORMATIVI III Indicizzazione di documenti testuali e di immagini Gloria Bordogna CNR IDPA Via Pasubio 5, c/o POINT, Dalmine (BG) gloria.bordogna@idpa.cnr.it

2 Come rappresentare i documenti? Tipicamente l indicizzazione genera degli indici come elementi base della rappresentazione formale di un documento (o di una query). Nell IR testuale gli indici possono essere: 1. Singoli Termini indice cioè parole automaticamente estratte dal documento, possibilmente pesate; 2. Radici di parole (per esempio class-) automaticamente estratte dal documento. Questa opzione è la più frequente; 3. Frasi (ad esempio classificazione di processi industriali ) automaticamente estratte dal documento. Questo tipo di indici non hanno dato risultati migliori di 1 e 2; 4. parole (o frasi) estratte da un vocabolario controllato; 5. (in modo addizionale) metadati (ad esempio titolo, autori, data di creazione ecc. ) 6.Concetti (estratti da un ontologia o individuati automaticamente per es. tramite Latent Semantic Analysis) 7. Rete semantica rappresentata da un grafo diretto etichettato

3 Metodi di Indicizzazione di documenti Insieme di termini o keywords (parole chiave) specificati da un esperto - metadati (Rappresentazione Controllata) più concisa qualità scadente del retrieval estratti automaticamente dall intero testo (Rappresentazione Full text) Dizionari Subject Codes più completa Tesauri costi computazionali alti Grosse collezioni documenti Selezione dell insieme di termini Eliminazione delle stop words Stemming Identificazione di frasi nominali Compressione Rappresentazione della struttura Capitoli, sezioni, sotto-sezioni, ecc.. Generazione di descrittori del testo a mano mediante analisi del testo

4 Indicizzazione: output Matrice sparsa! (presenza di molti 0 in ogni colonna) I pesi w possono essere binari, o valori reali o interi positivi: sono calcolati in fase di indicizzazione

5 Indicizzazione: esaustività e specificità Obbiettivi: esaustività: Per ogni indice l esaustività è definita dal numero di topic (argomenti) indicizzati specificità: l abilità di un indice di descrivere a fondo un argomento termini generici: non sono adatti a distinguere i documenti rilevanti da quelli irrilevanti termini specifici: permettono di reperire pochi documenti, ma la maggior parte di questi è rilevante Modalità: +specificità estrazione diretta dal documento intero (full text) o mediante l utilizzo di fonti esterne (es: dizionari controllati) +esaustività Tecniche associative (tesauri, pseudo-tesauri, clustering)

6 Frequenza dei termini in relazione a Recall e Precisione favoriscono il recall: i termini ad alta frequenza Tecniche associative di espansione degli indici (tesauri, clustering) la precisione alta è data dalla capacità dell indicizzazione di distinguere i contenuti dei documenti i termini ad alta frequenza servono a favorire la precisione quando la loro frequenza non è alta in tutti i documenti della collezione.

7 Fasi del Processo di Indicizzazione Documenti Analisi Lessicale Eliminazione Stopwords stemming Le fasi del processo di indicizzazione automatica che devono essere attuate in sequenza: 1. Analisi lessicale e selezione delle parole 2. Rimozione delle parole molto comuni o stop-words 3. Riduzione delle parole originali alle rispettive radici semantiche 4. Eventuale pesatura degli elementi dell indice (significatività) 5. Creazione dell indice I sistemi commerciali per il recupero delle informazioni non implementano necessariamente tutte queste funzionalità. Termini indice

8 Analisi lessicale e selezione delle parole E il processo di trasformazione di un flusso di caratteri di input (il testo originario del documento) in un flusso di parole (o tokens ), ovvero in una sequenza di caratteri portatore di uno specifico significato. Nel testo le parole possono essere facilmente identificate grazie alla presenza di spazi, a capo, segni di interruzione, ecc

9 Riconoscimento di parole (token) Es: Parole estratte dai documenti (spazi ; :. ) Scelte euristiche: aren t aren t, arent,? O Neill Oneill, O Neill? coeditor coeditor, co editor? Hewlett-Packard HewlettPackard, Hewlett Packard? lower case = lowercase? Particolari sequenze: address: carlo@tin.it URL: Progr. Languages: C++, FORTRAN 90 IP addresses: nomi composti: Volo Los Angeles-San Francisco Volo Los AngelesSan Francisco? - co-editor coeditor NB: si usa lo stesso criterio anche per le query Dipende dalla lingua ad esempio in cinese le parole non sono separate da blank segmentazione di parole mediante uso di vocabolario

10 NORMALIZZAZIONE Conversione in lettere minuscole eliminazione simboli diacritici Normalizzazione date Normalizzazione nomi : Usa usa naïve naive March 1 st /01/07 Bejing peking

11 Alternativa al riconoscimento di parole (tokens) Uso di brevi sequenze di caratteri (n-grams) utile per le lingue orientali elimina i possibili errori degli approcci euristici utile nel caso di multilingual IR 4-grams D1: università degli studi di bologna

12 Rimozione delle Stopwords Metodi: 1.Termini funzionali (articoli, preposizioni, verbi ausiliari) sono Parole molto frequenti nella lingua in cui sono scritti i documenti: Analisi statistica della frequenza dei termini nella collezione e eliminazione dei termini con basso potere discriminante 2.note a priori indipendentemente dalla collezione e raccolte in una tabella (stop list per l inglese termini) Ad es: been", a", about", otherwise, the Tali parole, stop-words, possono essere eliminate dalla lista dei token. L eliminazione delle stopword permette una riduzione tra il 30% e il 50% dei token Può diminuire la recall es: to be or not to be let it be vengono eliminate NB: La maggior parte dei WEB search engine non identificano le stopwords

13 Stemming: Riduzione delle parole alle rispettive radici semantiche L efficacia del retrieval aumenta se la query è espansa con i termini che hanno lo stesso significato di quelli contenuti in essa. Gli algoritmi di Stemming sono procedure di conflation (fusione) che riducono tutte le parole con stessa radice a una singola radice In molte lingue, parole che iniziano allo stesso modo (o che hanno delle sequenze di caratteri in comune) possono avere la stessa origine etimologica. Tali parole hanno un contenuto informativo molto simile. Generalmente rimuovono la parte finale delle parole riducendo tutte le parole affini ad un unica radice (in inglese stem). Es computer, computational, computing e computed comput paint painting painted painter paint Colour colours color different difference differ Computers are painted different colours comput ar paint differ color Altri approcci sono basati sulla lemmatizzazione mediante sull uso di dizionari

14 Scansione dei documenti (parsing) Associazione di un identificatore univoco a ogni documento e scansione del contenuto del documento: file contiene 0 o più documenti seguiti da un simbolo di EOF S --> <document> EOF. void Input(): int DocId = 0; d = new Document(DocId); (parsedocument(d) d.output(); ++DocId; d = new Document(DocId); )* <EOF>

15 Scansione dei documenti (parsing) Esempio: Il Documento consiste di una headline o dateline opzionali seguite dal testo. <document> (<headline> <dateline>) <text> <text> (<token_begin> <token> <token_end>)+ <token> <model> <acronym> <integer> <word> ecc. <Model>: ["a"-"z","a"-"z"] "-" (["0"-"9"])* Ex: F-16, C-25 <Acronym>: (["A"-"Z"]) (["A"-"Z"])* Ex: NCR, IBM, ecc. <Abbreviation>: (["A"-"Z"] ".")* Ex: U.S.A. <Word>: ["a"-"z","a"-"z"]( ["a"-"z","a"-"z" ])*> Ex: Big, big <Integer>: ["0"-"9"] (["0"-"9"])* > Ex: 123 <Decimal>: (["0"-"9"])* "." (["0"-"9"])+ > Ex:

16 Altre operazioni Compressione del testo per la riduzione dei tempi i trasmissione (tipico nell IR su web) Criptografia del testo per problemi di sicurezza e riservatezza delle informazioni Costruzione di categorie di termini e di documenti Uso o costruzione di tesauri e cluster di documenti per aumentare il richiamo del sistema di IR Identificazione di gruppi nominali parole la cui distanza nel testo non supera un valore di soglia. Es: information retrieval, computer science,

17 Relazioni tra i termini indice Indicizzazione basata su termini singoli i termini singoli sono spesso ambigui. Molti termini singoli sono o troppo specifici o troppo generici Individuazione di indici composti esperti indicizzatori analisi linguistica (NLP) metodi di espansione dei termini mediante tesauri o clustering dei termini

18 Uso di tesauri per la risoluzione di sinonimia Un tesauro può essere: tematico; in questo caso è una mappa del lessico specifico di una certa disciplina in un dato linguaggio; questo è il caso più frequente; generale; in questo caso è una mappa di un intero linguaggio. Per applicazioni di IR, sono stati sviluppati vari tipi di tesauro, tra cui : tesauri gerarchici, tesauri clustered, e tesauri associativi o pseudo-tesauri.

19 Tesauri Gerachici Elenco classificato dei termini usati in una disciplina: RELAZIONI: sinonimia (RT) Related Term quasi-sinonimia: (UF) Use For Es.: UF(hg, mercury (metal)), UF(planet Mercury,mercury (planet)). RELAZIONI DI GERARCHIA generalizzazione (BT) Broader Term specializzazione (NT) Narrower Term I tesauri gerarchici sono stati oggetto di standardizzazioni ISO e ANSI e sono quasi sempre tematici.

20 Tesaurigerarchiciin IR Uso per espandere la query per espandere gli indici dei documenti (indicizzazione manuale) Scopi normalizzazione uso di termini controllati Generalizzazione sostituzione con termini più generali Specificazione sostituzione con termini più specifici (disambiguazione) Espansione con termini correlati RT Svantaggi dei tesauri gerarchici: devono essere costruiti manualmente, da esperti nel dominio; una loro generazione automatica è molto difficile, poichè, una volta che un algoritmo ha stabilito che esiste una forte connessione semantica tra due termini, è molto difficile capire di quale tipo di relazione si tratti (NT, BT, RT, UF/USE); richiedono un aggiornamento costante (manuale), poichè nella maggior parte dei domini della conoscenza la terminologia è in evoluzione costante.

21 Tesauro di Arte e Architettura

22 Clustered tesauri Un tesauro clustered è un grafo di gruppi (o cluster, o synset) di parole. Ogni gruppo e un insieme di parole tra cui esiste una forte correlazione semantica (quasi-sinonimia). Tra due gruppi collegati da un ramo esiste una relazione semantica; ES: WordNet, costruito manualmente contiene circa 150,000 parole e circa 115,000 synsets; le parole hanno associato l ordine di polisemia (# synset); e solo legate da relazioni lessicali, Es: antonimia ( nome opposto ; per esempio pesante-leggero); iperonimia (per esempio animale-elefante); iponimia ( per esempio elefante-animale); meronimia ( parte-nome ; e.g. orecchio-testa); troponimia ( maniera-nome ; e.g. correre-camminare); implicazione, presupposizione (e.g. divorzio - sposare). I tesauri clustered possono essere generati automaticamente, in tal caso non è fatta alcuna distinzione tra i tipi differenti di relazioni semantiche.

23 ESEMPIO tratto da Wordnet

24 ESEMPIO tratto dal Tesauro clustered di Roget Class Indicator Entry Class Indicator Entry permission offer leave presentation 760 sanction tender allowance 763 overture tolerance advance authorization submission prohibition proposal veto proposition 761 disallowance invitation injunction refusal ban declining taboo 764 noncompliance consent rejection acquiescence denial 762 compliance agreement acceptance

25 Tesauri associativi o Pseudo-Tesauri Un tesauro associativo è un grafo di parole, i cui nodi rappresentano parole e i rami rappresentano una (generica) relazione di similarità semantica tra le due parole. I rami: possono essere o meno orientati, dipendentemente dal fatto che si assume che la relazione di similarità sia simmetrica o no; possono avere un peso numerico associato wij, che indica la forza dell associazione semantica (es fuzzy pseudo-tesauri).

26 Proprietà statistiche dei testi Quanto velocemente cresce il vocabolario all aumentare della dimensione del testo? determina la dimensione dell indice Com è distribuita la frequenza delle parole in un testo? caratterizza la significatività dei termini indice Come sfruttare queste proprietà per migliorare l efficienza e l efficacia di un sistema di IR?

27 Crescita del Vocabolario (legge di Heap) Come cresce il vocabolario (numero di parole singole) con la dimensione della collezione (Numero di documenti)? Non esiste un valore limite a causa dei nomi propri e errori tipografici. V = dimensione del Vocabolario e N =lunghezza della collezione in numero di parole Costanti: Crescita del vocabolario : V = KN β K β < β < 1

28 Frequenza delle parole Poche parole sono molto comuni Le 2 parole più frequenti ( the, of ) hanno un numero di occorrenze che è circa il 10% delle occorrenze totali delle parole in un testo inglese. La maggior parte delle parole sono rare. Metà delle parole in un corpus appaiono solo 1 volta. La distribuzione è detta heavy tailed

29 Legge di Zipf (1949) Distribuzione della frequenza in funzione del rank Per ogni parola w f(w) è il numero di occorrenze di w nel testo r(w) è l indice rank (posizione) di w nella lista ordinata in funzione decrescente di frequenza f(w), es. la parola che appare più spesso ha un indice di rank r(w) uguale a 1 f f 1 r f r = c ( c COSTANTE) w ha un rank r e e frequenza f 6 r

30 Legge di Zipf r(w) * f(w) = c se N è il numero totale di occorrenze delle parole in una collezione, la probabilità p r di occorrenza di una parola w con rank r : f A p r = = per una costante A = N r c N indipendente dal corpus Nei testi in lingua Inglese, A tende a circa Zipf, G. K., Human Behaviour and the Principle of Least Effort. Adison-Wesley, 1949 Li (1992) ha mostrato che stringhe random separate da spazi create manualmente generano parole con una distribuzione di Zipf.

31 Previsioni basate sull analisi della legge di Zipf r(w) * f(w) = c = A * N A=0.1 per l inglese, ove N è il numero di parole nella collezione. r=an/f # di parole con almeno f occorrenze r=an/(f+1) # di parole con almeno f+1 occorrenze r=an/f-an/(f+1)=an/(f(f+1)) # di parole con f occorrenze # Parole con almeno 1 occorrenza (f=1)(cioè il Vocabolario) AN # Parole con 1 sola occorrenza = AN/2 50% Vocabolario

32 Analisi statistica dei testi di Luhn Non tutte le parole di un documento lo descrivono con la stessa precisione. Luhn nel 1958 aveva enunciato che la frequenza con cui alcune parole compaiono in un testo forniscono un parametro importante della significatività delle parole. Inoltre la posizione di queste parole nelle frasi è un altro parametro importante che indica la significatività delle frasi. IDEA: I termini indice possono essere assegnati ai documenti della collezione con un dato peso. Associando ai termini un peso si intende tenere conto della significatività (importanza) del termine nel documento. La funzione di pesatura tiene conto della frequenza del termine nel documento e nella collezione.

33 Analisi di Luhn funzione di risoluzione delle parole : capacità delle parole di discriminare il contenuto dei documenti è massima nella posizione intermedia tra i due livelli di cut-offs

34 Criteri di indicizzazione basati sull analisi di Luhn l esaustività si può assumere essere legata al numero di termini indice assegnati ad un dato documento Richiamo la specificità invece al numero di documenti a cui un termine indice è assegnato in una collezione Precisione 10

35 Criteri di indicizzazione basati sull analisi di Luhn Alternative: Pesatura dei Termini indice: le parole più frequenti assumono un peso di significatività più basso Stop lists: Le parole più frequenti vengono eliminate dagli indici (cut-off superiore) Parole significative: Le parle più frequenti e meno frequenti vengono eliminate dagli indici (cut-off superiore e inferiore) 10

36 Significatività dei termini indice E una funzione composta da due fattori: w td =f td * Discr-value t f td frequenza del termine t in d è in relazione alla esaustività, fattore di recall Discr-value t è in relazione alla specificità, fattore di precisione

37 Inverse Document Frequency Inverse Document Frequency (IDF) del termine t j idf j = log N df j ove df j (frequenza del termine t j nei documenti) è il numero di documenti in cui t j appare e N il numero di documenti nella collezione Favorisce la precisione è alta se il termine appare in pochi documenti della collezione

38 Significatività dei termini indice Il peso w ij del termine t i in un documento d j w ij = tf ij log N df i Dopo aver eliminato le parole funzionali si calcola w ij per ogni termine t i in ogni documento d j Si assegnano ai documenti della collezione tutti i termini con valori alti di w ij

39 Significatività dei termini indice normalizzazione rispetto alla lunghezza dei documenti La frequenza assoluta tf ij di un termine t i cresce con la lunghezza del documento d j. Per questo il peso w ij del termine t i in un documento d j viene normalizzato w ij = tf ij maxtf j log N df i tfij w ij = log maxtf j maxtf j èla frequenza massima dei termini nel documento d j Il primo fattore èla frequenza relativa del termine t i in d j N dfi

40 Significatività dei termini indice normalizzazione in [0,1] Si normalizza anche IDF per calcolare gradi di significatività nell intervallo [0,1] w ij = tf ij maxtf j max log t T N df i log N df t

41 Significatività dei termini indice Pesatura Okapi BM25 Si normalizza anche IDF per calcolare gradi di significatività nell intervallo [0,1] wtd = ln N df t dft k1(1 b + ( k 1 + 1)tf td b(l( d ) / laverage)) + tftd k1 = 2.0 and b = l(d)= lunghezza in parole del documento d laverage= lunghezza media dei documenti della collezione D

42 Indicizzazione basata su metodi di analisi Linguistica Indicizzazione basata su frasi: Frasi migliori hanno una significatività di termini accoppiati più alta dei termini isolati costruzione di gruppi nominali: Biword index: Assegnamento di indicatori sintattici ai termini che appaiono nel testo dei documenti. nome-nome, aggettivo-nome Phrase index: Costruzione di frasi da sequenze di termini che hanno dei marcatori sintattici di un certo tipo

43 Identificazione di Frasi Frasi sequenza di termini che identificano un contenuto più specifico del termine singolo es., computer science vs. computer Espansione stem con Tesauro Indicizzazione con Frasi Frequenza nei documenti Frequenza bassa Frequenza media Frequenza alta N

44 Identificazione di frasi semplici: analisi linguistica Tecniche di linguistica computazionale Vengono assegnati Identificatori sintattici ai termini selezionati e una frase viene selezionata se è associata a una sequenza sintattica specifica: nome-nome; aggettivo-nome. Gli elementi della frase sono scelti dalla stessa unità sintattica

45 Indentificazione di Entità Nominali Estrazione di Entità Nominali dal testo dei documenti appartenenti a categorie nomi propri di politici, storici, scienziati, VIP, Nomi di organizzazioni ad es. ONU, FAO, IBM, ecc. ad esempio nelle news località geografiche quali nomi di città, regioni, nazioni, entità geografiche fisiche quali fiumi, montagne, laghi, ecc.) nell IR geografico. E necessario poi associare al documento di footprints o georiferimenti Questo documento tratta di attrattive turistiche della provincia di bergamo

46 Indentificazione di Entità Nominali Obbiettivo: effettuare un tagging dei termini riconosciuti come Entità Nominali (EN) in una gerarchia di un certo tipo Tecniche: Si applicano preliminarmente delle regole per filtrare le parole candidate EN Iniziano con una lettera Maiuscola, sono lettere maiuscole seguite da. Sono precedute/seguite da parole prefisso/suffisso del tipo Sig. Prof. Ministro Città, provincia, stato, Mont, lago, ecc. Si impiegano fonti esterne per il riconoscimento Wikipedia Gazeteer (es. geonames) Si impiegano tecniche di learning (utilizzano dati classificati per il training)

47 Entità Nominali geografiche: Gazeteer ID Name Alternate name Latitude Longitude Country code Population Martinengo 45,57 9,76 IT Mozzanica 45,47 9,69 IT Romano di Lombardia 45,52 9,74 IT Sedrina 45,78 9,62 IT Vaprio d Adda Italian Republic Vaprio 45,58 9,52 IT Italia, Italy, An Eadailt, Bel Paese, Bergamo Bergam, Bergame, Berghem, Dublin Dublino, Dublina, Baile Atha Cliath, 42,83 12,83 IT ,69 9,67 IT ,55-6,25 IE Georeferenziazione automatica di testi e analisi di query spaziali -- Giorgio Ghisalberti 47

48 Retrieval di Immagini Cos è il documento? Tratto dalla Tesi di Laurea Specialistica di Luca Ghilardi e Simone Milesi, Facoltà di Ingegneria, Univ. Bergamo anno acc

49 Indici per il Retrieval di Immagini Indici testuali Annotazioni associate manualmente, estratte dalla URL, estratte dal contenuto dell immagine Didascalie testuali indicizzate in full text Testo estratto dall immagine segmentazione + OCR Semantic (Optical Gap Character Recognition) Indici visuali (Content-Based Image Retrieval) sintetizzano proprietà caratteristiche visuali nell immagine (forme presenti, colori dominanti, tessitura, ecc)

50 Indici Visuali per il Retrieval di Immagini per Contenuto (CBIR) Generalmente si definiscono gli indici dipendentemente da un contesto applicativo N Signatures n maschere di bit associate a quadranti Fingerprints n maschere di bit estratte dall immagine Indici di colore istogramma RGB o dei livelli di grigio (h1, h2, hn) hi= num di Pixels nell immagine (o nel quadrante) con colore nell intervallo i-esimo Indici di Tessitura dimensione frattale, contrasto, omogeneità, Entropia (su tutta l immagine o su un quadrante Indici di Forma Circolarità, direzionalità, Coeff. di Fourier, Curvature Scale Space, spettro multifrattale

51 Metadati per documenti multimediali TIFF 6.0 per codificare metadati per l immagini es. ImageWidth, ImageLength, Compression,.. Xresolution, Yresolution,.. M-PEG 7 (Moving Picture Experts Group ): standard ISO per sequenze audio e video definito per Il retrieval e filtering per contentuto di informazioni multimediali INSPIRE per codificare metadati per dati geografici (mappe o immagini georeferenziate )

52 Istogramma livelli di Grigio Picchi

53 Istogramma livelli di Grigio Es: Segmentazione della porosità in un materiale ceramico Immagine iniziale Immagine segmentata Picchi

54 Indici di tessitura es: Spettro Multifrattale Misura di frastagliamento di una curva Deriva dalla dimensione frattale tenendo conto delle differenze di frastagliamento fra le varie porzioni della curva Algoritmo box-counting Introduzione di un parametro lente di ingrandimento

55 Spettro Multifrattale Tratto dalla Tesi di Laurea Specialistica di Luca Ghilardi e Simone Milesi, Facoltà di Ingegneria, Univ. Bergamo anno acc

56 Gli Oggetti nelle Immagini Digitali Un oggetto è una regione di immagine che può essere identificata e distinta dal resto dell immagine stessa (sfondo). Segmentazione Immagine originale: Matrice di pixels Es: v ij {0,255} Immagine binaria segmentata: matrice di pixel con v ij {0,1} Tratto dalla Tesi di Laurea Specialistica di Luca Ghilardi e Simone Milesi, Facoltà di Ingegneria, Univ. Bergamo anno acc Rappresentazione vettoriale degli oggetti

57 Rappresentazione del Contorno degli Oggetti Rappresentazione vettoriale del contorno Rappresentazione funzionale del contorno Funzione di distanza dal centroide Tratto dalla Tesi di Laurea Specialistica di Luca Ghilardi e Simone Milesi, Facoltà di Ingegneria, Univ. Bergamo anno acc

58 Analisi statistica delle forme Log(N) Percentuale di porosità totale Suddivisione dei pori in classi areali 4 3,5 3 2,5 2 1,5 Campione C - 0% Campione 18-12% Campione % 1 0, Aree di soglia (μm 2 ) Costruzione della curva granulometrica della porosità Calcolo del coefficiente angolare della retta ottenuta dall interpolazione dei punti della curva granulometrica

59 Coefficienti di Fourier Il triangolo presenta coefficienti di Fourier in posizioni multiple di 3 Una forma irregolare presenta generalmente coefficienti di Fourier in tutte le posizioni Tratto dalla Tesi di Laurea Specialistica di Luca Ghilardi e Simone Milesi, Facoltà di Ingegneria, Univ. Bergamo anno acc

60 Conclusione: efficacia dei metodi di indicizzazione automatica Base: indicizzazione automatica basata su singoli termini Utilizzo di un tesauro tematico per raggruppare termini in un settore specifico +10% al +20% Uso di tesauri associativi (pseudo-tesauri) derivati automaticamente in una sottocollezione campione 0% al +10% Uso di frasi di termini ottenute sulla base delle cooccorrenze nei testi +5% al +10%