LATENT SEMANTIC INDEXING

Transcript

1 LATENT SEMANTIC INDEXING

2 Limiti della ricerca per Key-words I metodi di ranking tradizionali misurano l attinenza di un documento ad una query sulla base della presenza/assenza delle parole contenute nella query, mediante una codifica booleana 0 (assenza)/1(presenza) Nell LSI la ricerca avviene per concetti, intesi come costrutti latenti un concetto non è un astrazione-generalizazzione di un termine (es: golf, automobile) un concetto è un insieme di termini correlati (golf, automobile, marca) detti co-occorrenze o dominio semantico

3 Data una raccolta di documenti, l LSI è in grado di rilevare che alcune n-uple di termini co-occorrono frequentemente La ricerca automaticamente recupera documenti che contengono anche (e eventualmente solo!) parole appartenenti al dominio semantico (e non necessariamente il termine presente nella query) Dominio Semantico k

4 Base di documenti (20) Clarkson Badge Red Tiger Woods Belfry Tee Fish Pond gold Koi In un sistema booleano (keyword) si estraggono 4 documenti PC Dell RAM Floppy Core Apple Pip Tree Pea Pod Fresh Green French Lupin Seed May April Motor Bike Oil Tourer Bed lace legal button soft cat line yellow wind full sail harbour beach report June Speed Office Pen Desk VDU Friend Pal Help Can Paper Paste Pencil Roof d Stamp Glue Happy Send Toil Work Time Cost Selezione dei documenti basata sul termine Clarkson Badge Red Tiger Woods Belfry Tee

5 Tutti i 20 documenti Motor Bike Oil Tourer Clarkson Badge Bed lace legal button Red soft cat line yellow Selezione basata su Clarkson Badge Tiger Woods Belfry Tee wind full sail harbour beach report June Speed Red Fish Pond gold Koi Office Pen Desk VDU PC Dell RAM Floppy Friend Pal Help Can Tiger Woods Belfry Tee Core Apple Pip Tree Paper Paste Pencil Roof Pea Pod Fresh Green French d Stamp Glue Happy Send Lupin Seed May April Toil Work Time Cost le parole più rilevanti associate a sono:, e rank dei doc selezionati 2 *(20/3) = 13 2 *(20/3) = 13 3 *(20/16) = 4

6 Tutti i 20 documenti Motor Bike Oil Tourer Clarkson Badge Bed lace legal button Red soft cat line yellow Selezione basata su Clarkson Badge Tiger Woods Belfry Tee wind full sail harbour beach report June Speed Red Fish Pond gold Koi Office Pen Desk VDU PC Dell RAM Floppy Friend Pal Help Can Tiger Woods Belfry Tee Core Apple Pip Tree Paper Paste Pencil Roof Pea Pod Fresh Green French d Stamp Glue Happy Send Lupin Seed May April Toil Work Time Cost poiché le parole sono pesate anche rispettoal loro idf, risulta che : e sono associate a più di rank dei doc selezionati 2 *(20/3) = 13 2 *(20/3) = 13 3 *(20/16) = 4

7 Tutti i 20 documenti Motor Bike Oil Tourer Clarkson Badge Bed lace legal button Red soft cat line yellow Clarkson Badge Tiger Woods Belfry Tee wind full sail harbour beach report June Speed Selezione basata su Red Fish Pond gold Koi Office Pen Desk VDU PC Dell RAM Floppy Friend Pal Help Can Tiger Woods Belfry Tee Core Apple Pip Tree selezione basata sul dominio semantico Clarkson Badge Red Tiger Woods Belfry Tee Pea Pod Fresh Green French Lupin Seed May April Ora cerchiamo ancora nella base di documenti, usando questo insieme Paper d Toil di parole che rappresentano Stamp Paste Glue Work Pencil il dominio Happy semantico Time di. Roof Send Cost La lista ora include un nuovo documento, non catturato sulla base della semplice ricerca per keywords. Wheel rank dei doc selezionati 2 *(20/3) = 13 2 *(20/3) = 13 3 *(20/16) = 4

8 Tutti i 20 documenti Motor Bike Oil Tourer Selezione basata su Clarkson Badge Bed lace legal button Red soft cat line yellow Clarkson Badge Tiger Woods Belfry Tee wind full sail harbour beach report June Speed Red Tiger Woods Belfry Tee selezione basata sul dominio semantico Clarkson Badge Red Rank Fish Pond gold Koi Office Pen Desk VDU Usando un ranking PC Core Pea Lupin Dell basato sulla co-occorrenza dei termini Pod RAM Apple Fresh Seed Pip Green May Floppy Tree possiamo French April assegnare Friend Paper d Toil Pal un miglior Stamp ranking ai documenti. Help Paste Glue Work Pencil Notate che: il documento Happy Time Can Roof Send Cost più rilevante non contiene la parola, e che uno dei documenti che la conteneva scompare (era infatti un senso spurio di ). Tiger Woods Belfry Tee Wheel rank dei doc selezionati 2 *(20/3) = 13 2 *(20/3) = 13 3 *(20/16) = 4

9 Un esempio (fasi di elaborazione di un documento nel Vector Model) O'Neill Criticizes Europe on Grants PITTSBURGH (AP) Treasury Secretary Paul O'Neill expressed irritation Wednesday that European countries have refused to go along with a U.S. proposal to boost the amount of direct grants rich nations offer poor countries. The Bush administration is pushing a plan to increase the amount of direct grants the World Bank provides the poorest nations to 50 percent of assistance, reducing use of loans to these nations. 1. Tokenizzazione Documento originale o'neill criticizes europe on grants treasury secretary paul o'neill expressed irritation wednesday that european countries have refused to go along with a us proposal to boost the amount of direct grants rich nations offer poor countries the bush administration is pushing a plan to increase the amount of direct grants the world bank provides the poorest nationsto 50 percent of assistance reducing use of loans to these nations

10 2. Eliminazione Stop Words o'neill criticizes europe on grants treasury secretary paul o'neill expressed irritation wednesday that european countries have refused to go along with a US proposal to boost the amount of direct grants rich nations offer poor countries the bush administration is pushing a plan to increase the amount of direct grants the world bank provides the poorest nations to 50 percent of assistance reducing use of loans to these nations 3. Stemming information -> inform presidency -> presid presiding -> presid happiness -> happi happily -> happi discouragement -> discourag battles -> battl

11 administrat amount assist bank boost bush countri (2) direct europ express grant (2) increas irritat loan nation (3) o'neill paul plan poor (2) propos push refus rich secretar treasuri US world 4. Costruzione del Vettore di termini

12 Documenti:a b c d e f g h i j k l m n o p q r { 3000 ulteriori colonne } termini aa amotd aaliyah aarp ab zywicki Matrice termini-documenti (per tutti i documenti)

13 Documenti:a b c d e f g h i j k l m n o p q r { 3000 ulteriori colonne } termini aa amotd aaliyah aarp , ab zywicki , ) Pesatura dei termini (es. tf*idf normalizzato)

14 Osservazione La maggioranza delle celle della matrice sono zero La dimensionalità della matrice è elevata (t) Con i metodi classici ogni documento o query è un vettore in uno spazio t-dimensionale LSI tenta di proiettare questo spazio in uno spazio di dimensione ridotta, in cui, anziché termini, le dimensioni rappresentano co-occorrenze o dominii semantici Tutte le possibili co-occorrenze sarebbero assai di più dei termini singoli: ma il metodo della singular value decomposition utilizzato da LSI consente di eliminare le co-occorrenze non significative

15 Latent Semantic Indexing: concetti Singular Value Decomposition Definisci X come la matrice termini-documenti, con t righe (numero delle keywords) e N colonne (numero dei documenti). Data una qualsiasi matrice txn, esistono 3 matrici T, S e D', tali che: X = T 0 S 0 D 0 ' T 0 e D 0 sono le matrici dei vettori singolari (eigenvectors) sinistro e destro i X T 0 e D 0 le colonne di T 0 e le righe di D 0 definiscono uno spazio ortonormale S 0 è la matrice diagonale dei valori singolari dix

16 Autovalori e autovettori Definizione: se A è una matrice nxm un vettore C si chiama un autovettore di A se e solo se esiste un numero l tale che AC= lc,e l è detto autovalore e

17 Vettori singolari Matrice aggiunta o coniugata trasposta A* A T A (a ij ) (aij ) aij coniugato complesso di aij Se aij (i,j) A*=A T Valori singolari di S: autovalori di X T X, radici degli Vettori singolari destri: n autovettori di X T X Vettori singolari sinistri: m autovettori di XX T Dettagli i A 0 i 3 i 5 i 4 i A* 0 i 5 i 3 i 4 i

18 Esempio (2) Termini e Documenti Termini Documenti c1 c2 c3 c4 c5 m1 m2 m3 m4 human interface computer user system response time EPS survey trees graph minors X

19 documenti Decomposizione SVD termi ni

20 S

21 Riduzione del rango Gli elementi diagonali in S 0 sono positivi e decrescenti in grandezza. Si prendono i primi k e gli altri vengono posti a zero. Si cancellano le righe e le colonne zero di S 0 e le corrispondenti righe e colonne di T 0 e D 0. Si ottiene: X ~ ^ X = TSD' Interpretazione Se il valore k è selezionato opportunamente, l aspettativa è che la nuova matrice X ˆ mantenga l informazione semantica di X, ma elimini il rumore derivante dalla sinonimia (perché sensi diversi avranno co-occorrenze diverse) e riconosca la dipendenza fra termini co-occorrenti.

22 Selezione dei valori singolari t x d t x k k x k k x d S D' X ^ = T k è il numero di valori singolari scelti per rappresentare i concetti nell insieme dei documenti In genere, k «m.

23 Confronto fra termini Il prodotto scalare di due righe di ^ X riflette il fatto che due termini abbiano contesti di occorrenza più o meno simili ^ XX ^ T = TSD T (TSD T ) T = TSD T DS T T T poichè D è ortonormale = TS(TS) T Per calcolare la cella i, j, si fa il prodotto scalare fra le righe i e j di TS

24 Confronto fra documenti Il prodotto scalare di due colonne di ^ X ci informa di quanto due colonne abbiano contesti di occorrenza comuni. ^ X T ^ X = (TSD T ) T TSD T = DS(DS) T Per calcolare le celle i, j, si esegue il prodotto scalare fra le colonne i e j di DS.

25 Confronto fra termini e documenti Il confronto fra un termine e un documento è rappresenatto dal valore di una cella X. ^ X = TSD' - - = TS(DS)' - dove S è una matrice diagonale i cui valori sono la radice quadrata dei corrispondenti elementi di S.

26 Esempio: Query Terms Query x q human 1 interface 0 computer 0 user 0 system 1 response 0 time 0 EPS 0 survey 0 trees 1 graph 0 minors 0 Query: "human system interactions on trees" Nello spazio termini-documenti, una query è rappresentata da x q, un vettore t x 1. Nello spazio dei concetti, una query è rappresentata da dq, un vettore 1 x k.

27 Query Per il ranking dei documenti ripetto alla query, semplicemente si considera la query come uno pseudodocumento, e lo si modella come la la prima colonna della matrice (d 0 =q) X X T X Quindi, la prima riga della matrice fornisce il ranking dei documenti ripetto alla query.