Informatica per le discipline umanistiche 2 lezione 15

Transcript

1 Informatica per le discipline umanistiche 2 lezione 15

2 Nella lezione precedente:

3 In realtà non tutto il data mining è dettato dagli interessi economici

4 (commercial) data mining Abbiamo visto risvolti commerciali perché di fatto ci siamo concentrati su dati commerciali.

5 (text) data mining Ma ci sono altri tipi di dati, come ad esempio i testi scritti.

6 text mining

7 E una tecnica di elaborazione automatica dei testi, con lo scopo di estrarre da essi nuova informazione. Le informazioni estratte vengono composte per formare nuovi fatti o nuove ipotesi da verificare ulteriormente con mezzi più classici di sperimentazione. Text mining

8 text mining web search

9 Problema: scartare il materiale non rilevante alla nostra ricerca. Web search Obiettivo: t r o v a r e informazione già esistente. Text mining Obiettivo: estrarre nuova informazione che non era presente prima (almeno non in maniera esplicita). Problema: l informazione non è attualmente presente e va creata.

10 data mining text Di fatto, i testi sono un tipo particolare di dati, e il text mining può essere considerato un tipo particolare di data mining.

11 Si potrebbe pensare, quindi, che le svariate tecniche del data mining si possano applicare al caso particolare dei testi. Solo che

12 database matricola 23456! ing! 19797! let! 21215! let! facoltà data mining text

13 Solo che il data mining si effettua su database, che sono tipicamente dati organizzati in tabelle mentre nel text mining si cercano i pattern interessanti in testi scritti in linguaggio naturale.

14 Ogni tecnica che mira ad elaborare in maniera automatica il linguaggio naturale viene considerata come parte della disciplina del Natural Language Processing (NLP). Il text mining è un caso speciale di NLP perché si concentra esclusivamente sui testi scritti. Il NLP comprende però anche l analisi del linguaggio parlato (ad esempio, col riconoscimento vocale).

15 Il prodotto con riconoscimento vocale del momento (novembre 2011) è l iphone 4S con Siri.

16 Torniamo ai testi: il text mining è un modo di analizzarli con il supporto del computer, in modi diversi. In contrasto con quanto visto con il data mining, prendiamo un campo di applicazione radicalmente diverso: la ricerca medica. MEDLINE è un catalogo online di articoli da oltre 5000 riviste mediche dal 1950 ad oggi. Attualmente (2011), MEDLINE contiene riferimenti a più di 21 milioni di articoli. La ricerca medica è divisa in campi e sottocampi altamente specializzati, con poca comunicazione (e scambi di idee) tra discipline diverse. Questa separazione potrebbe essere necessaria e utile alla ricerca specializzata in questo campo, ma può anche avere l effetto di restringere le prospettive, impedendo la creazione di connessioni tra le varie scoperte.

17

18 L elaboratione manuale dei testi con la loro indicizzazione sulla base di parole chiave aiuta, ma da un analisi di MEDLINE è emerso che molti concetti presenti nei testi degli articoli non erano rappresentati da alcuna parola chiave. Chiaramente, i testi della letteratura medica contengono informazioni importanti per i ricercatori che possono non essere completamente colte da revisori e curatori di questi articoli. Come al solito, laddove l azione umana non è abbastanza precisa o veloce, cerchiamo di delegare il compito a un computer.

19 Che cosa NON è il text mining Abbiamo già detto che NON è web search Il web search è la ricerca di un documento in particolare tra miliardi di altri che non ci interessano. Il text mining, invece, è la ricerca di conoscenza che colleghi tra loro documenti diversi. La conoscenza che si cerca tramite il text mining coinvolge più documenti. Per questo il text mining NON coincide con quelle pratiche automatiche di elaborazione dei testi che si focalizzano su un testo solo, come ad esempio l information extraction oppure la text summarization.

20 Information extraction Esempio: Text summarization Esempio: Dato un CV (meglio se in formato standard, come il CV europeo), si estraggono automaticamente certe informazioni, come il nome, il congnome, la data di nascita. Dato un testo, se ne fornisce un breve riassunto basato sulle parole più frequentemente usate (a parte quelle non significative, come il o di o e, chiamate stopword).

21 Text mining Come nel data mining, esistono numerose tecniche. 1. Named entity recognition (NER) L obiettivo è di riconoscere, all interno di una collezione di testi, tutti i nomi di uno specifico tipo di entità. Ad esempio, tutti i nomi di entità biologiche all interno di una serie di articoli da rivista.

22

23 Problemi con i nomi Per la maggior parte dei tipi di nomi di entità biologiche, non esiste un dizionario completo. Perciò una tecnica automatica di ricerca e matching non funziona. La stessa parola può riferirsi a entità diverse (ad es. ferritina può essere una sostanza biologica o un test di laboratorio). Molte entità biologiche hanno diversi nomi (ad es. PTEN e MMAC1 si riferiscono allo stesso gene). Le entità biologiche posso avere anche nomi composti da più parole (ad es. arteria carotide ), quindi sorge anche il problema di stabilire i confini tra un nome e altre parole nel testo.

24 Gli approcci per risolvere il problema NER sono 4: 1. basato sul lessico 2. basato su regole 3. statistico 4. una combinazione dei precedenti Il risultato di un sistema automatico che fa NER è dato da un etichettatura di tutti i nomi con il tipo calcolato, con un eventuale grado di confidenza nel risultato. Le performance dei sistemi NER sono misurate in termini di precision/precisione e di recall/richiamo. Precision = n predizioni corrette / n predizioni Recall = n predizioni corrette / n nomi nel testo Esiste anche un unica misura chiamata F-score F-score = 2Pr*Re/(Pr+Re)

25 2. Relationship extraction L obiettivo è di rilevare occorrenze di tipi predefiniti di relazione tra coppie di entità di tipi specifici.

26 R

27 2. Relationship extraction Mentre i tipi delle entità sono solitamente molto specifici (per es. geni, proteine, principi attivi), il tipo delle relazioni può variare da molto generale (per es. una qualsiasi associazione biochimica) a molto specifica (per es. un legame di regolazione). I possibili metodi per scoprire queste relazioni sono numerosi: ricerca di schemi predefiniti forniti da esperti del settore; ricerca di schemi creati automaticamente analizzando i testi nell intorno di coppie di entità di nostro interesse; analisi del testo mediante schemi soggettopredicato-complemento tipici del NLP (natural language processing).

28 3. Hypothesis generation Mentre l estrazione di relazioni si focalizza sui legami tra entità esplicitamente espressi nel testo, la generazione di ipotesi mira a scoprire relazioni che non sono al momento presenti nei documenti, ma potrebbero essere inferite. Lo scopo ultimo è quello di scoprire nuove relazioni tra le entità su cui valga la pena di indagare.

29

30 Di fatto, tutti i lavori su generazione di ipotesi fanno uso di un idea che ebbe Don R. Swanson, uno scienziato dell informazione, chiamata complementary structures in disjoint literatures (CSD), o strutture complementari in letterature disgiunte. Swanson capì che i grandi database della letteratura scientifica avrebbero potuto permettere nuove scoperte, mediante la connessione tra concetti per mezzo dell inferenza logica. Egli propose un semplice modello di ragionamento: se A influenza B e B influenza C, A potrebbe influenzare C. Questo modello per rilevare casi di CSD è oggi noto come il modello dell ABC di Swanson. In numerosi articoli pubblicati negli anni 80 e 90, Swanson ha fornito esempi su scoperte di nuove ipotesi connettendo manualmente concetti presenti in diversi articoli scientifici. (Ad es.: benefici dell olio di pesce sulla sindrome di Raynaud.)

31 Mentre Swanson ha applicato il suo modello ABC manualmente, numerosi ricercatori hanno tentato di automatizzare il processo. I sistemi di generazione automatica di ipotesi creano numerose potenziali ipotesi scientifiche: occorre quindi un metodo per valutare l efficacia di tali sistemi. Il metodo più diffuso al momento è la ricerca manuale delle ipotesi generate in letteratura.

32 Altre tecniche tipiche del text mining 4. Synonym and abbreviation extraction per l estrazione e la raccolta di sinonimi e abbreviazioni di un termine. 5. Text classification per determinare automaticamente se un documento è interessante, sulla base dell argomento che discute o del tipo di informazioni che contiene.

33 Altri settori di applicazione del text mining Sicurezza: analisi di conversazioni e scambi di in cerca di sospetti atti terroristici Editoria: automatizzare la lettura di un articolo per poter rispondere a domande di un utente che non ha diritto di accesso all articolo stesso Analisi dei sentimenti: comprensione automatica del tono delle recensioni di un film o disco (positivo o meno) Marketing: per una migliore relazione con il cliente; ad es. allarme automatico basato su predizione di abbandono

34 Ancora qualche considerazione sul text mining

35 Text summarization Esempio: Dato un testo, se ne fornisce un breve riassunto basato sulle parole più frequentemente usate (a parte quelle non significative, come il o di o e, chiamate stopword). Si è detto che la text summarization non è considerata text mining in senso stretto perché si effettua su un documento solo e non cerca collegamenti tra diversi contenuti. Si tratta comunque di elaborazione automatica di testo.

36 Consideriamo il seguente testo. A processor in a computer is also called a chip. A chip is the most important part in a computer, because it is the device that performs all the operations. Even when you type potato on the screen, the chip is involved. Analizziamolo con la tecnica della text summarization e contiamo le parole più frequenti, ignorando le stop word e punteggiatura.

37 device called 1 processor 1 important 1 1 involved 1 system 1 you computer 1 1 screen chip Come si fa a capire l argomento del testo con la frequenza delle parole? 1 3 type A processor in a computer is also called a chip. A chip is the most important part in a computer, because it is the device that performs all the operations. Even when you type potato on the screen, the chip is involved. 1 part 1 potato 1 operations 1 performs 1

38 device called 1 processor 1 important 1 1 involved 1 system 1 you computer 1 1 screen chip Consideriamo la parola più frequente. 1 3 type A processor in a computer is also called a chip. A chip is the most important part in a computer, because it is the device that performs all the operations. Even when you type potato on the screen, the chip is involved. 1 part 1 potato 1 operations 1 performs 1

39 computer chip chip Problema: i sinonimi 3 potato chip

40 Facendo una ricerca su Google si scopre che chip può essere addirittura un acronimo.

41 Come affrontare il problema? Il problema di capire l argomento di cui tratta un testo è molto importante per poter individuare tale testo in mezzo ad altri, come ad esempio in una ricerca in internet.

42 Soluzione 1: affidarsi a ricerche più precise, con più parole chiave.

43 E la soluzione più semplice, e funziona nella maggior parte dei casi. Ma non in tutti.

44 device 1 called 1 processor 1 important 1 involved 1 system 1 you computer 1 1 screen chip Il problema è che, nel testo, computer e potato sono frequenti nella stessa misura. 1 3 type A processor in a computer is also called a chip. A chip is the most important part in a computer, because it is the device that performs all the operations. Even when you type potato on the screen, the chip is involved. 1 part 1 potato 1 operations 1 performs 1

45 Questo sembra essere un finto problema. Infatti

46 device 1 called 1 processor 1 important 1 involved 1 system 1 you computer 1 1 screen chip Esaminando le altre parole presenti, è chiaro che si sta parlando del computer chip e non della potato chip. 1 3 type A processor in a computer is also called a chip. A chip is the most important part in a computer, because it is the device that performs all the operations. Even when you type potato on the screen, the chip is involved. 1 part 1 potato 1 operations 1 performs 1

47 In realtà

48 device 1 called 1 processor 1 important 1 involved 1 system 1 you computer 1 1 screen chip Noi riusciamo a stabilire che le parole processor, device e tante altre parole del testo appartengono allo stesso dominio di computer. Ma come facciamo? Ne sfruttiamo il significato. 1 3 type A processor in a computer is also called a chip. A chip is the most important part in a computer, because it is the device that performs all the operations. Even when you type potato on the screen, the chip is involved. 1 part 1 potato 1 operations 1 performs 1

49 Processor e device sono termini informatici. 8 Sappiamo bene i limiti dei computer in fatto di significato.

50 Inoltre

51 A new brand of chips, called Screen has become available, made from the best potatoes in England. It is marketed to appeal to a IT-oriented audience, and has computers, processors, and all sorts of devices depicted on the package. Market research has shown that people in IT, especially programmers, are large consumers of chips. Naturalmente l esempio è poco realistico, ma mostra i limiti dell analisi di un testo basato esclusivamente sul conteggio dei vocaboli: funziona molto spesso, ma non in tutti i casi.

52 Processor e device sono termini informatici. 8 Per elaborare una soluzione che funzioni in tutti i casi, dovremmo riprodurre la classificazione degli argomenti, che un essere umano solitamente fa, in un computer.

53 L esperimento mentale della stanza cinese di Searle vuole dimostrare che un calcolatore che elabora simboli in maniera sintattica non può comprendere la semantica delle parole rappresentate da questi simboli.

54 Il computer tratta solo simboli in maniera sintattica. Vogliamo che il computer tratti anche la semantica. Deve esserci un modo di esprimere la semantica in maniera sintattica. Sembra una cosa insensata. Eppure

55 Web Il termine Web 2.0, che abbiamo visto utilizzato per descrivere il web sociale, in cui gli utenti sono anche creatori di contenuti e l interazione svolge un ruolo fondamentale, è stato in realtà originariamente introdotto con un altro significato. Esiste insomma una prima versione del Web 2.0.

56 Semantic Web La prima versione del Web 2.0 è nota anche come semantic Web, o Web semantico, appunto perché si prefiggeva di arricchire internet con tecniche per la trattazione automatica del significato. L idea è stata introdotta da colui che viene considerato come l inventore del Web 1.0: Tim Berners-Lee.

57 Tim Berners-Lee

58 L idea di base del Semantic Web Anziché affidarsi solo alla mente dell utente Web per creare il legame tra la sintassi dei simboli e la loro semantica tipo di entità nel mondo Cat sequenza di caratteri

59 L idea di base del Semantic Web usare dei simboli aggiuntivi, sotto forma di marcature, che rimandano a un ontologia (simile a un vocabolario, in cui i concetti sono organizzati secondo classi di appartenenza). inizio marcatura Resource Description Framework: data model dei metadati come about Indirizzo della parte dell ontologia dove viene spiegato il concetto espresso dal termine Cat termine fine marcatura

60 Resource Description Framework E una convenzione che prescrive il modo con cui i dati con cui lavoriamo devono essere descritti, ossia fornisce indicazioni sui metadati: i dati che parlano di dati. Resource Description Framework: data model dei metadati come about Ovviamente, come tutte le convenzioni, l RDF deve essere accettato e seguito da tutti i creatori di contenuti Web per poter funzionare.

61 Semantic Web: problema 1 Tutti gli utenti Web devono seguire un unica convenzione su come descrivere i dati presenti nel Web. RDF è una proposta, ma non è stata universalmente accettato.

62 Le ontologie Un ontologia ha lo scopo di definire tutti i concetti appartenenti a un particolare dominio, e di elencare tutte le possibili relazioni tra di essi. Indirizzo della parte dell ontologia dove viene spiegato il concetto espresso dal termine Cat

63 Se andiamo a dbpedia.org/resource/cat troviamo questa descrizione, in svariate lingue. La descrizione comprende tutti i modi di riferirsi a un gatto nelle lingue presenti, e anche un albero filogenetico.

64 Semantic Web: problema 2 Per ciascun concetto esistente, tutti gli utenti Web devono essere d accordo sull ontologia che lo descrive. DBpedia è una proposta, ma non è stata universalmente accettata.

65 Semantic Web: problema 3 The chicken or the egg.

66 Il chicken or the egg problem si riferisce a una situazione di stallo. Nel caso della gallina e dell uovo, la questione si pone come segue: senza l uovo, la gallina non può nascere, ma senza una gallina, non si può fare un uovo. Per quanto riguarda il semantic Web, la questione riguarda il grande lavoro umano necessario per etichettare con le marcature semantiche tutti i concetti presenti nelle pagine Web esistenti e in quelle future. Tale lavoro chiaramente non può essere automatizzato, perché presuppone che i computer conoscano già il significato delle parole. Riferito al semantic Web, quindi, il chicken or the egg problem descrive il seguente stallo: nessun produttore di contenuti Web vuole iniziare l impresa titanica di marcarli se non è sicuro che il semantic Web si realizzi davvero; ma perché il semantic Web si realizzi, tutti devono marcare i contenuti che pubblicano.

67 Quindi? Il termine Web 2.0 è stato riciclato per indicare il Web sociale. Il Semantic Web è ora noto come Web 3.0, e non si sa se si realizzerà mai.