Informatica per le discipline umanistiche 2 lezione 12

Dimensione: px

Iniziare la visualizzazioe della pagina:

Download "Informatica per le discipline umanistiche 2 lezione 12"

Fabriciano Milano
8 anni fa
Visualizzazioni

1 Informatica per le discipline umanistiche 2 lezione 12

2 Nella lezione precedente:

3 In realtà non tutto il data mining è dettato dagli interessi economici

4 (commercial) data mining Abbiamo visto risvolti commerciali perché di fatto ci siamo concentrati su dati commerciali.

5 (text) data mining Ma ci sono altri tipi di dati, come ad esempio i testi scritti.

6 text mining

7 Text mining Eʼ una tecnica di elaborazione automatica dei testi, con lo scopo di estrarre da essi nuova informazione. Le informazioni estratte vengono composte per formare nuovi fatti o nuove ipotesi da verificare ulteriormente con mezzi più classici di sperimentazione.

8 text mining web search

9 Web search Text mining Obiettivo: trovare informazione già esistente. Problema: scartare il materiale non rilevante alla nostra ricerca. Obiettivo: estrarre nuova informazione che non era presente prima (almeno non in maniera esplicita). Problema: lʼinformazione non è attualmente presente e va creata.

10 data mining text Di fatto, i testi sono un tipo particolare di dati, e il text mining può essere considerato un tipo particolare di data mining.

11 Si potrebbe pensare, quindi, che le svariate tecniche del data mining si possano applicare al caso particolare dei testi. Solo che

12 database matricola facoltà ing let let data mining text

13 Solo che il data mining si effettua su database, che sono tipicamente dati organizzati in tabelle mentre nel text mining si cercano i pattern interessanti in testi scritti in linguaggio naturale.

14 Ogni tecnica che mira ad elaborare in maniera automatica il linguaggio naturale viene considerata come parte della disciplina del Natural Language Processing (NLP). Il text mining è un caso speciale di NLP perché si concentra esclusivamente sui testi scritti. Il NLP comprende però anche lʼanalisi del linguaggio parlato (ad esempio, col riconoscimento vocale).

15 Il prodotto con riconoscimento vocale del momento (novembre 2011) è lʼiphone 4S con Siri.

16 Torniamo ai testi: il text mining è un modo di analizzarli con il supporto del computer, in modi diversi. In contrasto con quanto visto con il data mining, prendiamo un campo di applicazione radicalmente diverso: la ricerca medica. MEDLINE è un catalogo online di articoli da oltre 5000 riviste mediche dal 1950 ad oggi. Attualmente (2011), MEDLINE contiene riferimenti a più di 21 milioni di articoli. La ricerca medica è divisa in campi e sottocampi altamente specializzati, con poca comunicazione (e scambi di idee) tra discipline diverse. Questa separazione potrebbe essere necessaria e utile alla ricerca specializzata in questo campo, ma può anche avere lʼeffetto di restringere le prospettive, impedendo la creazione di connessioni tra le varie scoperte.

18 Lo scopo della ricerca medica e di fare scoperte e di metterle in pratica sotto forma di diagnosi, prevenzione, e trattamenti. Eʼ ovvio che con 21 milioni di articoli catalogati, e con una crescita delle citazioni di circa 500mila allʼanno, diventa sempre più probabile che importanti collegamenti che possono far emergere scoperte fondamentali vengano trascurati, semplicemente perché non cʼè alcuna persona in grado di farli.

19 Lʼelaboratione manuale dei testi con la loro indicizzazione sulla base di parole chiave aiuta, ma da unʼanalisi di MEDLINE è emerso che molti concetti presenti nei testi degli articoli non erano rappresentati da alcuna parola chiave. Chiaramente, i testi della letteratura medica contengono informazioni importanti per i ricercatori che possono non essere completamente colte da revisori e curatori di questi articoli. Come al solito, laddove lʼazione umana non è abbastanza precisa o veloce, cerchiamo di delegare il compito a un computer.

20 Che cosa NON è il text mining Abbiamo già detto che NON è web search Il web search è la ricerca di un documento in particolare tra miliardi di altri che non ci interessano. Il text mining, invece, è la ricerca di conoscenza che colleghi tra loro documenti diversi. La conoscenza che si cerca tramite il text mining coinvolge più documenti. Per questo il text mining NON coincide con quelle pratiche automatiche di elaborazione dei testi che si focalizzano su un testo solo, come ad esempio lʼinformation extraction oppure la text summarization.

21 Information extraction Text summarization Esempio: Esempio: Dato un CV (meglio se in formato standard, come il CV europeo), si estraggono automaticamente certe informazioni, come il nome, il congnome, la data di nascita. Dato un testo, se ne fornisce un breve riassunto basato sulle parole più frequentemente usate (a parte quelle non significative, come il o di o e, chiamate stopword).

22 Text mining Come nel data mining, esistono numerose tecniche. 1. Named entity recognition (NER) Lʼobiettivo è di riconoscere, allʼinterno di una collezione di testi, tutti i nomi di uno specifico tipo di entità. Ad esempio, tutti i nomi di entità biologiche allʼinterno di una serie di articoli da rivista.

24 Problemi con i nomi Per la maggior parte dei tipi di nomi di entità biologiche, non esiste un dizionario completo. Perciò una tecnica automatica di ricerca e matching non funziona. La stessa parola può riferirsi a entità diverse (ad es. ferritina può essere una sostanza biologica o un test di laboratorio). Molte entità biologiche hanno diversi nomi (ad es. PTEN e MMAC1 si riferiscono allo stesso gene). Le entità biologiche posso avere anche nomi composti da più parole (ad es. arteria carotide ), quindi sorge anche il problema di stabilire i confini tra un nome e altre parole nel testo.

25 Gli approcci per risolvere il problema NER sono 4: 1. basato sul lessico 2. basato su regole 3. statistico 4. una combinazione dei precedenti Il risultato di un sistema automatico che fa NER è dato da un etichettatura di tutti i nomi con il tipo calcolato, con un eventuale grado di confidenza nel risultato. Le performance dei sistemi NER sono misurate in termini di precision/precisione e di recall/richiamo. Precision = n predizioni corrette / n predizioni Recall = n predizioni corrette / n nomi nel testo Esiste anche unʼunica misura chiamata F-score F-score = 2Pr*Re/(Pr+Re)

26 2. Relationship extraction Lʼobiettivo è di rilevare occorrenze di tipi predefiniti di relazione tra coppie di entità di tipi specifici.

27 R

28 2. Relationship extraction Mentre i tipi delle entità sono solitamente molto specifici (per es. geni, proteine, principi attivi), il tipo delle relazioni può variare da molto generale (per es. una qualsiasi associazione biochimica) a molto specifica (per es. un legame di regolazione). I possibili metodi per scoprire queste relazioni sono numerosi: ricerca di schemi predefiniti forniti da esperti del settore; ricerca di schemi creati automaticamente analizzando i testi nellʼintorno di coppie di entità di nostro interesse; analisi del testo mediante schemi soggettopredicato-complemento tipici del NLP (natural language processing).

29 3. Hypothesis generation Mentre lʼestrazione di relazioni si focalizza sui legami tra entità esplicitamente espressi nel testo, la generazione di ipotesi mira a scoprire relazioni che non sono al momento presenti nei documenti, ma potrebbero essere inferite. Lo scopo ultimo è quello di scoprire nuove relazioni tra le entità su cui valga la pena di indagare.

31 Di fatto, tutti i lavori su generazione di ipotesi fanno uso di unʼidea che ebbe Don R. Swanson, uno scienziato dellʼinformazione, chiamata ʻcomplementary structures in disjoint literaturesʼ (CSD), o ʻstrutture complementari in letterature disgiunteʼ. Swanson capì che i grandi database della letteratura scientifica avrebbero potuto permettere nuove scoperte, mediante la connessione tra concetti per mezzo dellʼinferenza logica. Egli propose un semplice modello di ragionamento: se A influenza B e B influenza C, A potrebbe influenzare C. Questo modello per rilevare casi di CSD è oggi noto come il modello dellʼabc di Swanson. In numerosi articoli pubblicati negli anni ʻ80 e ʻ90, Swanson ha fornito esempi su scoperte di nuove ipotesi connettendo manualmente concetti presenti in diversi articoli scientifici. (Ad es.: benefici dellʼolio di pesce sulla sindrome di Raynaud.)

32 Mentre Swanson ha applicato il suo modello ABC manualmente, numerosi ricercatori hanno tentato di automatizzare il processo. I sistemi di generazione automatica di ipotesi creano numerose potenziali ipotesi scientifiche: occorre quindi un metodo per valutare lʼefficacia di tali sistemi. Il metodo più diffuso al momento è la ricerca manuale delle ipotesi generate in letteratura.

33 Altre tecniche tipiche del text mining 4. Synonym and abbreviation extraction per lʼestrazione e la raccolta di sinonimi e abbreviazioni di un termine. 5. Text classification per determinare automaticamente se un documento è interessante, sulla base dellʼargomento che discute o del tipo di informazioni che contiene.

34 Altri settori di applicazione del text mining Sicurezza: analisi di conversazioni e scambi di in cerca di sospetti atti terroristici Editoria: automatizzare la lettura di un articolo per poter rispondere a domande di un utente che non ha diritto di accesso allʼarticolo stesso Analisi dei sentimenti: comprensione automatica del tono delle recensioni di un film o disco (positivo o meno) Marketing: per una migliore relazione con il cliente; ad es. allarme automatico basato su predizione di abbandono

Documenti analoghi

Informatica per le discipline umanistiche 2 lezione 15

Informatica per le discipline umanistiche 2 lezione 15 Nella lezione precedente: In realtà non tutto il data mining è dettato dagli interessi economici (commercial) data mining Abbiamo visto risvolti commerciali