Processing. Argomenti trattati nella lezione: CONCETTI INTRODUTTIVI NATURAL LANGUAGE ANALYSIS ARCHITETTURA SISTEMA NLA TAGGER PARSER A PPLICAZIONE

Transcript

1 Natural Language Processing 1 Argomenti trattati nella lezione: CONCETTI INTRODUTTIVI NATURAL LANGUAGE ANALYSIS ARCHITETTURA SISTEMA NLA STEMMER TAGGER PARSER A PPLICAZIONE

2 Concetti Introduttivi Trattamento automatico del linguaggioi Natural Language Analysis Natural Language Generation Natural Language Processing Ha lo scopo di implementare strumenti informatici per analizzare, comprendere e generare testi che gli uomini possano comprendere in maniera naturale, come se stessero comunicando con un altro interlocutore umano e non un computer. Natural Language Analysis (NLA): data una frase ha l obiettivo di darne una rappresentazione della sua analisi Natural Language Generation (NLG): data unagrammaticadiunalingua,haloscopo di produrne frasi di senso compiuto

3 Concetti Introduttivi NLA Si occupa della riduzione di un testo in linguaggio naturale in una rappresentazione formale e univoca Ciò richiede: Risoluzione dell insieme di ambiguità interpretative t ti presenti inun testot in linguaggio naturale Capacità di trattare strutture sintattiche non lineari, ma interdipendenti e gerarchiche NLG Si occupa della costruzione di automi capaci di produrre frasi corrette rispetto a una data lingua L Ciò richiede: Una rappresentazione della lingua di interesse La possibilità di selezione ed elaborazione dei contenuti Realizzazione di frasi con l ausilio della rappresentazione della lingua e di un dizionario-macchina

4 Natural Language g Analysis Paradigmi di Riferimento Per il Natural Language Analysis Knowledge Engineering Codifica manuale di grammatiche e lessici da parte di esperti. È un tipo esempio di approccio rules-based. Machine Learning Addestramento di modelli statistici su grandi quantità di dati (corpora annotati o non annotati)

5 Natural Language g Analysis Knowledge Engineering Machine Learning Approccio di lavoro del tipo top-down, imponendo dei pattern grammaticali e associazioni semantiche note al testo in esame Metodologia Gestione ambiguità Approccio di lavoro del tipo bottom-up, ricercando, sulla base del testo in esame, pattern e associazioni da modellare Risolvono le ambiguità linguistiche imponendo regole aggiuntive o fattori contestuali. Si fa affidamento a esperti umani per l identificazione e la descrizione delle regolarità linguistiche Ha un approccio quantitativo alla risoluzione delle ambiguità: associa probabilità ad analisi alternative del testo, e decide quale considerare attraverso metodi statistici.

6 Architettura Sistema NLA INPUT ORALE SCRITTO RICONOSCIMENTO DI FONEMI RICONOSCIMENTO DI CARATTERI ANALISI LESSICALE RICONOSCITORE DI FORME CATEGORIZZAZIONE Architettura di un Sistema NLA ANALISI SINTATTICA ANALISI SEMANTICA

7 Architettura Sistema NLA ORALE INPUT SCRITTO Conversione fonemi in una rappresentazione machinereadable RICONOSCIMENTO DI FONEMI ANALISI LESSICALE RICONOSCITORE DI FORME RICONOSCIMENTO DI CARATTERI Conversione dei grafemi in una rappresentazione machine-readable CATEGORIZZAZIONE ANALISI SINTATTICA ANALISI SEMANTICA Necessita di conoscenze di tipo fonetico/fonologico e (tipo)grafico rispettivamente per convertire l input orale e scritto in una univoca rappresentazione interna.

8 Architettura Sistema NLA Riconoscimento Fonemi Il sistema che opera la conversione dei fonemi in una rappresentazione macchina interna è detto Speech-to-Text System,, ed è oggetto del campo della Spoken Language Processing. waveform spectrum words

9 Architettura Sistema NLA Riconoscimento Fonemi Il sistema per la conversione dei grafemi in una rappresentazione macchina interna realizza uno scanning del documento cartaceo generando un file. Tale sistema è detto Optical Character Recognitioner (OCR). L OCR può basare la sua azione su una base di conoscenza che contiene tutti i possibili elementi tipografici per ogni simbolo della lingua naturale. Tale approccio diventa impraticabile nel caso del riconoscimento della grafia.

10 Architettura Sistema NLA Rappresentazione strutturale Si cercano di individuare i tratti costituenti (primitivi) di ogni carattere tipografico, e di basare il riconoscimento di un grafema sulla presenza e la relazione dei costituenti primitivi.

11 Architettura Sistema NLA INPUT ORALE SCRITTO RICONOSCIMENTO DI FONEMI RICONOSCIMENTO DI CARATTERI ANALISI LESSICALE RICONOSCITORE DI FORME CATEGORIZZAZIONE Ha il compito di riconoscere gli elementi lessicali, e assegnarvi informazioni in merito alla loro categoria grammaticale, risolvendo le ambiguità Tokenizer: segmenta il testo in token e Stemmer i l fforme riconosce le radicali ANALISI SINTATTICA ANALISI SEMANTICA Necessita di conoscenze di tipo morfologico e della definizione di token Tagger: assegna le categorie grammaticali ai token

12 Architettura Sistema NLA Tokenizer/Stemmer Il Tokenizer deve individuare gli elementi linguistici atomici all interno del testo in input. A tale scopo è necessario conoscere gli opportuni delimitatori. Il problema è dato dalla non determinatezza dei delimitatori: essi dipendono fortemente dalla lingua adoperata nel testo e sono presenti irregolarità (unità atomiche composte da un insiemediparole,i.epolirematiche).inoltreèpossibilecheun carattere di delimitazione non sia adoperato per delimitare parole (ad esempio il punto nelle sigle). Lo Stemmer deve operare la lemmatizzazione del testo, aggiungendo del metalinguaggio che specifica il lemma e il tipo di flessione dell unità in esame.

13 Architettura Sistema NLA Tagger Il POS-Tagger ha il compito di categorizzare le unità linguistiche all interno dei cluster sintattici delle parti del discorso. Un forte problema è rappresentato da una elevata ambiguità presenti nelle lingue. Un esempio sono gli omografi: ad esempio porta funge sia da nome che da voce verbale. Tale problema può essere risolto con un lavoro sinergico del tagger con il tokenizer, e da approcci che non si limitano ad analizzare singolarmente la specifica voce linguistica, ma contestualizzandola. (il 40% delle ambiguità di una lingua è risolvibile analizzandone il contesto d uso)

14 Architettura Sistema NLA ORALE INPUT SCRITTO Ha il compito di assegnare una caratterizzazione sintattica i alla frase RICONOSCIMENTO DI FONEMI RICONOSCIMENTO DI CARATTERI ANALISI LESSICALE RICONOSCITORE DI FORME CATEGORIZZAZIONE ANALISI SINTATTICA ANALISI SEMANTICA Necessita di conoscenze di tipo sintattico per il completo svolgimento del suo task

15 Architettura Sistema NLA Parser Data una frase ed una grammatica, il compito del parser èdireselafrasepuò essere generata dalla grammatica e, in caso affermativo, assegnare alla frase un adeguata rappresentazione sintattica, detto albero di parsing. Un albero di parsing è un grafo aciclico etichettato, caratterizzato da: 1. un nodo radice, detto Sentence (S), 2. dei nodi foglia con le parole della frase 3. deinodiintermedi,cherappresentanolastrut- tura sintattica assegnata alla frase Una frase non sempre ha un univoca struttura sintattica. Ho visto un uomo con un telescopio

16 Architettura Sistema NLA ORALE INPUT SCRITTO Necessita di conoscenze di tipo semantico per il completo svolgimento del suo task RICONOSCIMENTO DI FONEMI RICONOSCIMENTO DI CARATTERI ANALISI LESSICALE RICONOSCITORE DI FORME CATEGORIZZAZIONE ANALISI SINTATTICA Ha il compito di eseguire un analisi i semantica del testo in ingresso, generando meaning rapresentations. ti ANALISI SEMANTICA

17 Architettura Sistema NLA Analizzatore semantico L analisi semantica assegna a pezzi di struttura pezzi di significato. La struttura è composta da simboli e relazioni tra simboli che rappresentano stati del mondo.

18 Stemmer Gli stemmer sono analizzatori morfologici di due tipi: Inflectional morphology, esprime relazioni sintattiche tra le parole tra le parole della stessa parte del discorso. Derivational Morphology, esprime la creazione di nuove parole da partire da quelle conosciute, e cerca di collegare le differenti parole con la forma radicale. La derivazione solitamente coinvolge un cambiamento nella categoria grammaticale della parola, e può implicare un cambiamento del suo significato. Gli analizzatori morfologici fanno un intenso uso di regole e dizionari lessicali, che possono essere temporalmente dispendiosi. Molte applicazioni non richiedono analizzatori linguisticamente corretti, in tali casi si ha analizzatori euristici, che usano regola empirica approssimativa.

19 Stemmer Un algoritmo di stemming molto adoperato è l Algoritmo di Potter, costituito da una serie in cascata di regole di riscrittura delle parole. Le regole hanno una forma del tipo: (condizione) S1 -> S2 ovvero, se la forma flessa finisce con il suffisso S1 e la forma radicale soddisfa la condizione, allora S1 è sostituito da S2. (m > 0) ATIONAL -> ATE relational -> relate (m > 0) FUL -> ε hopeful -> hope Se la forma flessa ha parte radicale di misura positiva, il suffisso ATIONAL o FUL sono sostituiti da ATE o la stringa vuota, cosicché il termine relational diventa relate e hopeful, invece, è hope.

20 Tagger Un Tagset di Tagging è l insiemei delle classi morfologiche di appartenenza delle parole. Classi chiuse, elementi con appartenenza relati- vamente fissata Penn Termbank Parto-of-Speech of Tags Classi aperte, col tempo vengono affiliati nuovi termini, ovvero parole di recente conio

21 Tagger Tipi di Tagging Rule-based tagger, posseggono un grande database di regole di determinazione della parte del discorso di una unità linguistica Stochastic tagger, adoperano un corpus di riferimento per determinare la probabilità che una data unità linguistica abbia un tag morfologico in un preciso cotesto Trasformation-based tagger, è un approccio ibrido, e ha un insieme di regole per l assegnazione dei tag alle unità linguistiche, e anche le regole computate a partire da uncorpusappositamente annotato per la correzione di eventuali errori di assegnazioni di tag

22 Parser Il parsing può essere visto it come un processo di ricerca, all interno dello spazio di tutti i possibili alberi di parsing generabili dalla grammatica in ingresso, dell albero più adatto alla frase in esame. Due parametri fondamentali: 1. le regole grammaticali che predicono come da un nodo radice S ci siano solo alcune vie di scomposizione possibili per ottenere i nodi terminali; 2. le parole della frase, che ricordano come la (s)composizione di S debba terminare

23 Parser Approcci deterministici al Parsing Top-down Si decide di partire dal nodo radice per generare la strut- tura adatta alla frase data in ingresso. Bottom-up Si decide di partire dalle singole parole, cercando di combinarle in strutture compatibili alla grammatica.

24 Parser La strategia Top-Down non perde tempo cercando di costruire alberi non consistenti con la grammatica, ma genererà tutte le alternative possibili prescindendo dall input. La strategia Bottom-Up, sarà consistente (almeno localmente) l con l input fornito, ma potrà generare per molti livelli sotto-alberi, che alla fine si riveleranno incombinabili per ottenere S. Questo tipo di ricerche sono comunque cieche: non esistono euristiche che suggeriscono la scelta migliore non si rendono conto dell errore errore finché l espansione non è stata completamente effettuata. Perché non combinare i due approcci, introducendo un filtro agli alberi generati?

25 Parser Algoritmo del Left Corner idea di base combinare una strategia t Top-Down per la generazione di strutture tt filtrando le soluzioni con considerazioni di natura Bottom-Up. regola dell angolo sinistro (left-corner) ogni categoria alla fine verrà riscritta come una serie di parole linearmente ordinate e conoscere la prima parola della serie aiuterà a prevedere la categoria o almeno ad escludere soluzioni inconsistenti con questa parola Da tale strategia si ottengono i risultati migliori se preliminarmente viene compilata una tabella che direttamente associa alle categoria un loro possibile left-corner:

26 Parser Una grammatica si dice ricorsiva a sinistra, seammetteuna regola dove un simbolo non terminale che è sia parte della condizione di innesco che prodotto di una regola grammaticale. Il parsing può venire a trovarsi in situazioni di stallo o di loop infinito su una o più regole con ricorsione a sinistra. Weakly equivalent grammar: riscrivere una nuova grammatica con lo stesso potere espressivo della precedente, cercando di riformulare le regole ricorsive Programmazione dinamica: memorizzare i risultati intermedi del parsing pernon ripetere il lavoro già fatto che si può evitare e non cadere nella ricorsione

27 Parser La programmazione dinamica memorizza i risultati intermedi in una costruzione grafica che prende il nome di chart. Un chart è un grafo aciclico etichettato, dove un arco contiene l indicazione dei nodi iniziali e terminali e della regola che deve venir applicata. [0,5 S::= NP VP ] [0,2 NP::= DET N] [2,5 VP::= Verbo NP ] The dog eats a bone

28 Parser Algoritmo di Earley L algoritmo inizia con una fase di inizializzazione applicando la regola γ -> S. Ad ogni passo, uno dei seguenti tre operatori viene applicato al chart corrente: Previsione: crea nuovi stati nell entrata corrente del chart, rappresentando le aspettative top-down della grammatica; Scansione: verifica se nell input esiste, una parola la cui categoria combacia con quella prevista dallo stato a cui la regola si trova. Se il confronto è positivo, la scansione produce un nuovo stato in cui l indice di posizione ii viene spostato t dopo la parola riconosciuta. i Completamento: determina che un sintagma significativo è stato riconosciuto e verifica se l avvenuto riconoscimento è utile per completare qualche altra regola rimasta in attesa di quella categoria. Una volta costruito il chart, è possibile ottenere un albero di parsing, estraendo l arco larcooo l insieme linsiemedi archi che dal primo nodo portano all ultimo ultimo.

29 Parser Approccio statistico al Parsing Nel Parsing statistico si scelgono le regole da espandere in base a probabilità calcolate l apartire da un corpus, per arrivare il prima possibile ad un analisi ie restituirla come più probabile. Dato un insieme di regole, fornite sia da esperti che definite a partire da un analisi empirica di un insieme di testi, si definisce la probabilità di applicazione della regola come: ovvero, la probabilità nota la parte di innesto è pari al numero di volte in cui la regola è applicata nel corpus, diviso il numero di occorrenze della parte di innesco.

30 Applicazione Corret- tore ortografico Ricono- scitore di forme scorrette Suggeri- tore della forma corretta Il riconoscitore di forme scorrette funziona mediante la comparazione con un dizionario di riferimento con tutte le possibili flessioni di ogni parola. Per ridurre la complessità spaziale, si preferisce memorizzare solo la parte radicale delle parole, e corredare il dizionario di un insieme di regole di scomposizione morfologica o di flessione. A fronte dell immissione di alcune parole, lo strumento opera per prima cosa lo stemming con le regole di scomposizione, ottenendo la forma radicale, e successivamente controlla la presenzadi quest ultima nel dizionario. i i

31 Applicazione Gli approcci per un suggeritore di forme correte sono: Basato sugli n-grammi: il sistema ha un insieme di sequenze di caratteri plausibili, e quando in un testo si riscontra una sequenza non consentita, la si segnala come errore., e lo sostituisce con una delle sequenze affini. Basato sulla distanza minima: i candidati per la correzione sono ottenuti applicando alla parola erronea gli operazioni di cancellazione, inserimento e alterazione di una lettera, secondo il principio p della minimizzazione della distanza della nuova parola con quella erronea. Per distanza tra due parole, si intende il numero di lettere difformi tra le parole, a parità di lunghezza. Se due parole sono di lunghezza differente, a quella più breve si aggiungono in coda tanti caratteri nulli, quanti ne bastano per arrivare alla lunghezza dell altra l parola del confronto.