Linguistica Computazionale

Transcript

1 Linguistica Computazionale Grammatiche formali e parsing 11 dicembre 2014

2 Parsing a Stati Finiti Shallow Parsing Chunking ad ogni frase viene assegnata un unica analisi sintattica sottospecificata il testo è segmentato in una sequenza piatta di unità sintattiche non-ricorsive (chunks) le relazioni sintattiche intra-chunk rimangono non risolte (per tipo ed ambito) nessun ricorso a informazione lessicale sintattico-semantica (sottocategorizzazione, restrizioni di selezione) [Il Presidente] [spera] [che] [l Unione] [Europea] [riuscirà] [a conquistare] [un ruolo] [di primo piano] [a livello] [internazionale] [entro pochi anni] 2

3 Parsing a Stati Finiti Shallow parsing Chunks corrispondono a sequenze testuali di parole adiacenti nessun livello di incassamento sono individuati usando solo informazioni morfosintattiche e vincoli sintattici locali (sequenze di tags) compatibili ma non equivalenti con i costituenti sintagmatici Applicazioni Information Extraction, Speech Recognition, NLP robusto, ecc. base di partenza per successivi analisi sintattiche dipendenze intra-chunks 3

4 Chunking e ASF Automa per chunk nominale Agg Agg Det N q 0 q 1 q 2 4

5 Shallow parsing chunking 02 [ [ CC: N_C] [ DET: IL#RD@MS] [ [ POTGOV: PERICOLO#S@MS]] il IL#RD@MS+ pericolo PERICOLARE#V@S1IP PERICOLO#S@MS+ 04 [ [ CC: FV_C] [ [ AUX: ESSERE#V] [ MOD: POTERE#V@S3II] [ PREMODIF: NON#B] [ POTGOV: SOTTOVALUTARE#V@MSPR SOTTOVALUTATO#A@MS]] non NON#B+ poteva POTERE#V@S3II+ essere ESSERE#S@MS ESSERA#S@FP ESSERE#V@F+ sottovalutato SOTTOVALUTARE#V@MSPR+ SOTTOVALUTATO#A@MS+ word id forma lemma pos tratti id tipo accordo ruolo 1 Il il RD MS 1 DET 2 pericolo pericolo S MS 1 POTGOV 3 non non B NULL 2 PREMODIF 4 poteva potere V S3II 2 MOD 5 essere essere V F 2 AUX 6 sottovalutato sottovalutare V MSPR 2 POTGOV 5

6 Full parsing Full Parser ricostruisce l organizzazione sintagmatica completa della frase e le relazioni di dipendenza funzionale tra i costituenti arg [S [NP Il Presidente] subj [VP spera [S che [NP l Unione Europea] i [VP riuscirà subj [PP a [S PRO i [VP conquistare obj_d [NP un ruolo [PP di primo piano] [PP a livello internazionale]] [PP entro pochi anni]]]]]]]] 6

7 Grammatiche formali Le grammatiche formali forniscono un modello computazionale per descrivere la struttura sintattica del linguaggio Grammatica Context-Free (CF) (Phrase-Structure Grammar) insieme di regole (produzioni) che generano tutte e solo le frasi grammaticali di una lingua (grammatiche generative) assegnano a ciascuna frase la struttura sintagmatica appropriata Una grammatica CF è una quadrupla <N, Σ, P, S> tale che: N è l insieme dei simboli non terminali; Σ è l insieme dei simboli terminali; P è un insieme d produzioni, ciascuna della forma A à α 1,, α n, dove A è un simbolo non terminale e α 1,, α n è una sequenza ordinata di simboli terminali o non terminali; S N è il simbolo iniziale (sentence) 7

8 Grammatiche formali Simboli terminali (Σ) le parole del linguaggio generato (descritto) dalla grammatica uomo, giornale, il, un, legge, ecc. Simboli non terminali (N) i simboli usati dalla grammatica per descrivere i costituenti sintagmatici NP, VP, V, N, Det, ecc. Produzioni regole di riscrittura di simboli (p 1 ) S à NP VP (p 4 ) N à giornale uomo (p 2 ) NP à Det N (p 5 ) Det à il un (p 3 ) VP à V NP (p 6 ) V à legge regole di inserzione lessicale 8

9 Grammatiche formali Linguaggio generato da una grammatica G (L G ) l insieme di tutte le stringhe di L generate da G dato un alfabeto Σ, una grammatica G genera una stringa di simboli x Σ* se esiste una derivazione di x in G La stringa αaβ deriva la stringa αγβ (αaβ αγβ), se e solo esiste una produzione nella grammatica A à γ S NP VP Derivazione Data un grammatica G = <N, Σ, P, S>, una derivazione di una frase x Σ* è una sequenza di stringhe x 1,, x n, tc. x 1 = S, x=x n e per ogni x i esiste una produzione tale che x i x i+1 9

10 Grammatiche formali S 1 NP VP 2 Det N VP 5 un N VP 4 un uomo VP 3 un uomo V NP 6 un uomo legge NP 2 un uomo legge Det N 5 un uomo legge il N 4 un uomo legge il giornale L G = {un uomo legge il giornale, un giornale legge un uomo, il giornale legge il giornale, un uomo legge un uomo, il uomo legge un giornale, un giornale legge un giornale, } Per ogni derivazione di una stringa da parte di G esiste un albero sintagmatico (parse tree) che la rappresenta: [S [NP [Det un] [N uomo]] [VP [V legge] [NP [Det il] [N giornale]]]] PARSING Assegnazione ad una frase del suo albero sintagmatico 10

11 Grammatiche e ambiguità Una stringa x generata da una grammatica G è sintatticamente ambigua se e solo esiste più di una derivazione di x in G (p 1 ) S à NP VP (p 6 ) PP à P NP (p 2 ) NP à Det N (p 7 ) N à uomo giornale occhiali (P 3 ) NP à Det N PP (p 8 ) Det à il un gli (p 4 ) VP à V NP (p 9 ) V à legge (p 5 ) VP à V NP PP (p 10 ) P à con S 1 NP VP 2 Det N VP 8 un N VP 7 un uomo VP 4 un uomo V NP 9 un uomo legge NP 3 un uomo legge Det N PP 8 un uomo legge il N PP 7 un uomo legge il giornale PP 6 un uomo legge il giornale P NP 10 un uomo legge il giornale con NP 2 un uomo legge il giornale con Det N 8 un uomo legge il giornale con gli N 7 un uomo legge il giornale con gli occhiali S 1 NP VP 2 Det N VP 8 un N VP 7 un uomo VP 5 un uomo V NP PP 9 un uomo legge NP PP 2 un uomo legge Det N PP 8 un uomo legge il N PP 7 un uomo legge il giornale PP 6 un uomo legge il giornale P NP 10 un uomo legge il giornale con NP 2 un uomo legge il giornale con Det N 8 un uomo legge il giornale con gli N 7 un uomo legge il giornale con gli occhiali 11

12 Grammatiche ed ambiguità [S [NP [Det un] [N uomo]] [VP [V legge] [NP [Det il] [N giornale] [PP [P con] [NP [Det gli] [N occhiali]]]]]] [S [NP [Det un] [N uomo]] [VP [V legge] [NP [Det il] [N giornale]] [PP [P con] [NP [Det gli] [N occhiali]]]]] 12

13 Ricorsività e ASF Organizzazione ricorsiva dei costituenti [S [NP [ S [NP ]]] [VP [NP [PP [NP [PP NP]]]]]] Un esempio di grammatica CF ricorsiva NP à Det N PP PP à P NP left-recursive right-recursive 13

14 Automi e grammatiche formali Automi e grammatiche servono entrambi per definire linguaggi (formali) Le grammatiche CF appartengono ad una famiglia di grammatiche formali che differiscono per il tipo di regole Grammatiche lineari (regolari) una grammatica è regolare se e solo se ogni regola è della forma A à xb o A à x, dove A e B sono simboli non terminali e x è un simbolo terminale ogni regola ha a destra al più un simbolo non terminale TEOREMA Per ogni ASF esiste sempre una grammatica regolare che genera lo stesso linguaggio (e viceversa) 14

15 Automi, grammatiche e linguaggi La gerarchia di Chomsky Linguaggi Tipo 0 Grammatiche non ristrette Macchine di Turing Linguaggi Tipo 1 Grammatiche Context Sensitive Linear Bounded Automata Linguaggi Tipo 2 Grammatiche CF Automi a Pila English is not a finite state language Chomsky (1957) Linguaggi Tipo 3 Grammatiche regolari Automi a Stati Finiti 15

16 Parsing e ambiguità Ambiguità sintattica un espressione linguistica può avere più di un analisi sintattica ambiguità soggetto oggetto Ha chiamato Gianni. [[ha chiamato] [ sogg Gianni]] [[ha chiamato] [ ogg Gianni]] PP attachment Ho visto l uomo nel parco col telescopio [ V mangia] [NP il panino] [PP col prosciutto] [ V mangia] [NP il panino] [PP con le mani] V NP PP à a. [ V NP PP] b. [ V [NP PP]] ADJ-attachment Il dottore ha visitato il paziente nudo. 16

17 Lessico e ambiguità Informazione lessicale Permette di ridurre il numero di ambiguità nel parsing Rappresenta l ingrediente necessario per estrarre dal testo il contenuto informativo Lessici computazionali codificano informazione lessicale sintattica e semantica in forma accessibile a programmi di NLP grammatica S à VP NP sogg Ha telefonato Gianni S à VP OK! S S VP à V VP VP à V NP ogg NP sogg VP NO! lessico telefonare V intrans V Gianni V NP ogg ha telefonato ha telefonato Gianni 17

18 Selezione sintattica lessicale Restrizioni di sottocategorizzazione contesto sintattico selezionato da un termine lessicale tipi di complementi (NP, PP, ecc.) selezionati numero di complementi (0,1, 2, ecc.) selezionati obbligatorietà dei complementi caso grammaticale NP subj mangiare NP obj NP subj partire PP_da risposta PP_a u Parzialmente indipendenti dalle proprietà semantiche di una parola: u to donate vs. to give in inglese John donated a book to Mary John gave a book to Mary * John donated Mary a book John gave Mary a book u mangiare vs. divorare in italiano Gianni ha mangiato * Gianni ha divorato 18

19 Lessici computazionali sintattici L informazione sintattico-lessicale è rappresentata in frames di sottocategorizzazione Frames di sottocategorizzazione: numero degli argomenti selezionati dalla testa lessicale categoria sintattica dei costituenti che possono realizzare gli argomenti (PP, NP, ecc.) tratti lessicali degli argomenti (es. tipo di preposizione in un PP argomentale) funzione grammaticale degli argomenti (Subj, Obj, ecc.) opzionalità, controllo, ausiliare selezionato, ecc. & telefonare # $! $ & & CAT : NP ## SUBCAT :! $ $ SLOT _1: $!!! $ % % FUN : subj" "! $ % AUX : avere!" & partire # $! $ & & CAT : NP # #! $ $ SLOT _1: $!!! $ $ % FUN : subj"!! $ SUBCAT : $,!! $ $ & CAT : PP #) * '!! $ $ SLOT _ 2 : $! * '!! $ $ $ FUN : obl! * '!! $ % + $ % PREP : per! "("! $ % AUX : essere!" 19

20 Lessici computazionali sintattici ComLeX ( ) lessico computazionale sintattico per l inglese ~ entrate (nomi, verbi e aggettivi) PAROLE-CLIPS ( ) (verb :orth "build" :subc ((np) (np-for-np) (part-np :adval ("up"))) :TAGS ((TAG :BYTE-NUMBER :SOURCE "brown" :LABEL (NP)) (TAG :BYTE-NUMBER :SOURCE "brown" :LABEL (NP)) (TAG :BYTE-NUMBER :SOURCE "brown" :LABEL (NP))) (noun :orth "assertion" :subc ((noun-that-s) (noun-be-that-s))) lessico di sottocategorizzazione per l italiano ~ entrate (nomi, verbi, aggettivi, avverbi) abbinare; V;avere; 0; np;np;pp.con; abbassare; V;essere; 1; np;inf.a; CON_S; abituare; V;avere; 0; np;np;inf.a;0; CON_O assegnazione; S ;pp.di;pp.a;pp.da_parte_di;0;0 20

21 Full parsing e lessico arg La disponibilità di informazione lessicale è la condizione necessaria per ricostruire l organizzazione sintagmatica completa della frase e le relazioni di dipendenza funzionale tra i costituenti [S [NP Il Presidente] subj [VP spera [S che [NP l Unione Europea] i [VP riuscirà subj [PP a [S PRO i obj_d [VP conquistare [NP un ruolo [PP di primo piano] [PP a livello internazionale]] [PP entro pochi anni]]]]]]]] 21

22 Dependency Parsing come problema di classificazione Esistono diversi metodi per trasformare un compito di analisi sintattica in un compito di classificazione Yamada e Matsumoto (2003), Shift/Reduce parser (o transition-based parser) parser Il compito di analizzare sintatticamente una frase diventa il compito di predire l azione che il parser deve fare per costruire l albero sintattico della frase Ad ogni passo dell analisi il parser usa un classificatore addestrato su una TreeBank (o training corpus) allo scopo di predire quale azione deve compiere dato l insieme delle feature (locali+ contestuali) estratte in quel determinato momento 22

23 Dependency Parsing come problema di classificazione Il parser costruisce l albero a dipendenza analizzando la frase da sinistra verso destra e compiendo tre azioni: Shift, Right e Left: Shift: non c è nessuna relazione tra le due parole target analizzate, l analisi si muove verso destra: Io vidi una donna con gli occhiali --> io vidi una donna con gli occhiali Right: esiste una relazione tra le due parole, il nodo sinistro è considerato dipendente del nodo testa a destra Io vidi una donna con gli occhiali --> io vidi donna con gli occhiali 23 una

24 Dependency Parsing come problema di classificazione Left: esiste una relazione tra le due parole, il nodo sinistro è considerato testa del nodo dipendente a desta io vidi donna con gli occhiali -- > io vidi con gli occhiali una donna una L algoritmo prosegue fino a quando non è stato completato l albero, ovvero sono stati creati tutti i link sintattici 24

25 Dependency parsing come problema di classificazione A questo punto abbiamo ottenuto un albero sintattico non marcato (gli archi non sono marcati con le relazioni di dipendenza: soggetto, oggetto, complemento di tempo, etc). Come possiamo fare per ottenere un albero marcato? Esistono almeno due modi: attraverso un secondo passo di analisi nel quale si classifica ogni arco con la classe sintattica più probabile (problema di classificazione) semplicemente aumentando il numero delle azioni del parser, non più solo Shift, Right e Left, ma: Shift, Right_soggetto, Right_oggetto, Right_comp_di_tempo, ecc. Left_soggetto, Left_oggetto, Left_comp_di_tempo,.. 25

26 Dependency Parsing come Problema di Classificazione Quindi il compito di analisi sintattica di una frase diventa un compito di classificazione che può essere diviso in tre fasi: estrazione delle feature (locali e contestuali) rispetto alle due parole analizzate stima dell azione da eseguire attraverso l algoritmo di apprendimento supervisionato (dato un modello di feature pesate) esecuzione dell azione e creazione dell albero 26