Analisi morfologica. Si analizza ogni parola PRESA SINGOLARMENTE e se ne esplicitano le cara%eris/che gramma/cali:

Transcript

1 E so%oproblemi Per ges/re le difficoltà che la comprensione del linguaggio nel suo complesso comporta, si scompone il compito (task) del NLP in vari so%oproblemi (subtasks) rela/vamente indipenden/ e consisten/ con i livelli di analisi iden/fica/ a livello teorico.

2 Analisi morfologica Si analizza ogni parola PRESA SINGOLARMENTE e se ne esplicitano le cara%eris/che gramma/cali: - categoria gramma/cale della parola (Part of Speech tagging), come nome, verbo, aggenvo, ecc. - Lemma/zzazione o ricerca delle radici, come vedere per vidi, rosso per rossi, ecc.

3 Analisi morfologica Deve essere chiarito cosa si intende per parola PRESA SINGOLARMENTE ovvero si deve affrontare la tokenizzazione del testo: - mangiamelo è una singola parola o sono tre? - della è una singola parola o sono due? - e la punteggiatura?

4 Es.: la morfologia di CANI è CANE (lemma), NOME COMUNE (categoria gramma/cale), MASCHILE (genere), SINGOLARE (numero) Es.: la morfologia di DORMÌ è DORMIRE (lemma), VERBO (categoria gramma/cale), INDICATIVO (modo), PASSATO REMOTO (tempo), 3 (persona), SINGOLARE (numero)

5 Analisi morfologica Un esempio di analisi morfologica di una frase 1. la (IL ART DEF F SING) 2. storia (STORIA NOUN COMMON F SING) 3. non (NON ADV NEG) 4. educa (EDUCARE VERB MAIN IND PRES 3 SING) 5. a (A PREP MONO) 6. nulla (NULLA NOUN COMMON M SING)

6 E se la parola è ambigua? Un esempio di analisi possibile: 1. la (IL ART DEF F SING) 2. pesca (PESCA NOUN COMMON F SING) pesca (PESCARE VERB MAIN IND PRES 3 SING) pesca (PESCARE VERB MAIN IMP PRES 2 SING) 3. non (NON ADV NEG) 4. è (ESSERE VERB MAIN IND PRES 3 SING) 5. un (UN ART INDEF M SING) 6. frumo (FRUTTO NOUN COMMON M SING)

7 Analisi sintanca Riguarda le informazioni a livello dell intera frase e si può impostare secondo due modelli teorici: - riconoscimento della strumura sintagmapca della frase, cioè dei sintagmi e del modo in cui si compongono tra di loro - riconoscimento della strumura relazionale della frase in cui gli interi sintagmi o le singole parole sono legate tra di loro

8 Analisi sintanca La strumura sintagmapca: - in cosa consiste - come si rappresenta

9 Analisi sintanca: sintagmi La strumura sintagmapca della frase, de%a anche stru%ura a cosptuenp rappresenta la suddivisione della frase in so%ounità più piccole e così via procedendo in ordine gerarchico: La frase è un sintagma composto (e.g.) da sintagma nominale + sintagma verbale. Il sintagma verbale è composto (e.g.) da verbo + sintagma nominale. Il sintagma nominale è composto da ar/colo + sintagma nominale ecc.

10 Analisi sintanca: sintagmi La strumura sintagmapca della frase si rappresenta tradizionalmente con degli alberi, perchè sono le stru%ure che meglio consentono di mostrare un ordinamento gerarchico di elemen/. Quindi il risultato prodo%o su una frase da un sistema di analisi sintanca, de%o PARSER, è un albero sintanco o albero di derivazione.

11 Analisi sintanca: sintagmi

12 Analisi sintanca: sintagmi E se la frase con/ene ambiguità sintanche? Una frase ambigua perme%e più di una analisi sintanca, quindi verranno costruite più stru%ure per la stessa frase. Esempio: Giorgio vide l uomo dentro il parco con il telescopio

13 Analisi sintanca: sintagmi

14 Analisi sintanca: sintagmi L albero di derivazione corrisponde alla seguente interpretazione della frase ambigua: Giorgio vide l uomo, Giorgio lo vide dentro il parco, Giorgio lo vide u/lizzando il telescopio

15 Analisi sintanca: sintagmi

16 Analisi sintanca: sintagmi L albero di derivazione corrisponde alla seguente interpretazione della frase ambigua: Giorgio vide l uomo, Giorgio lo vide dentro il parco, il parco che ha il telescopio

17 Analisi sintanca: sintagmi

18 Analisi sintanca: sintagmi L albero di derivazione corrisponde alla seguente interpretazione della frase ambigua: Giorgio vide l uomo, l uomo che stava dentro il parco, e Giorgio lo vide u/lizzando il telescopio

19 Analisi sintanca: sintagmi

20 Analisi sintanca: sintagmi L albero di derivazione corrisponde alla seguente interpretazione della frase ambigua: Giorgio vide l uomo, l uomo che stava dentro il parco, il parco che ha il telescopio

21 Analisi sintanca: sintagmi I qua%ro alberi di derivazione non esauriscono tu%e le possibili stru%ure che si possono costruire per la frase. In questo esempio l ambiguità è determinata dalla presenza di sintagmi preposizionali che possono essere aggancia/ pra/camente a qualunque altro sintagma.

22 Analisi sintanca La strumura relazionale: - in cosa consiste - come si rappresenta

23 Analisi sintanca: relazioni La strumura relazionale, de%a anche strumura a dipendenze, mostra in che rapporto stanno tra loro le parole della frase tramite le cosidde%e relazioni gramma/cali o di dipendenza. In il cane dorme cane è il SOGGETTO del verbo dorme. In Mario sovente mangia banane sovente è un modificatore del verbo mangia, mentre banane è l ogge%o del verbo mangia.

24 Analisi sintanca: relazioni La strumura a dipendenze della frase si rappresenta tradizionalmente con degli alberi, perchè sono le stru%ure che meglio consentono di mostrare le relazioni sugli archi che legano le parole. Quindi il risultato prodo%o su una frase da un sistema di analisi sintanca, de%o PARSER, è un albero sintanco a dipendenze.

25 Analisi sintanca: relazioni Es.: la sintassi della frase Giorgio ama Maria ama SUBJ OBJ Giorgio Maria

26 Analisi sintanca: relazioni Es.: la sintassi della frase Balzac non perse mai la sua inclinazione per la speculazione.

27 Analisi sintanca: relazioni Es.: la sintassi della frase Galli lae/ in castra pergunt

28 Analisi sintanca: relazioni Es.: la sintassi della frase Cicero consul coniura/onem Ca/linae detexit

29 Analisi sintanca Qualunque sia la rappresentazione ado%ata per la sintassi, non si risolve il problema dell ambiguità. Molto sovente le ambiguità del linguaggio naturale non sono percepite dagli esseri umani. Questo ha indo%o gli studiosi di NLP a credere che tra%are il linguaggio naturale fosse molto più semplice di quello che si è poi rivelato.

30 Analisi sintanca Un esempio concreto di come l ambiguità sintanca non viene percepita? Io mangio le fragole con la panna. Quante diverse stru%ure sintanche posso costruire?

31 A) mangio Io le fragole? con la panna B) mangio Io le fragole con la panna

32 Io mangio le fragole con la panna. Nessun essere umano sceglierebbe la B ed aggancerebbe il sintagma preposizionale con la panna al sintagma verbale mangio, invece che al sintagma nominale le fragole. Eppure la stru%ura B è assolutamente sensata dal punto di vista sintanco se si prescinde da qualunque considerazione seman/ca.

33 A) mangio Io le fragole? con il cucchiaio B) Io le fragole mangio con il cucchiaio

34 InfaN, in altri casi, come Io mangio le fragole con il cucchiaino. la stru%ura B verrebbe naturalmente scelta, agganciando il sintagma preposizionale con il cucchiaino al sintagma verbale mangio, invece che al sintagma nominale le fragole.

35 Inoltre, la presenza di ambiguità é proporzionale alla lunghezza della frase. 3 (7): List the sales of products in (8): List the sales of products produced in (13): List the sales of products produced in 1973 with the products in (14): List the sales of products produced in 1973 with the products produced in 1972

36 Il problema dell ambiguità provocata dalla presenza dei sintagmi preposizionali è uno dei più classici e difficili per i sistemi di NLP. Alcuni esperimen/ hanno dimostrato che scegliere dove agganciare il sintagma preposizionale è un compito difficile anche per gli esseri umani. Sicuramente i risulta/ dimostrano che lo è molto di più per i sistemi di NLP.

37 Un esperimento sull ambiguità sintanca provocata dall aggancio del sintagma preposizionale - applicazione di un analizzatore sintanco (parser) ad un corpus di 13 milioni di parole - rilevazione delle associazioni lessicali, i.e. co- occorrenze di nomi o verbi con determinate preposizioni, ES. to in abbinamento con send nel contesto send NP to NB: il parser, non può risolvere le ambiguità stru%urali e produce par/ sconnesse di stru%ure sintanche da cui è estra%a l associazione lessicale

38 Vengono estra%e associazioni lessicali, di cui oltre ambigue Si applica il modello probabilis/co Lexical Associa/on score: LA(v,n,p) = log 2 x (P(verb_a%ach p v,n)/ P(noun_a%ach p v,n)) cioè si ca%ura la frequenza con cui cer/ nomi e verbi co- occorrono con certe preposizioni e la si rappresentata con il modello LA

39 Lo stesso task di aggancio del sintagma preposizionale viene svolto: automaticamente con l approccio corpusbased lessicalizzato (modello LA) >>> errore del 20% separatamente da 2 giudici umani >>> errore del 12-15% automaticamente con approcci strutturali: right association >>> errore del 33% minimal attachment >>> errore del 67%

40 L esperimento dimostra che 1) Il task dell aggancio del sintagma preposizionale è difficile 2) Il task non può essere affrontato con successo grazie a regolarità di /po morfologico e sintanco, quindi non esiste una regola che ci consenta di risolverlo 3) Una certa regolarità esiste, ma solo a livello sta/s/co e probabilmente legata alla seman/ca delle parole coinvolte nella stru%ura

41 Questo esperimento è stato determinante per la definizione degli approcci basa/ su corpora Se le regolarità del linguaggio non possono essere formalizzate in regole, non vuol dire che non esistono. Come il linguaggio stesso, le regole che lo governano sono complesse e hanno molte varian/, per cui diventa molto difficile descriverle e il metodo più sensato per farlo sembra essere la sta/s/ca.