Automi & Morfologia. Marco Pennacchiotti. Tel Ing.dell Informazione, stanza 1035 (primo piano)

Transcript

1 Intelligenza Artificiale A.A Giugno 2005 Automi & Morfologia Marco Pennacchiotti Tel Ing.dell Informazione, stanza 1035 (primo piano)

2 Sommario Morfologia Automi a stati finiti (FSA) Cosa sono FSA in Prolog FSA non-deterministici (NFSA) Introduzione alla Morfologia FSA e Morfologia: riconoscimento Trasduttori a stati finiti (FST) Cosa sono FST in Prolog FST e Morfologia: parsing MORFOLOGIA POS TAGGING SINTASSI SEMANTICA

3 FSA: definizione formale Un FSA è definito dai seguenti parametri: - Q : un insieme finito di N stati q 0.q N - Σ : un alfabeto finito di simboli - q 0 : lo stato iniziale - F : un insieme di stati finali F Q -δ(q,i) : funzione di transizione tra stati che restituisce un nuovo stato a partire da un dato stato e un simbolo in input Un FSA può essere anche rapprentato attraverso una state-transition table FSA

4 FSA come riconoscitori SCOPO:Data una stringa in input verificare se essa appartiene al linguaggio formale definito dall automa. ALGORITMO DI RICONOSCIMENTO indice inizio stringa in input Stato-corr q 0 WHILE (input) IF vuota(trans-table[stato-corr,stringa[indice]]) return reject ELSE stato-corrente trans-table[stato-corr,stringa[indice]] indice indice +1 IF (stato-corrente è stato finale) return accept ELSE return reject FSA

5 FSA in Prolog FSA iniziale(0). finale(4). arco(0,1,b). arco(1,2,a). arco(2,3,a). arco(3,4,!). arco(3,3,a). Definisce lo stato iniziale Definisce lo stato finale Definisce le transizioni (δ(q,i)) RICONOSCITORE / GENERATORE test(stringa) :- iniziale(x), riconosci(x,stringa). riconosci(stato,[]) :- riconosci(stato,stringa) :- finale(stato). traversa(simbolo,[simbolo Nuova_str], Nuova_str). arco(stato,stato_suc,simbolo), traversa(simbolo,stringa,nuova_stringa), riconosci(stato_suc,nuova_stringa). FSA

6 FSA in Prolog Utilizzo dell automa Prolog come riconoscitore:?- test([b,a,a,a,!]). YES La stringa appartiene al linguaggio?- test([b,a,b,!]). NO La stringa non appartiene al linguaggio Utilizzo dell automa Prolog come generatore:?- test(x). baa!;baaa!;baaaa!; Tutte le infinite stringhe appartenenti al linguaggio (/baa+!/) NOTE: -Il prolog implementa in maniera semplice e naturale sia l FSA (grazie alla sua natura dichiarativa), sia l algoritmo di riconoscimento (grazie allo spazio di ricerca e al backtracking) - L FSA implementato definisce implicitamente un linguaggio formale (senza enumerare tutte le stringhe) FSA

7 FSA in Prolog Esempio di semplice riconoscitore di sintagmi nominali: iniziale(0). finale(2). arco(0,1,det). arco(0,2,pn). arco(1,2,cn). arco(1,1,adj). arco(2,0,prep). Il lessico è rappresentato separatamente: lex(a,det). lex(the,det). lex(boy,cn). lex(snowboard,cn). lex(girl,cn). lex(paul,pn). lex(nice,adj). lex(new,adj). lex(with,prep). lex(of,prep). det adj prep cn pn riconosci(stato,[]) :- riconosci(stato,stringa) :- finale(stato). arco(stato,stato_suc,cat), traversa(cat,stringa,nuova_stringa), riconosci(stato_suc,nuova_stringa). traversa(cat,[simbolo Nuova_str], Nuova_str):- lex(simbolo,cat). FSA

8 FSA in Prolog FSA 1 FSA 2 FSA 3 FSA 4 iniziale(0). finale(4). arco(0,1,b). arco(1,2,a). arco(1,3,e). arco(2,3,a). arco(2,2,d). arco(3,4,!). arco(3,2,c). iniziale(0). finale(4). arco(0,1,b). arco(1,2,a). arco(1,3,e). arco(2,3,a). arco(2,2,d). arco(3,2,c). arco(3,4,!). iniziale(0). finale(4). arco(0,1,b). arco(1,3,e). arco(1,2,a). arco(2,3,a). arco(2,2,d). arco(3,4,!). arco(3,2,c). iniziale(0). finale(4). arco(0,1,b). arco(1,2,a). arco(1,3,e). arco(2,2,d). arco(2,3,a). arco(3,4,!). arco(3,2,c). 1. Disegnare l FSA corrispondente alle 4 definizioni. 2. Cosa cambia nelle tre diverse implementazioni Prolog dell FSA? ESERCIZIO 1

9 FSA e Prolog 1. Scrivere un FSA che riconosca espressioni monetarie del tipo: un euro, due euro, venti tre euro, venti uno ero dieci cent, trenta due euro trenta quattre centesimi, due cent. Il cui vocabolario sia Σ={un, due, tre, dieci,venti,,euro,cent} 2. Implementare in Prolog utilizzando il predicato lex ESERCIZIO 2

10 Sommario Strumenti per la Morfologia Automi a stati finiti (FSA) Cosa sono FSA in Prolog FSA non-deterministici (NFSA) Introduzione alla Morfologia FSA e Morfologia: riconoscimento Trasduttori a stati finiti (FST) Cosa sono FST in Prolog FST e Morfologia: parsing

11 FSA non-deterministici (NFSA) Un automa è detto non-deterministico se ha due archi uguali uscenti dallo stesso stato. Quindi: - Deterministico vuol dire che ad ogni stato può essere presa una sola decisione - Non-Deterministico vuol dire che ad ogni stato si può scegliere tra più decisioni Equivalenza tra FSA e NFSA - Un NFSA può essere sempre convertito in un FSA equivalente (che definisce cioè lo stesso linguaggio) - NFSA e FSA hanno quindi lo stesso potere di riconoscimento/generazione - L FSA equivalente di un FSA ha sempre più stati dell FSA NFSA

12 FSA non-deterministici (NFSA) Un tipo particolare di non-determinismo è quello causato dalla presenza di ε- transizioni (o jump arcs) ε Una ε-transizione corrisponde ad un passaggio di stato che non influenza la stringa in esame: - in riconoscimento: non viene letto il simbolo corrente della stringa in generazione: non viene prodotto alcun simbolo NFSA

13 FSA non-deterministici: ricerca Riconoscimento: negli stati non-deterministici l FSA può seguire strade diverse, ovvero prendere decisioni errate. In tal caso deve essere in grado di: - Riconoscere la soluzione errata; - Cercare altre soluzioni prendendo strade diverse; - Ricordare quali sono le strade diverse L automa deve quindi effettuare una ricerca nello spazio delle soluzioni (state-space search) Ad ogni bivio (choice point) devono quindi essere memorizzate in una agenda tutte le coppie di stati alternativi e la posizione nella stringa dopo la transizione δ (search-states) SEARCH STATES STATO CORRENTE q2, [b,a,a,a,a] q3, [b,a,a,a,a] q2, [b,a,a,a,a] NFSA

14 Ricerca in NFSA: esempio b a a a! \ q 0 q 1 q 2 q 2 q 3 q 4 NFSA

15 Ricerca in Profondità NFSA: esempio NFSA

16 Ricerca in Ampiezza NFSA: esempio NFSA

17 Ricerca in NFSA: algoritmo di ricerca NFSA

18 NFSA in Prolog Come implementare la ricerca sugli NFSA in Prolog?? L algoritmo di backtracking del Prolog implementa automaticamente la ricerca, effettuando una ricerca in profondità delle soluzioni!! Unica aggiunta necessaria, per gestire le ε-transizioni (#): test(stringa) :- iniziale(x), riconosci(x,stringa). riconosci(stato,[]) :- riconosci(stato,stringa) :- ε finale(stato). traversa(simbolo,[simbolo Nuova_str], Nuova_str). traversa( #, Stringa, Stringa). arco(stato,stato_suc,simbolo), traversa(simbolo,stringa,nuova_stringa), riconosci(stato_suc,nuova_stringa). NFSA