Informatica Teorica. linguaggi non contestuali

Transcript

1 Informatica Teorica linguaggi non contestuali di tipo 2 context free (CF) 1 linguaggi non contestuali molte frasi in linguaggio naturale hanno una struttura sintattica non contestuale esempio: soggetto verbo complemento la BNF non è altro che una grammatica di tipo 2 hanno proprietà di riconoscibilità abbastanza semplici e la loro analisi sintattica può essere eseguita in modo efficiente corrispondenza tra le derivazioni e gli alberi (alberi sintattici) 2 1

2 quattro passi nei linguaggi non contestuali proprietà forme normali automi a pila ambiguità 3 albero sintattico data la grammatica CF S asb ab cd cd S S S a a a b b c d b c d derivazione della stringa aaabbcdbcd 4 2

3 proprietà dei linguaggi non contestuali lemma data una grammatica non contestuale possiamo decidere se essa genera il linguaggio vuoto dimostrazione supponiamo V N =k per verificare la producibilità di una stringa di soli terminali è sufficiente considerare l insieme di tutti gli alberi di derivazione con tutti i terminali a profondità k 5 dimostrazione linguaggio vuoto infatti, se una stringa di soli terminali è generata con almeno un terminale y a profondità > k, allora sul cammino da y alla radice c è un non-terminale ripetuto due volte l albero può quindi essere potato, e dopo la potatura produce ancora una stringa di soli terminali k ab cd cde ab ab cde ab ab 6 3

4 grammatica in forma ridotta 1. non contiene ε-produzioni, salvo (eventualmente) sull assioma 2. se l assioma contiene ε-produzioni, allora non compare mai a destra in una produzione 3. non contiene simboli inutili cioè inutilizzabili per produrre terminali 4. non contiene produzioni unitarie esempio di produzione unitaria: B 7 teorema teorema forma ridotta data una grammatica non contestuale esiste una grammatica equivalente in forma ridotta dimostrazione la dimostrazione è costruttiva si trasforma la grammatica non contestuale di partenza per ottenere una grammatica che rispetti i vincoli della forma ridotta 8 4

5 forma ridotta obiettivi 1 e 2 obiettivi 1 e 2 (rimozione delle ε-produzioni che non sono sull assioma, se l assioma ha una ε-produzione allora non compare mai a destra) tecnica nota: 1. fai risalire tutte le ε-produzioni verso l assioma tramite sostituzioni 2. se non rimangono ε-produzioni, fine 3. se rimane una ε-produzione sull assioma S se l assioma S non compare mai a destra, fine se l assioma S compare a destra aggiungi un nuovo assioma S' con tutte le produzioni di S (compresa la ε- produzione) e fai risalire la produzione S ε 9 forma ridotta obiettivo 3 obiettivo 3 (eliminazione dei simboli inutili) perché un simbolo sia utile è necessario (a) che sia fecondo, ovvero che da siano generabili stringhe di terminali (b) che sia derivabile, ovvero raggiungibile da S attraverso una catena di derivazioni la condizione (a) è verificabile con il lemma precedente, trattando come assioma la condizione (b) è verificabile iterativamente a partire da S 10 5

6 forma ridotta obiettivo 4 obiettivo 4 (eliminazione delle produzioni unitarie) se esiste una produzione U V allora sono possibili due strategie: per ogni V α aggiungiamo U α e quindi eliminiamo U V diamo ad U tutta la produttività di V per ogni W αuβ aggiungiamo W αvβ ed eliminiamo U V diamo a V tutta la raggiungibilità di U 11 ordine delle semplificazioni occorre attenzione nell applicare le semplificazioni nel giusto ordine esempio negativo: voglio ridurre la grammatica S B a a elimino i simboli non derivabili S B a a elimino i simboli non fecondi S a a (ora occorrerebbe di nuovo eliminare i non derivabili) esempio corretto: elimino prima i non fecondi e poi i non derivabili S a a e quindi S a 12 6

7 esempio forma ridotta riduciamo la grammatica eliminazione dei simboli non fecondi eliminazione dei simboli non derivabili eliminazione delle produzioni unitarie S auvb TZ Z az U bu b V W S auvb TZ Z az U bu b V W S auvb U bu b V W S auvb auwb U bu b V W V ay Y by b W cwd cd T tt tz V ay Y by b W cwd cd T tt tz V ay Y by b W cwd cd T tt tz V ay Y by b W cwd cd 13 teorema linguaggi non contestuali infiniti data una grammatica non contestuale G, è decidibile stabilire se L(G) è infinito dimostrazione consideriamo l insieme di tutte le derivazioni che generano stringhe terminali in cui il ramo più lungo ha lunghezza tra k e 2k, con k pari al numero dei non terminali se tale insieme è vuoto, allora il linguaggio è finito altrimenti tali derivazioni hanno almeno un non terminale ripetuto due volte l albero di derivazione può essere ampliato indefinitivamente continuando a produrre stringhe terminali il linguaggio è infinito 14 7

8 dimostrazione linguaggio infinito >k ab cd cde ab ab ab cd cde ab ab cd cde ab 15 pumping lemma per i linguaggi CF teorema: se L è un linguaggio non contestuale allora esiste una costante n tale che se z L e z n allora esistono u,v,w,x,y tali che 1. uvwxy=z 2. vx 1 3. vwx n 4. i 0 uv i wx i y L dimostrazione: analoga a quella dei teoremi precedenti 16 8

9 pumping lemma intuizione ab cd cde ab ab u v w x y ab cd cd cde ab ab ab generazione della stringa uv i wx i y cd cde ab 17 pumping lemma dimostrazione sia G una grammatica in forma ridotta, tale che L(G)=L e sia b sia il massimo numero di simboli a destra in ciascuna produzione (b 2) in un albero di derivazione: un nodo può avere al massimo b figli a distanza uno dalla radice S ci sono al massimo b foglie a distanza h da S ci sono al massimo b h foglie se l altezza dell albero è al più h la stringa generata ha al più b h caratteri se una stringa ha almeno b h +1 caratteri il suo albero deve essere alto almeno h

10 pumping lemma dimostrazione sia V N il numero di non terminali di G e sia n=b V N +1 un albero di derivazione di una stringa di L di almeno n caratteri richiede una profondità di almeno V N +1, visto che b V N +1 >b V N +1 consideriamo una stringa z di almeno n caratteri sia τ l albero di derivazione di z con il minimo numero di nodi per la grammatica G 19 pumping lemma dimostrazione dato che z n la profondità di τ è almeno V N +1 quindi c è un cammino radice-foglia in τ con almeno V N +2 nodi di questi uno solo è una foglia (simbolo terminale) quindi c è un cammino radice-foglia in τ con almeno V N +1 non terminali nel cammino c è almeno un non terminale che si ripete sia R un non terminale con due occorrenze R 1 e R 2 fra i V N +1 non terminali più in basso 20 10

11 pumping lemma dimostrazione suddividiamo z: z=uvwxy sia vwx la sottostringa di s generata dalla occorrenza R 1 di R più vicina a S sia w la sottostringa di s generata dalla occorrenza R 2 di R più lontana da S possiamo rimpiazzare il sottoalbero radicato a R 2 con il sottoalbero radicato a R 1 ottenendo uv i wx i y con i>1 e rimpiazzare il sottoalbero radicato a R 1 con il sottoalbero radicato a R 2 ottenendo uv i wx i y con i=0 21 pumping lemma dimostrazione per dimostrare che vx >0 occorre che una tra v e x sia diversa da ε se ciò fosse vero si potrebbe sostituire il sottoalbero più grande con quello più piccolo, ottenendo ancora z ma ciò contrasta con il fatto che τ è l albero di derivazione di z con il minimo numero di nodi 22 11

12 pumping lemma dimostrazione ora dimostriamo che vwx n ricordiamo che le due occorrenze di R sono tra i V N +1 simboli non terminali più in basso nel cammino scegliamo il cammino come quello più lungo di τ quindi l albero che genera vwx è alto al massimo V N +1 un albero di tale altezza genera una stringa di al massimo b V N +1 caratteri; ma b V N +1 =n 23 il linguaggio a n b n c n corollario del pumping lemma per i linguaggi non contestuali: {a n b n c n n 1} non è di tipo 2 dimostrazione: sia a n b n c n =uvwxy=z se v (oppure x) contiene almeno due simboli diversi (es. v=ab) allora la stringa uv 2 wx 2 y contiene un alternanza di simboli incompatibile con a n b n c n (es. uababwx 2 y) se v è composta da simboli tutti uguali fra loro (es. v=aa) e x è composta da simboli tutti uguali fra loro (es. v=cc) allora uv 2 wx 2 y contiene un numero diverso di a, b e c 24 12

13 intersezione di linguaggi non contestuali corollario del pumping lemma per i linguaggi non contestuali: i linguaggi non contestuali non sono chiusi rispetto all intersezione dimostrazione: il linguaggio L 1 ={a n b n c m m,n 1} è di tipo 2 il linguaggio L 2 ={a m b n c n m,n 1} è di tipo 2 il linguaggio intersezione di L 1 ed L 2 è{a n b n c n n 1} che non è di tipo 2 osservazione: la dimostrazione della decidibilità dell equivalenza tra linguaggi regolari si fonda sulla chiusura dell intersezione tale tecnica non è estendibile ai linguaggi non contestuali 25 chiusura dei linguaggi non contestuali teorema: i linguaggi non contestuali sono chiusi rispetto all unione, alla concatenazione ed alla iterazione dimostrazione: siano <Σ,V N1,P 1,S 1 > e <Σ,V N2,P 2,S 2 > due linguaggi CF unione aggiungiamo S S 1 S 2 e usiamo S come nuovo assioma, otteniamo un linguaggio non contestuale che genera l unione dei due linguaggi concatenazione aggiungiamo S S 1 S 2 e usiamo S come nuovo assioma iterazione aggiungiamo S S 1 S ε e usiamo S come nuovo assioma 26 13

14 forme normali una forma normale per una grammatica non contestuale consiste in una serie di vincoli sulle sue produzioni tali che tutti e soli i linguaggi non contestuali ammettono una grammatica nella forma normale studieremo le seguenti forma normale di Chomsky (CNF, Chomsky Normal Form) quasi-cnf forma normale di Greibach (GNF, Greibach Normal Form) 27 forma normale di Chomsky una grammatica di tipo 2 è in forma normale di Chomsky (Chomsky Normal Form, CNF) se tutte le produzioni sono del tipo BC oppure a una grammatica di tipo 2 è in forma normale di quasi-chomsky (quasi-cnf) se tutte le produzioni sono del tipo BC Z oppure a 28 14

15 teorema grammatica CNF data una grammatica G di tipo 2 tale che ε L(G) esiste una grammatica G in CNF con L(G)=L(G ) dimostrazione portiamo la grammatica in forma ridotta portiamo la grammatica in forma normale di quasi- Chomsky portiamo la grammatica in forma normale di Chomsky 29 grammatica quasi-cnf supponiamo che una grammatica in forma ridotta non sia in forma normale di quasi-chomsky necessariamente ci sono produzioni del tipo p: β 1 β 2 β n con n 2, tali che per qualche i {1,,n} si ha β i V T per ogni β i V T aggiungiamo un non terminale Y i, sostituiamo Y i a β i in p ed aggiungiamo la produzione Y i β i 30 15

16 quasi-cnf CNF supponiamo che una grammatica in forma normale di quasi-chomsky non sia in forma normale di Chomsky necessariamente ci sono produzioni del tipo p: β 1 β 2 β n con n 3, tali che per ogni i {1,,n} si ha β i V N aggiungiamo n-2 nuovi non terminali Z 1,,Z n-2 e sostituiamo p: β 1 β 2 β n con una catena di produzioni β 1 Z 1 Z 1 β 2 Z 2 Z 2 β 3 Z 3 Z n-2 β n-1 β n 31 esempio trasformazione in CNF della grammatica S asb S ab sostituiamo S ab con S B a B b sostituiamo S asb con S SB sostituiamo S SB con S Z Z SB 32 16

17 forma normale di Greibach una grammatica di tipo 2 è in forma normale di Greibach (Greibach Normal Form, GNF) se tutte le produzioni sono del tipo aβ con β V N * la forma normale di Greibach ha applicazioni all analisi sintattica dei linguaggi 33 forme normali per linguaggi di tipo 2 lemma (sostituzione): data una grammatica G le cui produzioni includono α 1 Bα 2 (α 1,α 2 V * ) B β 1 β 2 β n ed in cui B non appare al primo membro in nessun altra produzione la grammatica G in cui la produzione α 1 Bα 2 è sostituita con α 1 β 1 α 2 α 1 β 2 α 2 α 1 β n α 2 è equivalente a G dimostrazione: banale 34 17

18 forme normali per linguaggi di tipo 2 lemma (eliminazione ricorsione sinistra): data una grammatica G le cui produzioni includono α 1 α m β 1 β n ed in cui non appare al primo membro in nessun altra produzione e nessuna delle β i inizia con la grammatica G in cui la produzione α 1 α m β 1 β n β 1 B β n B β n β n è sostituita con e B α 1 B α m B α 1 α m è equivalente a G 35 dimostrazione elim. ricorsione sinistra ogni derivazione in G del tipo α 1 α 2 α 1 α m α 2 α 1 β j α m α 2 α 1 è rimpiazzata in G da β j B β j α m B β j α m α m-1 B β j α m α 2 B β j α m α 2 α 1 è possibile effettuare anche il passaggio inverso 36 18

19 teorema grammatiche tipo 2 e GNF teorema: data una grammatica G di tipo 2 tale che ε L(G) esiste una grammatica G in GNF con L(G)=L(G ) dimostrazione: strategia generale: portiamo G in quasi-cnf (tutte le produzioni sono del tipo BCD oppure a) stabiliamo arbitrariamente un ordinamento 1,, m sui non terminali di G eseguiamo, varie volte, le operazioni di sostituzione ed eliminazione della ricorsione sinistra 37 dimostrazione grammatica GNF intuizione supponiamo che le produzioni siano ordinate in modo tale che se i j γ è una produzione, allora i<j i=1 B D B D i=2 B C B C i=3 C D E C i=4 D D i=5 E E delle semplici sostituzioni portano progressivamente la grammatica in GNF 38 19

20 dimostrazione grammatica GNF se le produzioni non sono ordinate in modo tale che se i j γ è una produzione, allora i<j stabiliamo arbitrariamente un ordinamento 1,, m sui non terminali di G conviene scegliere un ordinamento che ha poche eccezioni rispetto al vincolo che si vuole imporre eseguiamo delle trasformazioni che impongono progressivamente il vincolo tali trasformazioni possono introdurre nuovi non terminali che vengono messi in testa alla lista 39 dimostrazione grammatica GNF passo 1 modifichiamo le produzioni in modo tale che se i j γ è una produzione, allora i<j assumiamo che ciò sia stato già fatto per le produzioni i j γ con 1 i<k quindi modifichiamo le k -produzioni se k j γ è una produzione con j<k usiamo l operazione di sostituzione rimpiazzando j con le produzioni j β ripetendo l operazione al più k-1 volte otteniamo produzioni nella forma k p γ p k se p=k applichiamo l eliminazione della ricorsione a sinistra introducendo un nuovo terminale B k 40 20

21 passo 1 algoritmo for (k=1; k m; k++) { for(j=1; j<k; j++) { per ogni produzione del tipo k j α { per ogni j β aggiungi k βα e rimuovi k j α } per ogni produzione del tipo k k α { aggiungi B k α e B k αb k rimuovi k k α per ogni produzione del tipo k β { // dove β non inizia con k aggiungi k βb k } } } } 41 considerazioni sul passo 1 ripetendo il procedimento abbiamo solo produzioni del tipo: 1. i j γ, con j>i 2. i aγ, con a V T 3.B i γ, con γ (V N {B 1,,B q })

22 dimostrazione grammatica GNF passo 2 al termine del passo 1 il simbolo più a sinistra della parte destra di ogni m -produzione è un terminale, infatti m è il numero più alto il simbolo più a sinistra della parte destra di ogni m-1 -produzione è un terminale oppure è m se è m allora possiamo usare l operazione di sostituzione e rimpiazzarlo con le m -produzioni ripetiamo lo stesso procedimento per ogni i a ritroso fino a 1 43 dimostrazione grammatica GNF passo 3 esaminiamo le produzioni dei nuovi non terminali B i il fatto che G sia in CNF ci garantisce che ogni produzione abbia a destra o un terminale o due non terminali quindi, quando effettuiamo il passo: per ogni produzione del tipo k k α aggiungi B k α e B k αb k α non è mai vuoto e non può iniziare con un B i quindi, per far comparire un terminale all inizio della parte destra, possiamo riapplicare alle B i -produzioni lo stesso algoritmo applicato alle i -produzioni 44 22

23 esempio data la seguente grammatica in CNF S B b b BS B a B S calcolarne una equivalente in GNF scegliamo l ordinamento: S,, B sostituiamo B S con B bs e B BSS ora l insieme delle B-produzioni è il seguente: B a bs B BSS 45 esempio CNF GNF eliminiamo la ricorsione a sinistra con B B a bs B BSS B a bs ab bsb B SS B SSB giungiamo quindi alla grammatica S B b b BS B a bs ab bsb B SS B SSB che rispetta l ordinamento imposto dal passo

24 esempio CNF GNF ora possiamo sostituire (passo 2) BS con b as bss ab S bsb S quindi sostituiamo S B con S bb asb bssb ab SB bsb SB ora possiamo sostituire (passo 3) B SS B SSB con B b as bss ab S bsb S bbs asbs bssbs ab SBS bsb SBS bb asb bssb ab SB bsb SB bbsb asbsb bssbsb ab SBSB bsb SBSB 47 24