Grammatiche libere da contesto. Grammatiche libere da contesto

Transcript

1

2 rammatiche e Linguaggi Liberi da Contesto Abbiamo visto che molti linguaggi non sono regolari. Consideriamo allora classi piu grandi di linguaggi. Linguaggi Liberi da Contesto (CFL) sono stati usati nello studio dei linguaggi naturali dal 1950, e nello studio dei compilatori dal Le grammatiche libere da contesto (CFG) sono la base della sintassi BNF (Backus-Naur-Form). Oggi i CFL sono importanti per XML. Studieremo: CFG, i linguaggi che generano, gli alberi sintattici, gli automi a pila, e le proprieta di chiusura dei CFL.

3 sempio informale di CFG Consideriamo L pal = {w Σ : w = w R } Per esempio: otto L pal, madamimadam L pal. Sia Σ = {0,1} e supponiamo che L pal sia regolare. Sia n dato dal pumping lemma. Allora 0 n 10 n L pal. Nel leggere 0 n il FA deve passare per un loop. Se omettiamo il loop, contraddizione. Definiamo L pal induttivamente: Base: ǫ, 0, e 1 sono palindromi. nduzione: Se w e una palindrome, anche 0w0 e 1w1 lo sono. Nessun altra stringa e una palindrome.

4 Le CFG sono un modo formale per definire linguaggi come L pal. 1. P ǫ 2. P 0 3. P 1 4. P 0P0 5. P 1P1 0 e 1 sono terminali P e una variabile (o nonterminale, o categoria sintattica) P e in questa gramatica anche il simbolo iniziale. 1 5 sono produzioni (o regole)

5 efinizione formale di CFG Una grammatica libera da contesto e una quadrupla dove G = (V,T,P,S) V e un insieme finito di variabili. T e un insieme finito di terminali. P e un insieme finito di produzioni della forma A α, dove A e una variabile e α (V T) S e una variabile distinta chiamata il simbolo iniziale.

6 sempi G pal = ({P}, {0,1},A,P), dove A = {P ǫ,p 0,P 1,P 0P0,P 1P1}. A volte raggruppiamo le produzioni con la stessa testa: A = {P ǫ 0 1 0P0 1P1}. Le espressioni regolari su {0,1} possono essere definite dalla grammatica G regex = ({}, {0,1},A,) dove A = { 0, 1,., +,, ()}

7 sempio spressioni (semplici) in un tipico linguaggio di programmazione. Gli operatori sono + e *, e gli operandi sono identificatori, cioe stringhe in L((a + b)(a + b ) ) Usiamo la grammatica G = ({, },T,P,) dove T = {+,,(,),a,b,0,1} e P e il seguente insieme di produzioni: () 5. a 6. b 7. a 8. b

8 erivazioni Sia G = (V,T,P,S) una CFG, A V, {α,β} (V T), e A γ P. Allora scriviamo αaβ G αγβ o, se e ovvia la G, αaβ αγβ e diciamo che da αaβ si deriva αγβ. Definiamo la chiusura riflessiva e transitiva di, cioe : Base: Sia α (V T). Allora α α. nduzione: Se α β, e β γ, allora α γ.

9 sempio Derivazione di a (a + b00) da nella grammatica delle espressioni: a a () a ( + ) a ( + ) a (a + ) a (a + ) a (a + 0) a (a + 00) a (a + b00) Ad ogni passo potremmo avere varie regole tra cui scegliere, ad esempio a a (), oppure () a (). Non tutte le scelte portano a derivazioni di una particolare stringa, per esempio + non ci fa derivare a (a + b00).

10 erivazioni a sinistra e a destra Derivazione a sinistra lm : rimpiazza sempre la variabile piu a sinistra con il corpo di una delle sue regole. Derivazione a destra rm : rimpiazza sempre la variabile piu a destra con il corpo di una delle sue regole. Der. a sinistra: quella del lucido precedente. A destra: rm rm () rm ( + ) rm ( + ) rm ( + 0) rm rm ( + 00) rm (a + b00) rm ( + b00) rm (a + b00) rm Possiamo concludere che rm a (a + b00) ( + b00) a (a + b00)

11 l linguaggio di una grammatica Se G(V,T,P,S) e una CFG, allora il linguaggio di G e L(G) = {w T : S G w} cioe l insieme delle stringhe su T derivabili dal simbolo iniziale. Se G e una CFG, chiameremo L(G) un linguaggio libero da contesto. sempio: L(G pal ) e un linguaggio libero da contesto.

12 Teorema 5.7: L(G pal ) = {w {0,1} : w = w R } Prova: (direzione ) Supponiamo w = w R. Mostriamo per induzione su w che w L(G pal ). Base: w = 0, or w = 1. Allora w e ǫ,0, or 1. Dato che P ǫ, P 0, and P 1 sono produzioni, concludiamo che P G w in tutti i casi base. nduzione: Supponiamo w 2. Dato che w = w R, abbiamo w = 0x0, o w = 1x1, e x = x R. Se w = 0x0 sappiamo che per l ipotesi induttiva P x. Allora P 0P0 0x0 = w Quindi w L(G pal ). l caso di w = 1x1 e simile.

13 (direzione ) Assumiamo che w L(G pal ) e dobbiamo mostrare che w = w R. Dato che w L(G pal ), abbiamo P w. Faremo un induzione sulla lunghezza di. Base: La derivazione P w ha 1 passo. Allora w deve essere ǫ,0, o 1, tutte palindromi. nduzione: Sia n 1, e supponiamo che la derivazione ha n + 1 steps. Allora dobbiamo avere o w = 0x0 0P0 P w = 1x1 1P1 P dove la seconda derivazione ha n passi. Per l ipotesi induttiva, x e una palindrome.

14 orme sentenziali Sia G = (V,T,P,S) una CFG, e α (V T). Se S α diciamo che α e una forma sentenziale. Se S lm α diciamo che α e una forma sentenziale sinistra, Se S rm α diciamo che α e una forma sentenziale destra Nota: L(G) contiene le forme sentenziali che sono in T.

15 sempi Prendiamo la G delle espressioni. Allora ( + ) e una forma sentenziale perche () ( + ) ( + ) Questa derivazione non e ne a sinistra ne a destra a e una forma sentenziale sinistra, perche lm lm lm a ( + ) e una forma sentenziale destra, perche rm rm () rm ( + )

16 lberi sintattici Se w L(G), per una CFG, allora w ha un albero sintattico, che ci dice la struttura (sintattica) di w w potrebbe essere un programma, una query SQL, un documento XML,... Gli alberi sintattici sono una rappresentazione alternativa alle derivazioni. Ci possono essere diversi alberi sintattici per la stessa stringa dealmente ci dovrebbe essere solo un albero sintattico (la vera struttura), cioe il linguaggio dovrebbe essere non ambiguo. Sfortunatamente, non sempre possiamo rimuovere l ambiguita.

17 ostruzione di un albero sintattico Sia G = (V,T,P,S) una CFG. Un albero e un albero sintattico per G se: 1 Ogni nodo interno e etichettato con una variabile in V. 2 Ogni foglia e etichettata con un simbolo in V T {ǫ}. Ogni foglia etichettata con ǫ e l unico figlio del suo genitore. 3 Se un nodo interno e etichettato A, e i suoi figli (da sinistra a destra) sono etichettati allora A X 1 X 2...X k P. X 1,X 2,...,X k,

18 sempio Nella grammnatica () il seguente e un albero sintattico: + Questo albero sintattico mostra la derivazione +

19 sempio Nella grammatica 1. P ǫ 2. P 0 3. P 1 4. P 0P0 5. P 1P1 il seguente e un albero sintattico: P 0 P 0 1 P 1 ε Mostra la derivazione P 0110.

20 l prodotto di un albero sintattico l prodotto di un albero sintattico e la stringa di foglie da sinistra a destra. Sono importanti quegli alberi sintattici dove: 1 l prodotto e una stringa terminale. 2 La radice e etichettata dal simbolo iniziale. L insieme dei prodotti di questi alberi sintattici e il linguaggio della grammatica.

21 sempio * ( ) a + a 0 0 b l prodotto e a (a + b00).

22 Sia G = (V,T,P,S) una CFG, e A V. seguenti sono equivalenti: 1 A w 2 A lm w, e A rm w 3 C e un albero sintattico di G con radice A e prodotto w.

23 sempio Costruiamo la derivazione a sinistra per l albero * ( ) a + a 0 0 b

24 Supponiamo di aver induttivamente costruito la derivazione a sinistra a lm lm corrispondente al sottoalbero piu a sinistra, e la derivazione a sinistra () ( + ) ( + ) (a + ) lm lm lm lm lm (a + ) lm (a + 0) lm (a + 00) lm (a + b00) corrispondente al sottoalbero piu a destra.

25 Per la derivazione corrispondente all intero albero, iniziamo con lm e espandiamo la prima con la prima derivazione e la seconda con la seconda derivazione: lm lm a lm lm a () a ( + ) lm lm a ( + ) a (a + ) lm lm a (a + ) a (a + 0) lm lm a (a + 00) a (a + b00) lm

26 mbiguita in Grammatiche e Linguaggi Nella grammatica () la forma sentenziale + ha due derivazioni: + + e + Questo ci da due alberi sintattici: + * * + (a) Grammatiche libere (b) da contesto

27 L esistenza di varie derivazioni di per se non e pericolosa, e l esistenza di vari alberi sintattici che rovina la grammatica. sempio: Nella stessa grammatica 5. a 6. b 7. a 8. b la stringa a + b ha varie derivazioni: e + + a + a + a + b b a + b Pero il loro albero sintattico e lo stesso, e la struttura di a + b e quindi non ambigua.

28 Definizione: Sia G = (V,T,P,S) una CFG. Diciamo che G e ambigua se esiste una stringa in T che ha piu di un albero sintattico. Se ogni stringa in L(G) ha al piu un albero sintattico, G e detta non ambigua. sempio: La stringa terminale a + a a ha due alberi sintattici: + * * + a a a a a a (a) (b)

29 imuovere l ambiguita dalle grammatiche Buone notizie: a volte possiamo rimuovere l ambiguita Cattive notizie: non c e nessun algoritmo per farlo in modo sistematico Ancora cattive notizie: alcuni CFL hanno solo CFG ambigue Studiamo la grammatica + () a b a b 0 1 Non c e precedenza tra * e + Non c e raggruppamento di sequenze di operatori: + + e inteso come + ( + ) o come ( + ) +?

30 Soluzione: ntroduciamo piu variabili, ognuna che rappresenta espressioni con lo stesso grado di forza di legamento 1 Un fattore e un espressione che non puo essere spezzata da un * o un + adiacente. nostri fattori sono: 1 dentificatori 2 Un espressione racchiusa tra parentesi. 2 Un termine e un espressione che non puo essere spezzata da un +. Ad esempio, a b puo essere spezzata da a1 o a1. Non puo essere spezzata da +, perche ad esempio a1 + a b e (secondo le regole di precedenza) lo stesso di a1 + (a b), e a b + a1 e lo stesso di (a b) + a1. 3 l resto sono espressioni, cioe possono essere spezzate con * o +.

31 Usiamo F per i fattori, T per i termini, e per le espressioni. Consideriamo la seguente grammatica: 1. a b a b F () 3. T F T F 4. T + T Ora l unico albero sintattico per a + a a e : + T T T * F F F a a a

32 Perche la nuova grammatica non e ambigua? Un fattore e o un identificatore o (), per qualche espressione. L unico albero sintattico per una sequenza f 1 f 2 f n 1 f n di fattori e quello che da f 1 f 2 f n 1 come termine e f n come fattore, come nell albero del prossimo lucido. Un espressione e una sequenza t 1 + t t n 1 + t n di termini t i. Puo essere solo raggruppata con t 1 + t t n 1 come un espressione e t n come un termine.

33 T T * F. T.. T * F T * F F

34 erivazioni a sinistra e ambiguita due alberi sintattici per a + a a + * * + a a a a a a (a) danno luogo a due derivazioni: + + a + a + lm lm lm lm lm a + lm a + a lm a + a lm a + a a e + + a + lm lm lm lm (b)

35 n generale: Un albero sintattico, ma molte derivazioni Molte derivazioni a sinistra implica molti alberi sintattici. Molte derivazioni a destra implica molti alberi sintattici.

36 Teorema 5.29: Data una CFG G, una stringa terminale w ha due distinti alberi sintattici se e solo se w ha due distinte derivazioni a sinistra dal simbolo iniziale. Prova: (Solo se.) Se due alberi sintattici sono diversi, hanno un nodo dove sono state usate due diverse produzioni: A X 1 X 2 X k e B Y 1 Y 2 Y m. Le corrispondenti derivazioni a sinistra useranno queste diverse produzioni e quindi saranno distinte. (Se.) Per come costruiamo un albero da una derivazione, e chiaro che due derivazioni distinte generano due alberi distinti.

37 mbiguita inerente Un CFL L e inerentemente ambiguo se tutte le grammatiche per L sono ambigue. sempio: Consideriamo L = {a n b n c m d m : n 1,m 1} {a n b m c m d n : n 1,m 1}. Una grammatica per L e S AB C A aab ab B cbd cd C acd add D bdc bc

38 Guardiamo la struttura sintattica della stringa aabbccdd. S A B a A b c B d a b c d

39 Vediamo che ci sono due derivazioni a sinistra: e S lm AB lm aabb lm aabbb lm aabbcbd lm aabbccdd S lm C lm acd lm aaddd lm aabdcdd lm aabbccdd Puo essere provato che ogni grammatica per L si comporta come questa. l linguaggio L e quindi inerentemente ambiguo.

40 inguaggi regolari e grammatiche Un linguaggio regolare e anche libero da contesto. Da una espressione regolare, o da un automa, si puo ottenere una grammatica che genera lo stesso linguaggio.

41 a espressione regolare a grammatica Per induzione sulla struttura della espressione regolare: se = a, allora produzione S a se = ǫ, allora produzione S ǫ se = F + G, allora produzione S F G se = FG, allora produzione S FG se = F, allora produzione S FS ǫ

42 sempio spressione regolare: 0 1(0 + 1) Grammatica: S ABC A 0A ǫ B 1 C DC ǫ D 0 1

43 a automa a grammatica Un simbolo non-terminale per ogni stato. Simbolo iniziale = stato iniziale. Per ogni transizione da stato s a stato p con simbolo a, produzione S ap. Se p stato finale, allora produzione P ǫ

44 sempio Automa: Start q 0 q 2 q 1 0, 1 Grammatica: Q 0 1Q 0 0Q 2 Q 2 0Q 0 1Q 1 Q 1 0Q 1 1Q 1 ǫ La stringa 1101 e accettata dall automa. Nella grammatica, ha la derivazione: Q 0 1Q 0 11Q 0 110Q Q