RICHIAMI E COMPLEMENTI SU LINGUAGGI FORMALI E AUTOMI

Transcript

1 PARTE I RICHIAMI E COMPLEMENTI SU LINGUAGGI FORMALI E AUTOMI Linguaggi regolari Linguaggi non contestuali Automi 1

2 1.1 I LINGUAGGI IN Presenti a vari livelli di applicazione linguaggi di programmazione linguaggi di script linguaggi di marcatura protocolli di comunicazione sequenze di operazioni interazione uomo macchina 2

3 @ Fondamentali nel software di sistema compilatori interpreti tools per la generazione di analizzatori lessicali e sintattici (Lex, YACC, GNU Bison, Luthorj, Saxj ecc.; più in generale: compiler Paradigmatici nella teoria molti importanti problemi teorici sono riconducibili a quello dell'appartenenza di una stringa a un linguaggio un ruolo importante in informatica teorica hanno i metodi di descrizione di linguaggi 3

4 Metodi di descrizione di linguaggi Approccio generativo: i linguaggi possono essere definiti mediante formalismi (metalinguaggi) che specificano la struttura sintattica delle loro stringhe. Esempi di metalinguaggi Grammatiche di Chomsky Forma di Backus Naur (BNF) Linguaggi di marcatura (HTML, XML) 4

5 Approccio riconoscitivo: un linguaggio può essere definito mediante macchine astratte (automi) o algoritmi che accettano le stringhe che ne fanno parte e rifiutano quelle che non ne fanno parte. Esempi Automi a stati finiti Analizzatori lessicali (scanner) Automi a pila Analizzatori sintattici (parser) Approccio algebrico: un linguaggio può essere definito mediante una espressione algebrica che specifica come esso è costruito a partire da linguaggi elementari. Esempio Espressioni regolari (vedi anche Lex o Luthorj) 5

6 ESPRESSIONI REGOLARI Def. Dato un alfabeto Σ, chiamiamo espressione regolare una stringa r che utilizza i simboli dell alfabeto stesso e i simboli Ø, +,., *, (, ) e che rispetta le seguenti strutture: 1. r = Ø oppure 2. r Σ oppure 3. r= (s+t) oppure r= (s.t) oppure r=s*, con s e t espressioni regolari 6

7 espressione linguaggio Ø Λ a {a} a Σ (s+t) L(s) L(t) dove s, t sono e.r. (s.t) L(s) L(t) s* L(s)* Esempio: (a* + ((a.a). b*)) 7

8 Per semplificare la scrittura delle espressioni regolari possiamo sfruttare: eliminazione del simbolo della concatenazione, cioé (st) anziché (s.t) precedenze tra operatori: * >. > + Esempi. (a+b)* rappresenta il linguaggio L=({a} {b})* cioe il linguaggio costituito da stringhe di a e di b di lunghezza qualunque (inclusa la stringa vuota, cioè la stringa di lunghezza zero). 8

9 (a+b)*a rappresenta il linguaggio L={x x ({a} {b})* "x termina con a"} cioè stringhe arbitrarie di a e di b che terminano con il carattere a. (a* + ((a.a). b*)) = a* + aab* cioè il linguaggio il linguaggio costituito da sequenze di un numero arbitrario (anche nullo) di a oppure sequenze costituite da due a iniziali seguite da un numero arbitrario (anche nullo) di b. 9

10 1.2 GRAMMATICHE FORMALI Metodo di costruzione delle stringhe del linguaggio basato sul concetto di riscrittura (nato nel contesto di studi di algebra e di logica formale) Axel Thue studia i primi problemi di riscrittura Emil Post definisce sistemi di produzione (lavori del 1920) A.A. Markov definisce algoritmi basati su regole di riscrittura N. Chomsky introduce le grammatiche formali nell'ambito degli studi sul linguaggio naturale J. W. Backus e P. Naur introducono la BNF per descrivere la sintassi del linguaggio Algol. 10

11 Le Grammatiche di Chomsky Def. Una grammatica formale G = <VT,VN,P,S> è caratterizzata da: VT (Σ) alfabeto finito di simboli detti terminali, VN alfabeto di simboli non terminali (variabili, categorie sintattiche), P, detto insieme di produzioni, è una relazione binaria: α e β sono stringhe di terminali o non terminali α contiene almeno un non terminale <α,β> P si indica con α β S VN e' detto assioma. 11

12 Le grammatiche di Chomsky costituiscono un metalinguaggio poiché ogni grammatica descrive un linguaggio (il linguaggio che può essere generato in base alle sue regole) Def. Il linguaggio generato da una grammatica è l'insieme delle stringhe di terminali ottenibili con una sequenza finita di passi di riscrittura consistenti nell'applicazione delle regole di produzione 12

13 Più formalmente: Def. Derivazione diretta: relazione su (V* VN V*) V* <φ,ψ> appartiene alla relazione se α V* VN V* e β,γ,δ V* tali cheφ = γαδ ψ = γβδ e α β P In tal caso si scrive φ ψ. Def. Derivazione: chiusura riflessiva e transitiva della derivazione diretta, si rappresenta con *. Def. Data una grammatica G = <{a,b},{s,b,c},p,s>, una forma di frase è una qualunque stringa x tale che x V*e S *x. 13

14 Il linguaggio generato da G e' l'insieme di particolari forme di frase: Def. Il linguaggio generato da G è L(G) = {x x VT * S *x} Def. Due grammatiche G1 e G2 si dicono equivalenti se L(G1) = L(G2). 14

15 Esempio. La grammatica G=<{a,b,c},{S,A,B,C},P,S> con le produzioni: 1 S asbc 2 S abc 3 CB BC 4 ab ab 5 bb bb 6 bc bc 7 cc cc genera il linguaggio {anbncn n 1} 15

16 Per generare 'aaabbbccc' si effettua la seguente derivazione (la stringa che viene riscritta è sottolineata, il numero rappresenta la produzione applicata): S (1) asbc (1) aasbcbc (2) aaabcbcbc (3) aaabcbbcc (3) aaabbcbcc (3) aaabbbccc (4) aaabbbccc (5) aaabbbccc (5) aaabbbccc (6) aaabbbccc (7) aaabbbccc (7) aaabbbccc 16

17 1.3 CLASSI DI GRAMMATICHE DI CHOMSKY E CLASSI DI LINGUAGGI di tipo 0, non limitate di tipo 1, contestuali (context sensitive: CS) di tipo 2, non contestuali (context free: CF), di tipo 3, regolari 17

18 Def. Le grammatiche di Chomsky di tipo 0, sono basate sulle produzioni piu' generali, del tipo: α β, α V* VN V*, β V* NOTA BENE. Le grammatiche di tipo 0 ammettono anche derivazioni che accorciano stringhe. Def. I linguaggi di tipo 0 sono i linguaggi generati da grammatiche di tipo 0. Def. Le grammatiche di Chomsky di tipo 1, (dette context sensitive o contestuali) sono basate su produzioni del tipo: α β, α V* VN V*, β V + con α β 18

19 Def. I linguaggi di tipo 1 (context sensitive o contestuali) sono i linguaggi generati da grammatiche di tipo 1. Def. Le grammatiche di Chomsky di tipo 2, (dette context free o non contestuali) sono basate su produzioni del tipo: A β, A VN, β V + Def. I linguaggi di tipo 2 (context free o non contestuali) sono i linguaggi generati da grammatiche di tipo 2. 19

20 Esempio. Generazione di espressioni aritmetiche con la variabile i, assioma E E E+T T T T * F F F i (E) Esempio. Grammatica delle parentesi ben bilanciate: S () S SS S (S) 20

21 Perche' le grammatiche di tipo 1 sono chiamate contestuali e quelle di tipo 2 non contestuali? Nell'originaria formulazione data da Chomsky le grammatiche di tipo 1 sono definite come quelle grammatiche le cui produzioni hanno la forma: α γ con α=φ1αφ2 e γ=φ1βφ2, e con Α VN, φ1,φ2 V*, β V + Quindi, se φ1 1 o φ2 1, la produzione esprime il fatto che il non termina A viene rimpiazzato dalla stringa β solo se appare nel contesto delle stringhe φ1 e φ2. Per tale motivo quelle produzioni (e le relative grammatiche) sono chiamate "contestuali". 21

22 Esempio. Le produzioni ab ab, bb bb, bc bc, cc cc della grammatica per il linguaggio {anbncn n 1} sono contestuali secondo Chomsky. 22

23 Teorema. Le grammatiche di tipo 1 e le grammatiche contestuali secondo Chomsky consentono di generare la stessa classe di linguaggi. Dim. i) Le produzioni contestuali di Chomsky sono di tipo 1. ii) Le produzioni di tipo 1 possono essere facilmente trasformate in produzion contestuali di Chomsky. (Esercizio) Ad esempio la produzione CB BC puo' essere trasformata nella sequenza d produzioni (contestuali secondo Chomsky): CB CX CX BX BX BC 23

24 NOTA BENE. Le produzioni di tipo 2 corrispondono al caso particolare in c sia φ1 che φ2 sono stringhe vuote. Tali produzioni consentono dunque di rimpiazzare un nonterminale con una stringa di caratteri, indipendentemente dal contesto in cui esso si trova. Per tale motivo esse (e le relative grammatiche) si chiamano "non contestuali". 24

25 Def. Le grammatiche di Chomsky di tipo 3, (dette regolari) sono basate su produzioni del tipo: con A, B VN, a VT A ab oppure A a, Def. I linguaggi di tipo 3 (regolari) sono i linguaggi generati da grammatiche tipo 3. Esempio. Il linguaggio {anb n 0} e' di tipo 3 in quanto e' generato dalla grammatica con le produzioni: S as S b 25

26 Le grammatiche di tipo 3 sono chiamate anche lineari destre (LD). Le grammatiche di tipo 3 vengono chiamate lineari perche' nel lato destro di ogni produzione compare al piu' un solo non terminale (variabile); inoltre vengono chiamate lineari destre perché il non terminale compare a destra del terminale. Si possono anche definire grammatiche lineari sinistre (LS) con produzioni d tipo: con A, B VN, a VT A Ba oppure A a, 26

27 Esempio. Il linguaggio {anb n 0} puo' essere anche generato da una grammatica lineare sinistra con le seguenti produzioni: S Tb b T Ta a Teorema. Le classi di linguaggi generabili con grammatiche LD e LS coincidono. 27

28 Def. Un linguaggio e' strettamente di Tipo n se esiste una grammatica di tipo che lo genera e non esiste nessuna grammatica di tipo m>n che lo genera. Esempi. Il linguaggio {anbn n 1} e' generato da una grammatica di tipo 2 e non e' generabile con nessuna grammatica di tipo 3. Il linguaggio {anbncn n 1} e' generato da una grammatica di tipo 1 e non e' generabile con nessuna grammatica di tipo 2 o di tipo 3. NOTA BENE. La dimostrazione dei suddetti risultati e basata sui noti pumping lemma basati sulle proprietà strutturali dei linguaggi di vario tipo. Per mostrare linguaggi strettamente di tipo 0 è necessario introdurre ulteriori concetti. 28

29 1.4 LINGUAGGI LINEARI I linguaggi lineari sono quei linguaggi CF generati da grammatiche lineari, in cui, cioe', la parte destra di ogni produzione contiene al piu' un non terminale Le grammatiche di tipo 3 sono lineari; come si e' detto, in particolare, lineari destre (LD). Esempio. La grammatica seguente, che genera {ancbn n 0} e' lineare: S asb c Si noti che tale linguaggio e' strettamente CF. I linguaggi lineari sono un sottoinsieme dei linguaggi CF (ad esempio il linguaggio delle parentesi ben bilanciate non è un linguaggio lineare) e un soprainsieme di quelli regolari. NOTA BENE: Fondendo produzioni lineari destre e lineari sinistre si possono generare linguaggi non regolari. 29

30 1.5 RICONOSCIMENTO DI LINGUAGGI Dato un linguaggio L, il problema del riconoscimento di L e' il problema decisionale seguente: data una stringa x, stabilire se essa appartiene ad L. Tal problema e' noto anche come problema dell'appartenenza (membership). I linguaggi di tipo 3 sono riconosciuti in tempo lineare da dispositivi con memoria costante (automi a stati finiti). I linguaggi di tipo 2 sono riconosciuti in tempo lineare da dispositivi nondeterministici dotati di una memoria gestita come una pila (automi a pila non deterministici). 30

31 I linguaggi di tipo 1 sono riconosciuti da dispositivi nondeterministici con memoria che cresce linearmente con la lunghezza della stringa da esaminare: automi non deterministici lineari (linear bounded automata). Per alcuni linguaggi strettamente di tipo 0 e' possibile che non esista un algoritmo di decisione ma esiste comunque un processo semidecisionale, in cui, se la stringa fa parte del linguaggio essa viene riconosciuta ma se non fa parte del linguaggio non e' detto che la computazione termini. I dispositivi ch consentono di riconoscere o di attuare un procedimento di semidecisione per linguaggi di tipo 0 sono le macchine di Turing. In generale non e' possibile stabilire un limite alle quantita' di risorsa tempo o memoria che si rende necessario per riconoscere un linguaggio di tipo 0. 31

32 1. 6 LINGUAGGI REGOLARI E AUTOMI A STATI FINITI I linguaggi regolari: sono generabili con grammatiche di tipo 3 coincidono con i linguaggi definibili con espressioni regolari coincidono con i linguaggi riconoscibili con automi a stati finiti deterministici o non deterministici 32

33 AUTOMI A STATI FINITI (ASF) nastro di input unidirezionale a 1 a 2 a n testina di lettura meccanismo di controllo schema di automa a stati finiti 33

34 Def. Automa a stati finiti (ASF): Σ = {σ 1,...,σ n } alfabeto di input A=<Σ,K,δ,q 0,F> K = {q 0,...,q n } insieme finito non vuoto di stati K F insieme di stati finali q 0 K stato iniziale δ : K Σ K funzione di transizione, funzione totale che determina lo stato successivo 34

35 Def. Funzione di transizione estesa alle stringhe: δ : K Σ* K δ(q,ε) = q δ(q,ax) = δ(δ(q,a),x), con x Σ* e a Σ Def. Linguaggio riconosciuto da un automa A: L(A) = { x Σ* δ(q0,x) F} 35

36 Esempio. Dato il linguaggio {anb n 0} generato da S as b, l'automa che lo riconosce e' l'automa <{a,b}, {q0,q1,q2}, δ, q0, {q1}> δ a b q0 q0 q1 q1 q2 q2 q2 q2 q2 36

37 37

38 Nei compiler compiler e nei generatori di analizzatori lessicali (Lex, Luthorj) si utilizzano tutti i diversi formalismi di definizione dei linguaggi regolari. Definiamo il linguaggio per cui vogliamo costruire l analizzatore lessicale mediante una espressione regolare. Il generatore prende in input l espressione regolare e: - costruisce l automa a stati finiti non deterministico corrispondente - lo trasforma in automa a stati finiti deterministico - fornisce come output il programma di analisi lessicale (scanner) per il linguaggio dato. 38

39 1.7 LINGUAGGI NON CONTESTUALI ED AUTOMI A PILA I linguaggi non contestuali (context free): sono generabili con grammatiche di tipo 2 coincidono con i linguaggi riconoscibili con automi a pila non deterministici alcune loro sottoclassi sono sufficientemente ampie da consentire di descrivere linguaggi di programmazione e al tempo stesso sufficientemente ristrette da consentire la costruzione di analizzatori sintattici (parser) che operano in tempo lineare 39

40 Forme normali per i linguaggi non contestuali Forma ridotta: grammatiche - prive di ε-produzioni, - prive di produzioni unitarie, - prive di produzioni che contengono simboli inutili (cioè simboli non generabili partendo dall assioma o simboli non fecondi, dai quali non si generano stringhe di soli terminali). 40

41 Forma normale di Chomsky: grammatiche di tipo 2 le cui produzioni sono del tipo Α ΒC con Α, Β, C VN o del tipo Α a con a Σ Forma normale di Greibach: grammatiche di tipo 2 le cui produzioni sono del tipo Α a β con a Σ, β V* 41

42 I linguaggi non contestuali sono tutti e soli i linguaggi che vengono riconosciuti da un automa a pila non deterministico (o automa "pushdown", PDA) Def. Automa a pila non deterministico (PDA) M=<Σ,Γ,Z 0,Q,q 0,F,δ> Σ alfabeto di input Γ alfabeto dei simboli della pila Z 0 Γ simbolo di pila iniziale Q insieme finito di stati q 0 Q stato iniziale Q F insieme di stati finali δ : Q (Σ {ε}) Γ P(Q Γ*) funzione di transizione 42

43 Se abbiamo una regola di transizione δ(q i,a,a)={(q j,ba),(q h,ε)} essa significa che se nello stato interno q i, leggiamo a sul nastro ed A e' il simbolo affiorante sulla pila, si realizzano, non deterministicamente, due transizioni; la prima sostituisce il simbolo affiorante sulla pila con la stringa di caratteri BA e si porta nel nuovo stato interno q j, la seconda sostituisce il simbolo affiorante sulla pila con la stringa vuota ε, in altre parole cancella A dalla pila, e si porta nel nuovo stato interno q h. NOTA BENE. La testina sul nastro di ingresso può anche non spostarsi. Questa situazione è espressa dicendo che la testina legge ε sul nastro di ingresso. Convenzione: se metto BA in pila, B è il nuovo simbolo affiorante. 43

44 Esempio. Automa a pila M che riconosce anbn M = <{a,b},{z 0,A 0,A},Z 0,{q 0,q 1,q 2 },q 0,{q 2},δ> - il simbolo A serve a ricordare la presenza delle a - nello stato q 0 si memorizzano le a, nello stato q 1 si confrontano le b con cio' che si e' memorizzato, lo stato q 2 e' lo stato finale. NOTA BENE. In questo caso l'automa ha un comportamento deterministico 44

45 Z 0 A 0 A a b a b a b q 0 A 0 AA 0 A 0 AA ε q 0 q 0 q q0 2 q 1 q 1 A 0 ε q 1 q 2 q 2 45

46 Def. Configurazione di automa a pila: tripla <q,x,γ> con q Q stato interno, x Σ* stringa da leggere in input e γ Γ* stringa attualmente in pila relazione di transizione per automa a pila: relazione binaria sulle configurazioni <q,x,γ> <q',x',γ'> significa che: ((x=ax' γ=zη γ'=ζη <q',ζ> δ(q,a,z)) (x=x' γ=zη γ'=ζη <q',ζ> δ(q,ε,z))) computazione: chiusura transitiva e riflessiva di, indicata con * 46

47 Def. Linguaggio accettato dall'automa a pila: due definizioni alternative accettazione per pila vuota: una stringa è accettata da un automa a pila M se e solo se al termine della scansione della stringa la pila è vuota N(M) = {x <q0,x,z0> *<q,ε,ε>} accettazione per stato finale: una stringa è accettata da un automa a pila M se e solo se al termine della scansione della stringa M si trova in uno stato finale L(M) = {x <q0,x,z0> *<q,ε,γ>,q F,γ Γ*} 47

48 NOTA BENE. Si può dimostrare che le due definizioni sono equivalenti. Teorema. Se L(G) è non contestuale esiste un automa a pila M tale che L(G)=N(M) Dim. Sia G=<Σ,VN,P,S> tale che ε L(G) e supponiamo G in GNF. In questo caso il PDA ha un solo stato e i non terminali della grammatica possono essere usati come simboli di pila. Costruiamo M=<Σ,Γ,Z 0,Q,q 0,F,δ> Γ=VN, Z 0 =S, Q={q}, q 0 =q, F= Per ogni A aγ con γ V N * abbiamo che <q,γ> δ(q,a,a) 48

49 Esempio: il linguaggio { wwr w (a+b)+} è generabile con la seguente grammatica in forma di Greibach: S asa bsb aa bb A a B b Ed è riconoscibile (per pila vuota) con il seguente automa a pila: q S A B a b a b a b SA, q SB, q ε, q ε, q A, q B, q 49

50 Per consentire un efficiente e corretta analisi sintattica i linguaggi di programmazione devono essere linguaggi CF - non ambigui (ogni stringa deve essere generabile con un solo albero di derivazione) - analizzabili in modo deterministico in tempo lineare (linguaggi LL(k), LR(K), LALR(k) ecc.) 50

51 Proprietà decidibili per i linguaggi regolari e CF: - L è vuoto, L è finito, L è infinito - due automi a stati finiti dati sono equivalenti - due grammatiche CF deterministiche date sono equivalenti Proprietà non decidibili: - una grammatica CF è ambigua - un linguaggio CF è ambiguo (tutte le sue grammatiche lo sono) - due grammatiche CF (non deterministiche) date sono equivalenti - l intersezione di due linguaggi CF è vuota, ecc. 51