Automi e Linguaggi Formali

Transcript

1 Automi e Linguaggi Formali Analisi Sintattica A.A Alessandro Sperduti sperduti@math.unipd.it

2 Ruolo dell analisi sintattica Un compilatore deve produrre codice oggetto e deve anche controllare che il programma in input sia scritto secondo le regole della sua sintassi L analisi lessicale controlla che i token siano scritti bene, e genera una sequenza di token L analisi sintattica prende in input la sequenza di token Non tutte le sequenze di token rappresentano programmi validi Bisogna riconoscere sequenze di token valide, cioè ottenibili tramite la grammatica che descrive le regole della sintassi del linguaggio Se la sequenza di token è valida, deve essere creato un albero di parsing Docente: Enrico Mezzetti 2 of 24

3 Eliminare l ambiguità Un analizzatore sintattico deve trasformare la sequenza di token in un albero sintattico Se la grammatica è ambigua, esistono più alberi di parsing possibili Pertanto è necessario eliminare l ambiguità Esempio: C if E then C C if E then C else C Questa grammatica è ambigua Il comando if E 1 then if E 2 then S 1 else S 2 ha due alberi sintattici Di solito: ogni else va accoppiato con il then più vicino Grammatica non ambigua: C C1 C2 C1 if E then C1 else C1 C2 if E then C if E then C1 else C2 Docente: Enrico Mezzetti 3 of 24

4 Parsing top-down Costruisce un albero di parsing per una stringa, iniziando dalla radice e creando i nodi in ordine depth-first (dato un nodo, prima lui e poi i figli da sinistra a destra, ricorsivamente) Trova la derivazione da più a sinistra per una stringa Ad ogni passo, una produzione viene usata per trasformare un non-terminale Una volta scelta la produzione, bisogna individuare i simboli terminali della parte destra della produzione nella stringa in input Docente: Enrico Mezzetti 4 of 24

5 Esempio Grammatica E TE E +TE ɛ T FT T FT ɛ F (E) id con stringa id + id id. Docente: Enrico Mezzetti 5 of 24

6 Esempio Docente: Enrico Mezzetti 6 of 24

7 Parsing ricorsivo-discendente Una procedura per ogni non-terminale Si inizia con la procedura per il simbolo iniziale Terminazione con successo se si scorre tutta la stringa in input Pseudocodice non-deterministico per un non-terminale A: 1 scegli una produzione per A: A X 1 X 2... X k 2 for (i = 1 to k) 3 se X i è un non-terminale chiama la procedura per X i 4 altrimenti, se X i = simbolo corrente, passa al prossimo simbolo della stringa 5 altrimenti, errore La produzione scelta potrebbe non essere quella giusta bisogna permettere il backtracking Errore vuol solo dire che bisogna tornare al passo 1 per scegliere un altra produzione per A, a meno che non ce ne siano più Il puntatore al simbolo corrente deve tornare indietro Docente: Enrico Mezzetti 7 of 24

8 Esempio Grammatica: S c A d A a b a con stringa cad. All inizio, albero con la sola radice S e puntatore all inizio della stringa (c) S ha solo una produzione, quindi usiamo quella Puntatore scorre anche c Usiamo la prima produzione per A e aggiungiamo i figli a e b Puntatore scorre anche a, ma b è diverso dal prossimo simbolo della stringa (d) Torniamo indietro e proviamo la seconda produzione per A (puntatore torna indietro alla c e poi scorre a) Puntatore legge d che è uguale al possimo simbolo nella stringa La stringa è finita, Automi quindi e Linguaggi abbiamo Formali A.Acreato un albero di parsing Docente: Enrico Mezzetti 8 of 24

9 Esempio Docente: Enrico Mezzetti 9 of 24

10 Ricorsione a sinistra Una grammatica è ricorsiva a sinistra se esiste un non-terminale A tale che A Aα per qualche stringa α I metodi di parsing top-down non possono gestire grammatiche ricorsive a sinistra: vanno in loop perché riscrivono sempre a sinistra Ricorsività sinistra diretta: produzione A Aα β Nuove produzioni: A βa e A αa ɛ Si può eliminare anche la ricorsività sinistra non diretta Esempio: S Aα γ A Sβ è ricorsiva a sinistra perché S + Sβα Docente: Enrico Mezzetti 10 of 24

11 Parser predittivi Come i parser discendenti ricorsivi ma possono predire quale produzione usare guardando ad alcuni prossimi token non c è mai bisogno di tornare indietro (backtracking) Funzionano con grammatiche LL(k) La prima L significa che l input viene letto da sinistra a destra La seconda L significa che seguono derivazioni da sinistra Il k significa che la predizione è basata sulla lettura anticipata di k token In pratica, si usano grammatiche LL(1) Docente: Enrico Mezzetti 11 of 24

12 LL(1) vs. Parser discendenti ricorsivi Nei parser discendenti ricorsivi Ad ogni passo, molte produzioni tra cui scegliere Backtracking per ritrattare le scelte sbagliate In LL(1) Ad ogni passo, una sola produzione (o nessuna, che vuol dire errore) Variante di parser ricorsivi discendenti senza backtracking Docente: Enrico Mezzetti 12 of 24

13 Come predire quale produzione usare? Consideriamo la grammatica E T + E T T a a T (E) Difficile predire perché Per T: due produzioni iniziano con a Per E: non chiaro quale usare Dobbiamo mettere insieme i prefissi comuni delle produzioni Docente: Enrico Mezzetti 13 of 24

14 Esempio La grammatica E T + E T T a a T (E) può essere trasformata in E TX X +E ɛ T ay (E) Y T ɛ Docente: Enrico Mezzetti 14 of 24

15 FIRST and FOLLOW Due funzioni che ci permettono di capire quale produzione scegliere, leggendo il prossimo simbolo in input FIRST(α) = insieme di terminali che iniziano stringhe derivabili da α, dove α è una qualunque stringa di simboli terminali o non Se α ɛ, allora ɛ FIRST (α) Esempio di uso: se abbiamo le produzioni A α β, e FIRST(α) è disgiunto da FIRST(β), allora basta guardare il prossimo simbolo in input. Se è in FIRST(α), va scelta la produzione A α. FOLLOW(A), per un non-terminale A, è l insieme del terminali a che possono apparire alla destra di A in una forma sentenziale Esiste una derivazione S αaaβ Se A è il simbolo più a destra in qualche forma sentenziale, allora $ è in FOLLOW(A) Docente: Enrico Mezzetti 15 of 24

16 Come calcolare FIRST di un simbolo Calcoliamo FIRST(X) per ogni simbolo X, terminale o no Se X è terminale, FIRST(X) = {X} Se X è non terminale e X Y 1 Y 2... Y k, Se esiste i tale che a FIRST (Y i ) e ɛ FIRST (Y 1 )... FIRST (Y i 1 ), allora a FIRST (X ). Se ɛ FIRST (Y j ) per tutti i j = 1,..., k, allora ɛ FIRST (X ) Nota: tutto quello che è in FIRST(Y 1 ) è anche in FIRST(X). Se Y 1 non deriva ɛ, allora FIRST(X) = FIRST(Y 1 ), altrimenti aggiungiamo FIRST(Y 2 ), e così via. Se X ɛ, allora ɛ FIRST (X ) Docente: Enrico Mezzetti 16 of 24

17 Come calcolare FIRST di una stringa Per calcolare FIRST(X 1... X n ): Mettiamo in FIRST(X 1,..., X n ) tutti i simboli di FIRST(X 1 ) tranne ɛ Se ɛ FIRST (X 1 ), mettiamo anche i simboli di FIRST(X 2 ) tranne ɛ Se ɛ FIRST (X 1 ) FIRST (X 2 ), mettiamo anche i simboli di FIRST(X 3 ) tranne ɛ E così via Se ɛ in tutti i FIRST(X i ) per tutti gli i, mettiamo ɛ in FIRST(X 1... X n ) Docente: Enrico Mezzetti 17 of 24

18 Come calcolare FOLLOW Mettiamo $ in FOLLOW(S), dove S è il simbolo iniziale Se produzione A αbβ, mettiamo in FOLLOW(B) tutto FIRST(β) meno ɛ Se produzione A αb, o produzione A αbβ, dove ɛ FIRST (β), mettiamo in FOLLOW(B) tutto FOLLOW(A) Docente: Enrico Mezzetti 18 of 24

19 Esempio Grammatica: E TE E +TE ɛ T FT T FT ɛ F (E) id FIRST(F) = FIRST(T) = FIRST(E) = {(, id} FIRST(E ) = {+, ɛ} FIRST(T ) = {, ɛ} FOLLOW(E) = FOLLOW(E ) = { ), $} FOLLOW(T) = FOLLOW(T ) = {+, ), $} FOLLOW(F) = {+,, ), $} Docente: Enrico Mezzetti 19 of 24

20 Grammatiche LL(1) Se G ha le due produzioni A α e A β: FIRST(α) e FIRST(β) sono due insiemi disgiunti Da α e β non si possono derivare stringhe che iniziano con lo stesso terminale Al più uno tra α e β può derivare la stringa vuota Se ɛ in FIRST(β), allora FIRST(α) e FOLLOW(A) sono disgiunti, e simile se ɛ in FIRST(α). Se β ɛ, α non deriva nessuna stringa che inizia con un terminale in FOLLOW(A) Se α ɛ, β non deriva nessuna stringa che inizia con un terminale in FOLLOW(A) Docente: Enrico Mezzetti 20 of 24

21 Tavola per il parser predittivo Matrice bidimensionale M[A,a], dove A è un non-terminale, e a è un terminale o $ Idea: la produzione A α è scelta se il prossimo simbolo di input a è in FIRST(α). Se α ɛ, allora va scelta se a è in FOLLOW(A). Per ogni produzione A α: Per ogni terminale a in FIRST(α), mettiamo A α in M[A,a] Se ɛ FIRST (α), mettiamo A α in M[A,b] per ogni b FOLLOW(A) Se ɛ FIRST (α) e $ FOLLOW(A), mettiamo A α anche in M[A,$] Docente: Enrico Mezzetti 21 of 24

22 Esempio non simbolo d ingresso terminale id + * ( ) $ E E TE E TE E E +TE E ɛ E ɛ T T FT T FT T T ɛ T *FT T ɛ T ɛ F F id F (E) Docente: Enrico Mezzetti 22 of 24

23 Funziona solo per grammatiche LL(1) Ad esempio, se la grammatica è ricorsiva a sinistra o ambigua, la tavola avrà una o più celle con più produzioni Esempio: S ietss a S es ɛ E b Questa grammatica è ambigua Docente: Enrico Mezzetti 23 of 24

24 Esempio S ietss a S es ɛ E b non simbolo d ingresso terminale a b e i t $ S S a S ietss S S ɛ, S es S ɛ E E b Docente: Enrico Mezzetti 24 of 24