Yet Another Compiler-Compiler. Generazione automatica di analizzatori sintattici

Transcript

1 Yet Another Compiler-Compiler Generazione automatica di analizzatori sintattici

2 2 YACC Yet Another Compiler-Compiler YACC (Bison) è un generatore di analizzatori sintattici a partire dalla descrizione di una grammatica LALR(1) Genera un sorgente C L ingresso è un file che descrive la grammatica con un formalismo analogo alla BNF (Backus-Naur Form) per la specifica dei linguaggi Simboli non terminali identificatori per convenzione in minuscolo expr, stmt Simboli terminali identificatori per convenzione in maiuscolo o singoli caratteri INTEGER, FLOAT, IF, WHILE, ;,. Regole grammaticali (produzioni) expr: expr + expr expr * expr ; E E+E E*E

3 3 YACC valori e azioni Ad ogni elemento è associato un tipo e un valore semantico Tipo: INTEGER, IDENTIFICATORE Valore: Il valore dell intero, il riferimento dell identificatore nella tavola dei simboli Anche le categorie sintattiche possono avere associato un valore Il risultato della valutazione di un espressione Le azioni corrispondono a codice C associato a ciascuna produzione Ogni volta che viene applicata una produzione si esegue l azione associata ad essa In genere l azione permette di combinare i valori associati agli elementi nel lato destro della produzione per ottenere il valore del simbolo non terminale sul lato sinistro expr: expr + expr { $$ = $1 + $3;}; 1 2 3

4 4 YACC integrazione con l analizzatore lessicale Per estrarre i simboli terminali dal file da analizzare occorre usare un analizzatore lessicale l analizzatore sintattico prodotto a YACC chiama l analizzatore lessicale quando deve leggere il prossimo simbolo terminale file di input Analizzatore lessicale INTEGER IDENTIFIER. prossimo elemento Analizzatore sintattico azioni L analizzatore sintattico è sotto forma di una funzione yyparse() e occorre corredarla dell analizzatore lessicale (es. yylex()), le funzioni di gestione degli errori e del programma che la invoca

5 5 I file di grammatica La grammatica è definita in un file di testo (per convenzione con estensione.y) %{ dichiarazioni C (include/define/variabili globali) %} dichiarazioni YACC (definizione di simboli terminali/non-terminali e loro proprietà) %% regole grammaticali e azioni associate %% codice C (copiato nel file generato dopo la funzione yyparse())

6 6 Simboli terminali Rappresentano una classe di elementi equivalenti dal punto di vista sintattico sono rappresentati con codici numerici associati al loro identificatore Corrispondono a dei #define L analizzatore lessicale yylex() deve produrre tale codice quando trova un elemento della classe (si può usare l opzione d per generare il file xx.tab.h che contiene i define per le classi di simboli terminali) while return WHILE; /* regola lex */ Sono dichiarati nella sezione delle dichiarazioni YACC %token WHILE Gli elementi letterali sono utilizzati come le costanti carattere del C (es. + ) e non devono essere dichiarati a meno che non si voglia specificare il tipo di valore semantico associato, l associatività o la precedenza (il codice associato è il valore ASCII corrispondente)

7 7 Definizione delle regole - 1 Una regola grammaticale ha la forma risultato: componenti.. ; <risultato> è il simbolo non terminale a cui si riduce l espressione del lato destro della produzione Il lato destro della produzione è costituito da una sequenza di componenti che comprendono simboli terminali, non terminali e azioni (codice C compreso fra { }) simbolo terminale expr: expr + expr {$$=$1+$3; } AZIONE

8 8 Definizione delle regole - 2 Si possono elencare regole alternative che portano alla riduzione nello stesso simbolo non terminale expr: expr + expr {$$=$1+$3} expr * expr {$$=$1*$3} ; Se il corpo della produzione è vuoto la regola viene soddisfatta anche dalla stringa vuota expr: /* vuota */ expr1 ; La regola è ricorsiva se il non-terminale a sinistra (<risultato>) compare anche nel lato destro (è preferibile evitare la ricorsione a destra..) exprseq: expr exprseq, expr ;

9 9 Definizione della semantica - 1 La semantica dipende dai valori associati agli elementi e dalle azioni eseguite quando si fanno le riduzioni (si applica una regola) expr + expr expr L applicazione della regola expr: expr + expr; deve associare al simbolo expr risultante dalla riduzione il valore della somma dei valori associati ai due simboli expr nell espressione sul lato destro Per default a tutti i simboli è associato un valore di tipo int Si può modificare con un altro tipo C mettendo nella parte di dichiarazioni C #define YYSTYPE <tipoc>

10 10 Definizione della semantica - 2 Se si vogliono usare tipi dati diversi per simboli diversi Si deve specificare la lista completa dei tipi nella parte di dichiarazioni YACC Tipi C %union { double val; char } *sptr; Nomi associati ai tipi in YACC Si associa uno dei tipi definiti ai simboli terminali/non-terminali con le dichiarazioni %token e %type %token <val> NUM %type <sptr> string_ass

11 11 Definizione della semantica - 3 Un azione è una parte di codice C che viene eseguita quando una regola viene applicata (riduzione) Le azioni possono comparire anche nel mezzo della stringa che rappresenta il lato destro della produzione e in tal caso sono eseguite quando la regola è soddisfatta parzialmente (è però poco leggibile) Il codice C dell azione può far riferimento ai valori semantici associati agli elementi della regola expr: expr + expr {$$=$1+$3} ; $$ $1 $3 Il valore dell elemento n nella sequenza è associato a $n $$ rappresenta il valore del lato sinistro Se non si specifica un azione risulta per default $$=$1 Il tipo associato a $n è quello specificato per l elemento corrispondente (si può eventualmente forzare con $<tipo>n

12 12 Dichiarazioni YACC Tutti i simboli terminali che non sono singoli caratteri vanno dichiarati Si utilizza la direttiva %token ID (genera un #define) E possibile specificare la precedenza e l associatività (a sinistra/a destra) degli operatori per semplificare la scrittura della grammatica %left simboli %left <tipo>simboli %right simboli %right <tipo>simboli %nonassoc simboli x op y op z : (x op y) op z x op y op z : x op (y op z) x op y op z : errore di sintassi La precedenza è determinata dall ordine delle dichiarazioni %left + - %left * / - + priorità

13 13 Interfaccia col C La funzione di analisi yyparse() legge simboli terminali, esegue azioni e ritorna il controllo quando Raggiunge la fine del file (valore 0) Incontra un errore di sintassi non recuperabile (valore 1) In un azione si usa la macro YYACCEPT (valore 0) o YYABORT (valore 1) I simboli terminali sono individuati dall analizzatore lessicale - es. yylex() - che fornisce il codice corrispondente (ASCII o #define di YACC) Il valore semantico eventualmente associato al simbolo terminale deve essere memorizzato nella variabile globale yylval Se in YACC si usa un solo tipo YYSTYPE allora yylval è di tale tipo altrimenti è una union C

14 14 Interfaccia col C - yylval Se yylval è di un tipo unico nell azione di lex si avrà }. yylval = value; return ID; Se si usano invece più tipi %union { double val; char *sptr; } }. yylval.sptr = string; return STRING; Se il valore è un puntatore, l indirizzo deve essere relativo ad un area di memoria globale o nello heap (allocata con malloc)

15 15 Gestione degli errori - 1

16 16 Gestione degli errori - 2 Dopo aver eseguito yyerror() l analizzatore tenta di recuperare l errore se è stata scritta una funzione di recupero da errori, altrimenti esce da yyparse con valore 1 La variabile yynerrs memorizza il numero di errori trovati (è una variabile globale per analizzatori non rientranti) In genere si vuole evitare che l analisi si blocchi al primo errore incontrato Si può definire cosa fare in corrispondenza di un errore di sintassi facendo in modo che la regola riconosca il simbolo terminale error Il simbolo speciale error è generato dall analizzatore tutte le volte che si genera un errore di sintassi

17 17 Gestione degli errori - 3 stmt: /* vuoto */ stmt \n stmt exp \n stmt error \n Se si verifica un errore in exp ci sono probabilmente delle derivazioni incomplete nello stack dell analizzatore e altri simboli terminali nell input prima di arrivare a \n il parser forza l applicazione della regola eliminando parte del contesto sintattico dallo stack e dall input elimina stati e oggetti dallo stack fino a che la regola che comprende error è accettabile (trova lo stmt precedente) sposta nello stack il simbolo error legge simboli dall ingresso fino a che non trova un simbolo terminale di lookahead accettabile ( \n in questo caso)

18 18 Gestione degli errori the art of In genere è difficile decidere (e realizzare) la migliore strategia per la gestione degli errori Ad esempio si può saltare il resto della linea di ingresso o il comando corrente in caso di errore stmt: error ; /* in caso di errore si prosegue fino a leggere ; */ Si può cercare di bilanciare le parentesi per evitare che si generino errori a catena correlat i al primo item: ( expr ) ( error ) /* rileva un errore in expr senza generare errori di bilanciamento di parentesi */

19 19 Gestione degli errori the art of 2 Facendo le scelte sbagliate un errore di sintassi ne può innescare un altro.. Per evitare una produzione incontrollata di messaggi di errore l analizzatore non emette messaggi nuovi per un errore di sintassi che compare subito dopo l ultimo rilevato (si devono leggere almeno due nuovi simboli per generare un nuovo errore) Si può riattivare l emissione di messaggi di errore chiamando la funzione yyerrok in una azione

20 20 Un esempio - calcolatrice parser per gestire le operazioni di una calcolatrice multifunzione che prevede Operatori artimetici ( +, -, *, /, ^ ) Funzioni predefinite (sin, cos, exp, log, ) che si invocano come f(x) Variabili con nome e assegnazioni (v=1) File sorgente per YACC/Bison File sorgente per LEX File di supporto in C (gestione tavola dei simboli) L analizzatore sintattico si genera con bison d calc.y I files prodotti sono calc.yy,tab.c e calc.yy.tab.h

21 21 Parser generators Sono disponibili numerosi generatori di parser lessicali e/o sintattici Generano codice per linguaggi target diversi Implementano strategie di parsing diverse BYACC/J genera parser Java di tipo LALR(1) Coco/R genera parser di tipo LL(k) in C, C++, C#, Java, Pascal CUP genera parser LALR(1) in Java JavaCC genera parser LL(k) in Java Lime genera parser LALR(1) in PHP.. Si veda