Descrizione di un linguaggio di programmazione. Sintassi dei linguaggi di programmazione. Descrizione della sintassi linguaggio di programmazione

Transcript

1 Descrizione di un linguaggio di programmazione Sintassi dei linguaggi di programmazione Grammatiche e automi sintassi: quali sequenze di caratteri costituiscono programmi, la loro struttura semantica: significato, come si comporta un programma, l effetto della sua esecuzione pragmatica: utilizzo pratico; come scrivere buon codice; convenzioni, stili nello scrivere i programmi. implementazione: come eseguire il codice Grammatiche e automi Sintassi dei linguaggi di programmazione 1 / 60 Grammatiche e automi Sintassi dei linguaggi di programmazione 2 / 60 Descrizione della sintassi linguaggio di programmazione Quali sequenze di carattere formano un programma Qual è la struttura sintattica di un programma Descrizione, completamente formale, ottenuta tramite grammatiche Ripasso di Fondamenti di informatica Grammatiche Formalismo nato per descrivere linguaggi, anche naturali Chonsky, anni 50 Si definisce: un alfabeto A, linguaggio formato da sequenze di elementi (lettere) dell alfabeto. i simboli alfabeto sono chiamati anche terminali un insieme di categorie sintattiche: proposizione, soggetto, predicate, complementi-di-termine, nome, articolo,... comando, dichiarazione-di-termine, identificatore, costante-numerico, dichiarazioni costituiscono i simboli non-terminali Grammatiche e automi Sintassi dei linguaggi di programmazione 3 / 60 Grammatiche e automi Sintassi dei linguaggi di programmazione 4 / 60

2 Grammatiche Formalmente un insieme di regoli generazione, spiegano come espandere i non-terminali, quali classe di parale, un non-terminale rappresenta, proposizione -> soggetto predicato_verbale proposizione -> soggetto predicato_verbale complemento_oggetto programma -> dichiarazioni programma_principale Un linguaggio su alfabeto A, è un sottoinsieme di A, (stringhe su A) Definizione: Grammatica libera (dal contesto) Caratterizzata da: T insieme di simboli terminali (alfabeto del linguaggio) NT insieme di simboli non terminali (categorie sintattiche) R insieme di regole di produzione S simbolo iniziale NT Regole R (libere da contesto) nella forma: V w con V NT e w (T NT ) Grammatiche e automi Sintassi dei linguaggi di programmazione 5 / 60 Grammatiche e automi Sintassi dei linguaggi di programmazione 6 / 60 Espressioni aritmetiche su variabili a, b, c terminali: a, b, c, +, -, *, (, ) Esempio non-terminali: E, T, F (espressione, termine, fattore) regole: E -> T, E -> E + T, E -> E - T T -> F, T -> T * F F -> (E), F -> Var Var -> a, Var -> b, Var -> c simbolo iniziale: E Sviluppata per l Algol60 Formulazione alternativa: BNF (Backus Naur Form) non terminali marcati da parentesi: E (non devo definirli esplicitamente) -> sostituita da ::= regole con stesso simbolo a sinistra raggruppate E ::= T E + T E - T Esistono notazioni intermedie: E -> T E + T E - T Grammatiche e automi Sintassi dei linguaggi di programmazione 7 / 60 Grammatiche e automi Sintassi dei linguaggi di programmazione 8 / 60

3 Derivazioni e alberi di derivazione Derivazione: come passare da simbolo iniziale a parola finale, una regola alla volta, Albero di derivazione: rappresentazione univoca della derivazione, mette in evidenza la struttura del termine. definizione di albero data per scontata: più formalizzazioni dello stesso concetto intuitivo es: sottoinsieme di stringhe chiuso per prefisso (foresta non ordinato) Espressioni aritmetiche definibili da: Grammatiche ambigue: E -> E + E E - E E * E ( E ) Var Le due grammatiche generano lo stesso linguaggio ma non sono equivalenti. a + b * c possiede due derivazioni nella seconda grammatica le due derivazioni inducono due meccanismi di valutazione differente due interpretazioni diverse della stessa stringa Queste ambiguità vanno evitate (come in matematica) Grammatiche e automi Sintassi dei linguaggi di programmazione 9 / 60 Grammatiche e automi Sintassi dei linguaggi di programmazione 10 / 60 Due soluzioni: Disambiguare uno grammatica introdurre nuovi non-terminali e renderla più complessa non esistono ricette semplici convivere con grammatiche ambigue e specificare l ordine di precedenza degli operatori soluzione usata anche nei parser Esempio: stat ::= IF bool THEN stat ELSE stat IF bool THEN stat... ambigua su IF bool1 THEN IF bool2 THEN stat1 ELSE stat2 Esercizio: scrivere la versione non ambigua. Sintassi astratta (Abstract syntax tree) il significato di una stringa di caratteri è meglio rappresentata dal suo albero di derivazione che dall espressione stessa a volte necessario complicare l espressione per darle la giusta interpretazione (a + b) * c parentesi ( ) necessaria per definire la precedenza questi orpelli sono eliminabile nella rappresentazione ad albero Abstract syntax tree: albero sintattico minimale minima di una stringa Sintassi astratta: sintassi minimale senza complicazione per evitare ambiguità E -> E + E E - E E * E Var Grammatiche e automi Sintassi dei linguaggi di programmazione 11 / 60 Grammatiche e automi Sintassi dei linguaggi di programmazione 12 / 60

4 Classi di grammatiche Oltre alle grammatiche libere dal contesto esistono anche: Grammatiche a struttura di frase dipendenti da contesto libere da contesto lineari sinistre, lineari destre regolari differenze: diverse grado di libertà nel definire le regole con grammatiche più generali: una classe più ampia di linguaggi definibili più complesso decidere se un parola appartiene al linguaggio, costruire albero di derivazione Scelta Libero da contesto compromesso ottimale tra espressività e complessità. spesso tempo lineare ampio insieme di linguaggi definibili Grammatiche e automi Sintassi dei linguaggi di programmazione 13 / 60 Grammatiche e automi Sintassi dei linguaggi di programmazione 14 / 60 Vincoli sintattici contestuali: Soluzione (dei compilatori): Tuttavia con grammatiche libere dal contesto non posso eliminare dall insieme di programmi riconosciuti (accettati) programmi che non rispettano alcuni vincoli sintattici (contestuali) come: identificatori dichiarati prima dell uso ugual numero di parametri attuali e formali non modificare variabile di controllo ciclo for rispettare i tipi nelle assegnazioni il linguaggio a n b a n b a n non è libero da contesto usare comunque grammatiche libere (efficienti), costruito l albero sintattico, effettuare una fase di l analisi semantica Fase di analisi semantica chiamata anche semantica statica controlli eseguibili a tempo di compilazione alternativi alla semantica dinamica controlli eseguiti durante l esecuzione. Grammatiche e automi Sintassi dei linguaggi di programmazione 15 / 60 Grammatiche e automi Sintassi dei linguaggi di programmazione 16 / 60

5 Semantica Front end del compilatore termine abusato nelle locuzioni semantica statica, semantica dinamica semantica di un programma rappresenta il suo significato, descrive il suo comportamento a run-time non un semplice controllo degli errori. Semantica definita quasi sempre informalmente in linguaggi naturale esistono alternative formali semantico operazionale strutturata: programma descritto da un sistema di regole (di riscrittura) che descrivono il risultato della valutazione di un qualsiasi programma semantica denozianale: descrivo con delle strutture matematiche (funzioni) il comportamento del programma. Sintassi della lingua naturale: descrivo l insieme di parale valide, divise in categorie (articoli, nomi, verbi,... ) regole per costruire frasi da parole descrizione linguaggio formale, compilatore descrizioni delle parti elementare lessema, meccanismi per riconoscerlo, analisi lessicale descrizione della struttura generale, a partire da lessemi, analisi sintattica Divisione rende più efficiente l analisi del testo Grammatiche e automi Sintassi dei linguaggi di programmazione 17 / 60 Grammatiche e automi Sintassi dei linguaggi di programmazione 18 / 60 Analisi lessicale (scanner) Nella stringa di caratteri riconosco i lessemi, e per ogni lessema costituisco un token token : ( categoria sintattica, valore -attributo ) Esempio, data la stringa x = a + b * 2; viene generata la sequenza di token [(identifier, x), (operator, =), (identifier, a), (operator, +), (identifier, b), (operator, *), (literal, 2), (separator, ;)] La sequenza di token generati viene passata all analizzatore sintattico (parser) Come esprimere i lessemi: espressioni regolari Grammatiche e automi Sintassi dei linguaggi di programmazione 19 / 60 Sui linguaggi su uno stesso alfabeto A, sugli insiemi di stringhe di A posso definire le operazioni di: unione: L M Operazioni su linguaggi concatenazione L M = { s t s L, t M } dove s t indica la concatenazione della stringa s con la stringa t chiusura di Kleene L* = { s1 s2 s2... sn per ogni i si L} e considerare tutti gli insiemi di stringhe ottenibili da singoletti, usando le operazioni di sopra. Grammatiche e automi Sintassi dei linguaggi di programmazione 20 / 60

6 Espressioni regolari, algebra di Kleene Esempi Espressioni (algebriche), L, M, N,... che denotano un linguaggio, insieme di costanti: simboli terminali costante ε, stringa vuota attraverso le operazioni di: concatenazione: LM unione: L M chiusura di Kleene: L* a b* = {ε, a, b, bb, bbb,... } (a b)* = {ε, a, b, aa, ab, ba, bb, aaa,... } ab*(c ε) = { a, ac, ab, abc, abb, abbc,... } (0 (1(01*0)*1))* = { ε, 0, 00, 11, 000, 011, 110, 0000, 0011, 0110, 1001, 1100, 1111, 00000,... }, numeri in base 2 multipli di 3. Grammatiche e automi Sintassi dei linguaggi di programmazione 21 / 60 Grammatiche e automi Sintassi dei linguaggi di programmazione 22 / 60 Da espressioni regolari a linguaggi Estensioni Oltre a operazioni base posso definire altre operazioni Ogni espressioni regolare rappresenta un linguaggio: L( ε ) = { ε } L(a) = { a } L (L M) = L(L) L (M) L (L M) = L(L) L (M) L (L*) = (L(L))* chiusura positiva: L + = L L* zero o un istanza: L? = ε L L{n}: n concatenazioni di parole in L = L L... L uno tra: [acdz] = a c d z range: [a-z,a-z] = a b c... A B C... Espressioni più compatte, ma stessa classe di linguaggi. Esistono molte altre estensioni Espressioni regolari usate nei programmi per manipolare stringhe, text-editor, incluse nel librerie standard di molti linguaggi di programmazione Grammatiche e automi Sintassi dei linguaggi di programmazione 23 / 60 Grammatiche e automi Sintassi dei linguaggi di programmazione 24 / 60

7 Definizione tramite equazioni Risultati teorici Permette una scrittura chiara più compatta: digit -> [0-9] simple -> digit + fract -> simple. simple exp -> fract e ( ɛ + n ) simple num -> simple fract exp Teorema Linguaggi regolari posso essere descritti in molti diversi: espressioni regolari grammatiche regolari automi finiti non deterministici, NFA non determistic finite automata. automi finiti deterministici (macchine a stati finiti) DFA determistic finite automata. Teorema Esiste l automa deterministico minimo (minor numero di stati) Grammatiche e automi Sintassi dei linguaggi di programmazione 25 / 60 Grammatiche e automi Sintassi dei linguaggi di programmazione 26 / 60 Esempio Applicazioni Dall espressione regolare costruisco l automa minimo, in modo effettivo. Dall automa minimo costruisco un programma (ottimale) per decidere se una parola appartiene a un espressione regolare. Programma contiene un tabella che descrive le transazione del automa minimo, e ne simula il comportamento. Riconoscitore per b(an)*e Grammatiche e automi Sintassi dei linguaggi di programmazione 27 / 60 Grammatiche e automi Sintassi dei linguaggi di programmazione 28 / 60

8 Scanner Lo scanner deve risolvere un problema più complesso del semplice riconoscimento. Data una stringa di ingresso e una insieme di espressioni regolari, classi di lessemi (es. identificatori, numeri, operazioni,... ), lo scanner deve dividere la stringa in lessemi, Problemi: quando termina un lessema: soluzione standard quando non può essere ulteriormente esteso la stringa 3.14e+sa divisa in 3.14 e + sa la stringa 3.14e+5a divisa in 3.14e+5 a per deciderlo posso essere necessari più simboli di lookahaed; cosa fare se un lessema appartiene a più classi. In Fortran: DO 5 I = 1,25 DO 5 I = 1.25 loop assignment Grammatiche e automi Sintassi dei linguaggi di programmazione 29 / 60 Automa per le componenti di espressioni aritmetiche Grammatiche e automi Sintassi dei linguaggi di programmazione 30 / 60 Generatori di scanner (analizzatori lessicali) Diffuso generatore di scanner per Unix (linux) Prende in input un file di testo con struttura (F)LEX Classe di programmi che: dato un insieme di espressioni regolari costruiscono un programma che: data una stringa, riconosce i lessemi sulla stringa scanner. Il programma può eseguire azioni, tipicamente sostituire lessemi con token. Grammatiche e automi Sintassi dei linguaggi di programmazione 31 / 60 definizioni %% regole %% funzioni ausiliari la parte regole, la più importante, serie di regole nella forma espressione-regolare azione espressioni-regolare sono quelle di unix (grep, emacs), ricca sintassi azione codice C, eseguito quando riconosciuta la corrispondente azione Grammatiche e automi Sintassi dei linguaggi di programmazione 32 / 60

9 Esempio Definizioni %% aa bbb c printf("2a") printf("3b") printf("cc") definizioni contiene la definizione di alcune espressioni regolari nella forma nome espressione-regolare genera un programma che: modifica coppie di a modifica terne di b raddoppia le c lasciando inalterato il resto Grammatiche e automi Sintassi dei linguaggi di programmazione 33 / 60 esempio letter [a-za-z] digit [0-9] number {digit}+ notare le parentesi graffe in {digit}+ nomi definiti possono essere usati nelle regole Grammatiche e automi Sintassi dei linguaggi di programmazione 34 / 60 Funzioni ausiliare Nella parte funzioni ausiliarie definibile del codice C da usare nelle regole. Nelle regole posso usare le variabili yytex : stringa (array) contenente il lessema riconosciuto, puntatore al primo carattere yyleng : lunghezza del lessema yyval : usate per passare parametri con il parser %{ int val = 0; %} separatore [ \t\n] %% 0 {val = 2*val;} 1 {val = 2*val+1;} {separatore} {printf("%d",val);val=0;} Esempio sostituisce sequenze rappresentanti numeri binari con il loro valore, scritto in decimale. nella parte dichiarazione è possibile inserire codice da aggiunge al programma. Grammatiche e automi Sintassi dei linguaggi di programmazione 35 / 60 Grammatiche e automi Sintassi dei linguaggi di programmazione 36 / 60

10 Uso standard Sintassi espressioni regolari caratteri di controllo:. * +? \ { } ( ) [ ] cifra [0-9] lettera [a-za-z] identificatore {lettera}({cifra} {lettera})* %% {identificatore} {printf("(ide,%s)", yytext);} sostituisci lessema con token identificatore di espressione regolare fa inserito tra { } e{n,m} con n, m naturali: da n a m ripetizioni di e, anche e{n,} [^abd] tutti i caratteri esclusi a b d e 1 /e 2 lookahead, fa match con e 1 e 2 ma restituisce e 1 \n newline, \s general space, \t tab ^ inizio riga Grammatiche e automi Sintassi dei linguaggi di programmazione 37 / 60 Grammatiche e automi Sintassi dei linguaggi di programmazione 38 / 60 Funzionamento In pratica Si considerano tutte le espressioni regolari e si seleziona quella con match più lungo, la parte lookahaed conta nella misura a parità di lunghezza, conta l ordine delle regole vengono impostate yytext, yyleng e eseguita l azione nessun matching: regola di default: copio carattere input in output > flex sorgente genera un programma C lex.yy.c, compilabile con il comando > gcc lex.yy.c -ll opzione -ll necessaria per collegare alcune librerie Utilizzabile per automatizzare del text editing. Grammatiche e automi Sintassi dei linguaggi di programmazione 39 / 60 Grammatiche e automi Sintassi dei linguaggi di programmazione 40 / 60

11 Analisi sintattica (parsing - parser) A partire da una grammatica libera da contesto una stringa di token costruisco l albero di derivazione della stringa, a partire dal simbolo iniziale Risultati teorici Le grammatiche libere possono essere riconosciuti da automi a pila non deterministici. Automi con un uso limitato di memoria: insieme finito di stati, una pila, in cui inserire elementi finiti, passo di computazione deciso in base a: stato, simbolo in testa alla pila, simbolo in input un gradino in più rispetto agli automi finiti. Per gli automi a pila non esiste equivalenza tra: non deterministici deterministici. Grammatiche e automi Sintassi dei linguaggi di programmazione 41 / 60 Grammatiche e automi Sintassi dei linguaggi di programmazione 42 / 60 Complessità Un automa a pila non deterministico, simulato tramite backtracking, porta a complessità esponenziali. Esistono due algoritmi [Earley, Cocke-Yunger-Kasami] capaci di riconoscere linguaggi liberi in tempo O(n³) Un automa a pila deterministico risolve il problema in tempo lineare. In pratica: complessità O(n³) non accettabile per un compilatore. ci si limita ai linguaggi riconoscibili da automi a pila deterministici: classe sufficientemente ricca da contenere quasi tutti i linguaggi di programmazione (C++ è un eccezione) Due classi di automi a pila: LL e LR Automi LL(n) cerca di costruire l albero di derivazione top-down (a partire dal simbolo iniziale) usando n simboli di lookahead. Significato del nome: esamina la stringa from Left to right costruisci la derivazione Left-most usa n simboli di lookahead Grammatiche e automi Sintassi dei linguaggi di programmazione 43 / 60 Grammatiche e automi Sintassi dei linguaggi di programmazione 44 / 60

12 Data la grammatica: Esempio di parsing Seconda derivazione la stringa adb viene riconosciuta con i seguenti passi: la stringa abb viene rifiutata con i seguenti passi: Grammatiche e automi Sintassi dei linguaggi di programmazione 45 / 60 Grammatiche e automi Sintassi dei linguaggi di programmazione 46 / 60 Parsing guidato da una tabelle che in base: al simbolo in testa alla pila Più nel dettaglio ai primi n simboli di input non ancora consumati, normalmente n =1 Determina la prossima azione da svolgere: regola di espansione da applicare consumare un simbolo in input e in testa alla pila (se coincidono) generare segnale di errore (stringa rifiutata) accettare la stringa (input e pila vuoti) Analizzatori LL La teoria verrà presentata nel corso di Linguaggi e Compilatori (laurea magistrale) Relativamente semplici da capire e da costruire (a mano a partire da semplici grammatiche) La costruzione prevede dei passaggi di riscrittura di una grammatica in una equivalente (determina lo stesso linguaggio) dalla nuova grammatica, un algoritmo determina: se è LL(1) la tabelle delle transizioni Meno generali dell altra classe di automi LR(n), quelli effettivamente nei tool costruttori di parser. Grammatiche e automi Sintassi dei linguaggi di programmazione 47 / 60 Grammatiche e automi Sintassi dei linguaggi di programmazione 48 / 60

13 Analizzatori LR Esempio approccio bottom-up: a partire dalla stringa di input, applico una serie di contrazioni, (regole al contrario) fino a contrarre tutto l input nel simbolo iniziale della grammatica. Grammatiche e automi Sintassi dei linguaggi di programmazione 49 / 60 Grammatiche e automi Sintassi dei linguaggi di programmazione 50 / 60 Più nel dettaglio Automi LR Ad ogni passo si sceglie tra un azione di: shift inserisco un token in input nella pila reduce riduco la testa della pila applicando una riduzione al contrario Nella pila introduco una coppia l azione da compiere viene decisa guardando la componente stato in testa alla pila (non serve esaminarla oltre) n simboli di input, per l automa LR(0) esiste un algoritmo che a partire da: grammatica libera L mi permette di: stabilire se L è LR costruire l automa a pila relativo insieme degli strati tabella delle transazioni come deve comportarsi ĺ automa ad ogni passo. In realtà esisto tre versioni di questo algoritmo. Grammatiche e automi Sintassi dei linguaggi di programmazione 51 / 60 Grammatiche e automi Sintassi dei linguaggi di programmazione 52 / 60

14 Varie versioni degli automi LR Analizzatori LALR In ordine crescente per complessità (numero di stati) e ampiezza di linguaggi riconosciuti, a parità del numero n di simboli di lookahead. SLR(n) LALR(n) LR(n) Aumentando n si allarga l insieme di linguaggi riconosciuti. Compromesso ideale tra numero di stati e varietà dei linguaggi riconosciuti Costruzione piuttosto complessa: da spiegare e da implementare. Bel esempio di applicazione di risultati teorici: Donald Knuth: 1965, parser LR, (troppi stati per i computer dell epoca) Frank DeRemer: SLR and LALR, (pratici perché con meno stati). LALR usato dai programmi generatori di parser: Yacc, Bison, Happy. Grammatiche e automi Sintassi dei linguaggi di programmazione 53 / 60 Grammatiche e automi Sintassi dei linguaggi di programmazione 54 / 60 Yacc (Yet Another Compiler-Compiler) Generatore di parser tra i più diffusi: Riceve in input una descrizione astratta del parser: descrizione di una grammatica libera un insieme di regole da applicare ad ogni produzione Restituisce in uscita: programma C che implementa il parser l input del programma sono token generati da uno scanner (f)lex Disponibili varianti di Yacc per generare codice in altri linguaggi di programmazione: ML, Ada, Pascal, Java, Python, Ruby, Go, Haskell, Erlang. Grammatiche e automi Sintassi dei linguaggi di programmazione 55 / 60 %{ prologo %} definizioni %% regole %% funzioni ausiliarie Una produzione della forma Struttura di un programma Yacc: nonterm corpo1 corpok è espressa in Yacc con le regole: nonterm : corpo1 {azione semantica1 } corpok {azione semanticak } ; Grammatiche e automi Sintassi dei linguaggi di programmazione 56 / 60

15 %{ /* PROLOGO */ #define YYSTYPE double #include <math.h> #include <stdio.h> %} /* DEFINIZIONI */ %token NUM %left - + %left * / %left NEG /* meno unario */ Esempio Definizioni Grammatiche e automi Sintassi dei linguaggi di programmazione 57 / 60 %% /* REGOLE E AZIONI SEMANTICHE */ Esempio - Regole input: /* empty */ input line ; line : \n exp \n { printf ("\t%.10g\n", $1); } ; exp : NUM { $$=$1; } exp + exp { $$=$1+$3; } exp - exp { $$=$1 $3; } exp * exp { $$=$1*$3; } exp / exp { $$=$1/$3; } - exp %prec NEG { $$ = $2; } ( exp ) { $$ = $2; } ; Grammatiche e automi Sintassi dei linguaggi di programmazione 58 / 60 %% /* Funzioni Ausiliarie */ #include "lex.yy.c" Esempio - Funzioni ausiliarie Differenze tra YACC e LALR YACC produce codice C che implementata un automa LALR ma: non esiste uno stretto controllo che la grammatica sia LALR: grammatiche non LALR vengono accettate ma producono automi che possono fare scelte sbagliate, rifiutano parole valide. grammatiche ambigue sono accettate, attraverso definizione si possono togliere ambiguità, metodo empirico, le definizioni possono essere incomplete e YACC sceglie secondo le sue politiche. il codice C, non solo riconosce la stringa ma la valuta valutazione bottom-up - come il riconoscimento, risultati parziali inserite nella pila, la parte azioni delle regole specificano come valutare una parola a partire dalle sue sotto-parole. Grammatiche e automi Sintassi dei linguaggi di programmazione 59 / 60 Grammatiche e automi Sintassi dei linguaggi di programmazione 60 / 60