AWK - riassunto. lezione scorsa. Ciclo dell interprete

Transcript

1 AWK - riassunto lezione scorsa AWK è un linguaggio di programmazione + interprete scopo: estrarre e manipolare dati di interesse da file di dati programma AWK: sequenza di regole <condizione, azione> file di dati: record1 record2 record3 campo1 campo2 non necessariam. i record devono contenere lo stesso numero di campi Ciclo dell interprete l interprete AWK esegue un ciclo in cui per ogni record, per ogni regola, se la condizione è verificata allora esegue l azione ad essa associata estrazione di dati modifica di dati calcolo di risultati riguardo le possibili condizioni 1

2 Condizioni Sono possibili le seguenti alternative: matching: qualche campo nel record verifica un certo schema rappresentato per mezzo di un espressione regolare test su altre variabili: ad es. sul numero di record condizioni speciali: BEGIN e END nessuna condizione: la regola è applicata a tutti i record Esempio riassuntivo supponiamo di avere un file di dati avente questa struttura: 1. ogni riga è un record costituito da un unico campo 2. i record sono sequenze di caratteri a, b, c e d Nostro scopo iniziale è estrarre i record che contengono una sottostringa che inizia per abab e termina con baba. Non abbiamo altre informazioni sulla struttura di tali sottostringhe in seguito eseguiremo un elaborazione del risultato Dati di partenza bbbbaaaabbbbbaaaaabcabccccccaaaaabbbbababbbaaabbbaaa dadaccaabbbaaacbaabcababddaabddaabccadccccaaadadadada bbaaaabbbbaaaabbbbddaabddaabdacababccdaa bbbbaaaabbbbbaaaaabababcabccccccaaaaabbbbababbbaaabbbaaa dadaccaabbbaaacbaabcababddaabddaabbabaccadccccaaadadadada bbaaaabbbbaaaabbbbababddaabddaabbabadacababccdaa bbaaaabbbbaaaabbbbddaabddaabbabadacababccdaa bbaaaabbbbaaaabbbbababdadabbbaaabbbcacacababaccadccccaaadadadada bbbbaaaabbbbbaaaaababddaabddaabbabadacababccdaa dadaccaabbbaaacbaabcababdadabbbaaabbbcacacabababbbaaabbbaaa dadaccaabbbaaacbaabcabababcabccccccaaaaabbbbabaccadccccaaadadadada dadaccaabbbaaacbaabcabcabccccccaaaaabbbccadccccaaadadadada bbaaaabbbbaaaabbbbddaabddaabbabadacababccdaa ddaaaaaabbbbaaaabbbbddaabddaabbabadacababccdaa 2

3 Analisi del problema il problema di estrarre record che verificano uno schema implica la capacità di riconoscere tali record nel caso di AWK riconoscere che un record verifica uno schema significa scrivere una regola avente un opportuna condizione, dal momento che vogliamo verificare la corrispondenza occorrerà definire una condizione di matching: $0 ~ espr_reg il problema è ora definire un espressione regolare che cattura le sequenze di interesse e, successivamente, definire l azione associata alla condizione Definire l espressione regolare per definire un ER occorre innanzi tutto conoscere l alfabeto dei simboli dei quali le sequenze possono essere costituite. Nel nostro caso si tratta delle lettere: a,b,c, d Le sequenze che ci intessano hanno sottosequenze che iniziano con abab e terminano con baba. Questo problema ricorda l esempio visto la volta scorsa delle sequenze che iniziano e terminano per a. Il matching viene eseguito automaticamente da AWK, quindi noi possiamo limitarci a descrivere con un ER le sottosequenze di interesse Definire l espressione regolare abab qualsiasi sequenza costituita da a, b, c, oppure d baba (a b c d)* /abab(a b c d)*baba/ Le ER in AWK sono racchiuse fra / / Gli spazi sono significativi!!! Non lasciate spazi!!! 3

4 Programma di estrazione $0 ~ /abab(a b c d)*baba/ { azione } estrazione di dati se voglio salvare i dati estratti basta sfruttare la ridirezione dello standard output di Unix: print $0 gawk f cerca_su_pattern.awk dati_iniziali > filerisultati nome del file relativo al prog. awk file_dati Risultato bbbbaaaabbbbbaaaaabababcabccccccaaaaabbbbababbbaaabbbaaa dadaccaabbbaaacbaabcababddaabddaabbabaccadccccaaadadadada bbaaaabbbbaaaabbbbababddaabddaabbabadacababccdaa bbaaaabbbbaaaabbbbababdadabbbaaabbbcacacababaccadccccaaadadadada bbbbaaaabbbbbaaaaababddaabddaabbabadacababccdaa dadaccaabbbaaacbaabcababdadabbbaaabbbcacacabababbbaaabbbaaa dadaccaabbbaaacbaabcabababcabccccccaaaaabbbbabaccadccccaaadadadada Nuovo obiettivo nei dati estratti possiamo individuare la seguente struttura logica: prologo abab nucleo baba epilogo nostro nuovo obiettivo è elaborare i record ottenuti trasformandoli in record costituiti da 3 campi, corrispondenti rispettivamente a prologo, nucleo ed epilogo delle sequenze costituenti i record estratti dal file di dati iniziale 4

5 Usiamo una funzione offerta da awk idea: spezzare la sequenza sostituendo ad abab e baba degli spazi abcabcabcababbbbbbbdddddbabaddaaddaaddaa abcabcabc bbbbbbddddd ddaaddaaddaa diventa sub(espressione_reg, seq_di_sostituz, stringa) sostituisce alla prima occorrenza dell ER in stringa la sequenza indicata da seq_di_sostituz (nel nostro caso sarà uguale a una stringa contenente uno spazio ) Analisi del problema devo fare due sostituzioni: una su abab e una su baba a quali record devo applicare tale sostituzione? Poiché tutti i record su cui lavoro contengono le due stringhe in questione, tale sostituzione andrà applicata a tutti i record del file di input di conseguenza posso scrivere un programma che contiene una sola regola con condizione vuota. L azione associata a tale regola sarà Azione { temp=$0 sub(/abab/,, temp) sub(/baba/,, temp) print temp } Attenzione: sub modifica direttamente la stringa su cui lavora non ne restituisce in risultato una nuova anche in questo caso posso salvare il risultato così: gawk f spezza.awk datiinput > risultato nome del file relativo al prog. awk 5

6 Risultato bbbbaaaabbbbbaaaa abcabccccccaaaaabbb bbbaaabbbaaa dadaccaabbbaaacbaabc ddaabddaab ccadccccaaadadadada bbaaaabbbbaaaabbbb ddaabddaab dacababccdaa bbaaaabbbbaaaabbbb dadabbbaaabbbcacaca ccadccccaaadadadada bbbbaaaabbbbbaaaa ddaabddaab dacababccdaa dadaccaabbbaaacbaabc dadabbbaaabbbcacaca bbbaaabbbaaa dadaccaabbbaaacbaabc abcabccccccaaaaabbb ccadccccaaadadadada Dubbio abbiamo scritto due programmini separati ma se io dovessi utilizzare spesso le due funzionalità una di seguito all altra non mi converrebbe scrivere un programma solo? Due possibilità: 1. o scrivo un solo programma awk che fa tutto 2. oppure realizzo uno script che esegue le due chiamate una di seguito all altra Cos è uno script? uno script è un file contenente una sequenza di comandi, che può essere eseguito come un programma. Gli script eseguiti dalla shell di lavoro sono detti script di shell. Vediamo ora alcune nozioni di base sulla realizzazione di uno script di shell estendendo l esempio precedente unendo le nozioni apprese finora possiamo scrivere un file contenente i sequenti comandi: gawk f cerca_su_pattern.awk dati_iniziali > temp gawk f spezza.awk temp 6

7 analisi del codice estraggo i record (a un campo) di interesse con la ridirezione salvo i dati estratti sul file temp gawk f cerca_su_pattern.awk dati_iniziali > temp gawk f spezza.awk temp script applico il secondo programma ai dati estratti spezzando ciascun record in tre campi; per il momento non salvo il risultato finale esempio di altri comandi echo inizio elaborazione gawk f cerca_su_pattern.awk dati_iniziali > temp gawk f spezza.awk temp rm temp echo fine elaborazione rm cancella il file temporaneo echo stampa a video il proprio argomento Script di Shell 7

8 Bash Esistono diversi tipi di shell che offrono funzionalità diverse: sh, csh, tcsh, ksh, pksh, bash, è la shell di default dei sistemi Linux bash = Bourne Again SHell estende la Bourne-shell (bsh) (Steven Bourne è il nome del suo ideatore) Funzionalità di bash completamento automatico dei comandi editing della linea di comando history definizione di alias definizione di variabili (di ambiente e di shell) Completamento automatico Supponiamo di voler applicare il comando cat al file avente nome DocIniziale_v31.tex e che non vi siano altri file aventi nome che inizia per Do nella WD. Se digito: > cat Do TAB dove TAB indica il tasto di tabulazione, il nome del file verrà completato automaticamente. Se vi fossero più file che iniziano per Do e vi fosse quindi ambiguità il sistema emetterebbe un segnale acustico 8

9 Editing della linea di comando 1. è possibile percorrere la linea di comando utilizzando la freccia sinistra e la freccia destra 2. è possibile modificare il contenuto della linea di comando cancellando caratteri con i tasti backspace e canc 3. è possibile inserire nuovi caratteri in posizioni arbitrarie della linea di comando Es. se per errore digito il comando ls Docimenti anziché ls Documenti posso spostarmi con le frecce lungo la linea di comando e correggere l errore History La shell memorizza gli ultimi N comandi eseguiti in una lista. E possibile percorrere tale lista dalla linea di comando utilizzando le frecce verso l alto e verso il basso. Il comando history visualizza i comandi eseguiti e memorizzati, ciascuno preceduto da un numero d ordine Posso eseguire l n-mo comando utilizzando l abbreviazione:!n Posso eseguire l ultimo comando (il più recente) utilizzando!! Definizione di alias è possibile rinominare comandi o definirne di propri tramite il comando alias, ad esempio: alias listadoc='ls *.doc' listadoc potrà essere utilizzato come un normale comando. Il suo effetto è listare tutti i documenti aventi estensione doc contenuti nella working directory 9

10 Definizione di variabili la definizione di una variabile di shell avviene assegnandole un valore, in questo modo: var=val var è il nome della variabile generata mentre val è il suo valore. Una volta definita una variabile può essere usata nella shell; per accedere al valore di una variabile si fa precedere il suo nome dall operatore $ Es. > miadir=~/progetti/2003/programmi > echo $miadir ~/progetti/2003/programmi > $miadir/script1 Configurazione bash di login la configurazione di una shell di login avviene attraverso file nascosti di solo testo, che gli utenti possono modificare per adattare l ambiente di lavoro alle proprie esigenze:.bash_profile.profile.bashrc Toccare con cautela!!! Fatene una copia prima di procedere con le modifiche, solo su.bashrc, solo per definire alias o per modificare il valore di PATH e PS1 (che vedremo fra poco). Per rendere attive le modifiche nella shell corrente eseguire: source.bashrc Variabili speciali sono predefinite e consentono di configurare l ambiente di lavoro, fra queste, per esempio PATH, HOME, USER, PS1, 1. PATH: contiene i cammini (path, per l appunto) all interno dei quali la shell ricerca i comandi o i programmi dei quali è richiesta l esecuzione. Il suo valore è una lista di valori, è predefinito ma viene normalmente aggiornato dagli utenti quando installano un nuovo software 1. PS1: configura il prompt. Ha un valore singolo, predefinito ed è modificabile a piacere dall utente Non si aggiornano da linea di comando ma nei file di configurazione! 10

11 Esempio PS1="comando? " PATH=$PATH:/opt/applicativo/bin export PATH PS1 dopo la ridefinizione dei valori occorre esportare le variabili modificate perché? Cosa significa? Torniamo alla definizione di script Generazione di bash 1. All atto del login viene generata una shell che servirà l utente 2. ogni volta che viene eseguito uno script, la shell genera una sottoshell dedicata all esecuzione di quello script. Una sottoshell è spesso detta figlia di quella che l ha generata. 3. una sottoshell può generare a sua volta nuove sottoshell, sue figlie. 4. conseguenza: più shell possono coesistere 5. tutto ciò avviene in modo trasparente all utente 11

12 Esempio Sia breakextract il nome dello script generato prima che effettua due chiamate di gawk. Quando eseguiamo > breakextract si genera una sottoshell che termina con il termine dell esecuzione dello script Bash figlie e variabili Certe variabili corrispondono a configurazioni che vorremmo valessero per tutte le shell che si generano (es. PATH) bash di login eseguo script genera bash figlia se contiene fra i comandi uno script genera bash figlia Una bash figlia eredita una copia di tutte le variabili esportate dalla bash madre, con i valori che avevano quando la shell figlia è stata generata Variabili di ambiente Le variabili esportate sono dette variabili di ambiente E possibile esportare sia variabili predefinite sia variabili definite dall utente 12

13 Esempio myscript1 myscript2 echo inserire nome file read myfile export myfile myscript2 echo uso $myfile gawk f elabora.awk $myfile myscript2 usa myfile ma non la definisce creo la vrb. myfile leggendo il suo valore da stdin trasformo myfile in una vrb. di ambiente richiamo myscript2 Input/Output read variabile se la variabile non esiste viene creata echo espressione stampa a video il valore dell espressione Script con argomenti è possibile creare degli script parametrici che utilizzano argomenti passati all atto della chiamata: > mioscript pippo 12 Vantaggio: posso usare uno stesso script in occasioni diverse senza doverlo modificare NB. il numero e il tipo degli argomenti non sono predefiniti 13

14 esempio mioscript gawk -f programma.awk $1 > $2 chiamata di mioscript: > mioscript mieidati memo_output gli argomenti sono identificati tramite la loro posizione: $1 è il primo argomento, $2 il secondo, ecc. NB. $1, $2, ecc. non vanno esportate! $0 $1 $2 14