- W. Kernighan) AWK (Aho. Introduzione. Programmi awk. Un linguaggio di programmazione per manipolare file di dati

Transcript

1 AWK (Aho - W. Kernighan) Un linguaggio di programmazione per manipolare file di dati Introduzione Di base awk serve per trovare unità di testo che rispondono a pattern specifici all interno di file. Trovata un unità di testo di un tipo desiderato, awk applica ad essa un azione specificata dal programmatore, poi prosegue la ricerca fino alla fine del file Awk fonde caratteristiche di egrep (trovare linee che contengono pattern descritti da un espressione regolare) con caratteristiche del C (linguaggio di programmazione) Programmi awk I programmi awk sono data-driven: si descrivono i dati di interesse e cosa deve farne il programma. Non si descrivono tutti i passi che il programma deve eseguire. Un programma awk consiste di una serie di regole. Ogni regola specifica un pattern da cercare e l azione da effettuare quando si trova un unità di testo corrispondente. La sintassi è del tipo: pattern { action } pattern { action }... 1

2 Action È una sequenza di azioni separate da ; se sulla stessa linea, comprende assegnamenti, istruzioni if e di ciclo (es. while ) alla C print $0; print fine linea Se non vado a_capo separo le istruzioni con ; print $0 print fine linea Se vado a_capo non occorre usare il separatore ; file di dati I file di dati sono in questo caso visti come strutturati in record composti da più campi I record possono avere formati differenti Esempio tre tipi di record distinguibili in base alla prima parola IN aaa abababab OUT ddddddd IN aab bababaaba OUT nnnnnn OUT nonononono OUT mmmmmm EXCEPTION bb abb abbbb Ciclo di awk Programma awk pattern { action } pattern { action }... File di dati record1 record2... for each record for each rule if ( matches(record, pattern) ) apply(action, record) 2

3 Esempio awk '/Andrea/ { print $0 }' rubrica Non specifico il modo in cui awk deve scorrere il file pattern espressione regolare azione programma file $0 indica l intera riga print, come dice il nome, stampa Andrea Bertino Anna Cavallo Girolamo Andrea Andrea Bertino Girolamo Andrea Esempio 2 Programma in senso tradizionale awk '{ if (length($0) > max) max = length($0) } END { print max }' data END parola chiave che indica la terminazione dell analisi del file Il pattern relativo al primo comando non è specificato, quindi per ogni riga del file data, se la lunghezza è maggiore di max, aggiorna max; alla fil del file, max conterrà la lunghezza massima delle righe del file data N.B max non è stata né dichiarata né inizializzata Come eseguire programmi awk 1. Esplicitando il programma nella linea di comando: awk 'program' input-file1 input-file Richiamando il file in cui sono scritti awk f program_file input-file1 input-file Senza input file (elabora stdin fino a cntrl-d) awk program 3

4 Esempio di file sorgente primo_script BEGIN {max=0} { if (length($0) > max) max = length($0) } END { print max } >> awk f primo_script data Prima di iniziare a scandire il file inizializza max Esegui l elaborazione indicata per ogni riga Dopo aver analizzato il file mostra il risultato Script autoeseguibili script_eseguibile #!/bin/awk f BEGIN {max=0} { if (length($0) > max) max = length($0) } END { print max } >> chmod a+x script_eseguibile >> script_eseguibile data Indico quale interprete deve eseguire il programma Aggiungo al file diritti di esecuzione # Commenti #!/bin/awk f # azione da svolgere all inizio BEGIN {max=0} #azione da svolgere per ogni linea { if (length($0) > max) max = length($0) } # stampa il risultato finale END { print max } 4

5 Estrazione di colonne data pippo pluto pippo 3333 alice olga Verifica entrambe le regole!! prog2 /111/ {print $1 $2} /3/ {print $1,$2} >> awk -f prog2 data pippo pluto pippo 3333 alice olga olga pattern /espressione regolare/ È verificata quando l input soddisfa l espressione regolare espressione È verificata se restituisce un valore diverso da zero (nel caso di espressioni numeriche) o diverso da null (nel caso di stringhe) pat1, pat2 Specifica di un range di record racchiusi fra pat1 e pat2. Il range include gli estremi BEGIN END empty pattern speciali è sempre verificato per qualunque record Contiene/non contiene $1!~ /p/ {print $1,"non contiene p"} $1 ~ /p/ {print $1,"contiene p"} Per ogni riga controlla se il primo elemento contiene stringhe derivate dall espressione regolare /p/, se sì allora lo stampa aggiungendo contiene p Per ogni riga controlla se il primo elemento non contiene stringhe derivate dall espressione regolare /p/, se sì allora lo stampa aggiungendo non contiene p pippo contiene p pluto contiene p pippo contiene p alice non contiene p olga non contiene p 5

6 Matching expression Più in generale posso scrivere: Espressione ~ /espressione regolare/ Espressione!~ /espressione regolare/ Operatori di confronto con espressioni regolari Matching Expression Possono essere usate nelle condizioni di istruzioni if e di ciclo (es. while): {if ($1 ~ /p/) print $1,"contiene p"} Caratteri speciali in espr. reg. ^ indica l inizio della stringa $ indica la fine della stringa. Indica un carattere qualsiasi [ ] contiene una sequenza di caratteri in alternativa ( ) come per le espressioni reg. già viste * + \ posto di fronte a un carattere speciale lo trasforma in un carattere alla stregua degli altri (es. \$ è il carattere $ e non l indicazione di fine stringa Esempi ^C indica stringhe che iniziano con C a$ indica stringhe che terminano per a O[cr]a comprende sia Ora che Oca O.a corrisponde a stringhe lunghe 3 caratteri, che iniziano con O e terminano con a ^C(aa)* [du]a+. È l insieme delle stringhe tali: o cominciano per C seguita da un numero pari di a (eventualmente 0) oppure iniziano per d oppure per u, seguita da un qualsivoglia numero di a (> di 0), che terminano con un carattere qualsiasi (anche diverso da a) 6

7 Classi di caratteri [:alnum:] [:alpha:] [:blank:] [:cntrl:] [:digit:] [:graph:] [:lower:] [:print:] [:punct:] [:space:] [:upper:] [:xdigit:] Alphanumeric characters. Alphabetic characters. Space and tab characters. Control characters. Numeric characters. Characters that are both printable and visible. Lowercase alphabetic characters. Printable characters (characters that are not control characters). Punctuation characters (characters that are not letters, digits, Space characters (such as space, tab, and formfeed, to name a few). Uppercase alphabetic characters. Characters that are hexadecimal digits. tolower Nelle espressioni regolari lettere maiuscole e minuscole sono considerate diverse. In certi casi possono essere utili la funzione tolower, che data una stringa ne restituisce una analoga tutta convertita in lettere minuscole tolower($1) ~ /pippo/ Altre espressioni $1 == "pippo" {print pippo nella prima colonna } /pippo/ && /pluto/ /pippo/ /pluto/!/pippo/ {print la riga contiene pippo e pluto } {print la riga contiene pippo o pluto } {print la riga non contiene pippo } 7

8 Range di record $1 == Inizio", $1 == Fine {print $0} Stampa tutti i record a cominciare da quello che ha nel primo campo la parola inizio fino a quello che contiene invece fine Ignora 1111 Inizio 222 Continua 333 Fine 444 Dopo 555 Inizio 222 Continua 333 Fine 444 Nota Ignora 1111 Inizio 222 Continua 333 Fine 444 Dopo 555 Inizio 666 Altro 777 Ancora 888 Fine 999 Continua 000 Inizio 222 Continua 333 Fine 444 Inizio 666 Altro 777 Ancora 888 Fine 999 Input file awk vede i file di dati processati come suddivisi in record e campi. Procedendo nella lettura, awk tiene traccia del numero di record letti; questo valore è contenuto nella variabile di sistema FNR, inizializzata a zero. I campi sono porzioni di record; awk tiene conto del numero complessivo di record letti nella variabile di sistema NR (n.b. NR non viene reinizializzata a zero per ogni record) I record sono separati da un carattere detto record separator. Di default è la fine della linea (a capo) ma può essere cambiato assegnando un valore alla variabile RS (es: RS = "/ ). Le variabili di sistema possono essere usate nei programmi 8

9 Esempio Alice 11/Beppe 12/Oscar 8/Alice 31 Input file BEGIN { RS = "/" } { print $0 } Modifica il separatore di record Stampa i record (nota: l operazione di stampa di una linea termina sempre con un a capo) Output ottenuto Alice 11 Beppe 12 Oscar 8 Alice 31 Record su linee multiple In certi casi i record sono divisi su più linee: l a_capo non può essere usato come separatore! In questi casi i record sono spesso separati da linee vuote. Per indicare questo fatto si può usare RS= dove fra e non c è nulla (stringa vuota) BEGIN {RS=""} {print "inizio record:: ",$0," ::fine record"} è equivalente all espressione regolare: \n\n+ dove \n è il simbolo di a_capo Separatore di campi Awk mantiene nella variabile FS il carattere che funge da separatore dei campi di un record. Di default si tratta dello spazio, può essere modificato in maniera analoga a RS Caso particolare: un singolo a_capo separa i campi, una linea vuota separa i record Anna Rossi Via Crimea 31 Alba Luca Bianchi Piazza Matteotti 44 Casale Record: ogni linea è un campo La linea vuota separa due record 9

10 Esempio # addrs.awk --- simple mailing list program # Records are separated by blank lines. # Each line is one field. BEGIN { RS = "" ; FS = "\n" } { } print Name is:", $1 print "Address is:", $2 print "City and State are:", $3 print "" Accesso ai campi Il simbolo $ consente di accedere ai campi di un record $0 = record intero $n = n-mo campo del record corrente $expr = valutata expr (es: $(3+1) )si accede al campo indicizzato dal risultato Dinamicità dei record zoom Prog. Awk $1 $2 $3 $4 $5 file di dati $1 = $1 * 2 :: modifico il valore di un campo $5 = $2 + $3 + $4 :: creo nuovi campi 10

11 Esempio 1 BEGIN {RS= ; FS= : } NR==1 {print dataset:, $0} NR>1 { i=1 print inizio record while (i <= NF) { print campo i -mo: $i i = i+1 } } END {print Fine conversione } Esempio 1 >> awk -f convert.awk to_convert.dat dataset: ORIGIN 1/12:38 ORIGIN 1/12:38 12:333:454:51 11:34 16:28::454 11:34 inizio record campo1-mo: 12 campo2-mo: 333 campo3-mo: 454 campo4-mo: 51 campo5-mo: 11 campo6-mo: 34 inizio record campo1-mo: 16 campo2-mo: 28 campo3-mo: campo4-mo: 454 campo5-mo: 11 campo6-mo: 34 Fine conversione Array in awk Gli array in awk sono associativi, ovvero sono insiemi di coppie <indice, elemento> (di norma sono posizionali) Gli indici non necessariamente sono numeri interi L array può essere sparso ovvero gli indici non devono essere contigui (es: 3, 5, 10 mancano 4, 6, 7, 8 e 9 ) indice elem Attenzione: non vengono dichiarati ma creati man mano!!! 11

12 Creazione di un array La creazione avviene elemento per elemento, all atto del primo assegnamento mio_vettore[5] = pippo mio_vettore[2] = pluto Prima creo l elemento con indice 5, poi quello con indice 2 Accesso ad un array accesso diretto: mio_vettore[5] (come in C) Se voglio scorrere tutti gli elementi senza preoccuparmi degli indici: for (indice in mio_vettore) azione Funzioni (con nawk) tan(x) :: tan indica la funzione tangente, x è l argomento a cui è applicata la funzione la funzione restituisce un risultato dichiarazione function nome_funz (argomenti) { codice } uso var = nome_funz (args) * 21 if (nome_funz(args) ) nome_funz(args) 12

13 Esempio function print_errore( record, messaggio ) { print errore alla linea, record, ::, messaggio } $1 > 0 { print_errore(nr, il primo valore deve essere negativo ) } $2 < 0 { print_errore(nr, il secondo valore deve essere positivo ) } END { print fine analisi } Esempio 2 BEGIN {RS= ; FS= : } NR==1 {print dataset:, $0} NR>1 { i=1; somma = 0 Variabili del programma print inizio record while (i <= NF) { print campo i -mo: $i i = i+1; somma = somma+$i } $(i) = somma Nuovo campo del record print totale ->, $(i) } END {print Fine conversione } Installazione su OS non Unix 13

14 Le espressioni regolari catturano tutto? NO Sono il tipo più semplice di grammatica Supponiamo di voler identificare i pattern in cui a ogni ( corrisponde una ) le parentesi sono bilanciate Es: ( ) ((( ))) ma non (((( ))) Questo tipo di stringhe non è catturabile con un espressione regolare 14