AWK (Aho - W. Kernighan)

Transcript

1 AWK (Aho - W. Kernighan) Un linguaggio di programmazione per manipolare file di dati Introduzione Di base awk serve per trovare unità di testo che rispondono a pattern specifici all interno di file. Trovata un unità di testo di un tipo desiderato, awk applica ad essa un azione specificata dal programmatore, poi prosegue la ricerca fino alla fine del file Awk Awk fonde fonde caratteristiche caratteristiche di di egrep egrep (trovare (trovare linee linee che che contengono contengono pattern pattern descritti descritti da da un espressione un espressione regolare) regolare) con con caratteristiche caratteristiche del del C C (linguaggio (linguaggio di di programmazione) programmazione) 1

2 Programmi awk I programmi awk sono data- driven: si descrivono i dati di interesse e cosa deve farne il programma. Non si descrivono tutti i passi che il programma deve eseguire. Un programma awk consiste di una serie di regole. Ogni regola specifica un pattern da cercare e l azione da effettuare quando si trova un unità di testo corrispondente. La sintassi è del tipo: pattern { action } pattern { action }... dove una coppia pattern/azione è una regola Action È una sequenza di azioni separate da ; se sulla stessa linea, comprende assegnamenti, istruzioni if e di ciclo (es. while ) alla C print $0; print fine linea Se non vado a_capo separo le istruzioni con ; print $0 print fine linea Se vado a_capo non occorre usare il separatore ; 2

3 file di dati I file di dati sono in questo caso visti come strutturati in record composti da più campi I record possono avere formati differenti IN aaa abababab OUT ddddddd Esempio tre tipi di record IN aab bababaaba OUT nnnnnn OUT nonononono OUT mmmmmm EXCEPTION bb abb abbbb Accesso ai campi Il simbolo $ consente di accedere ai campi di un record $0 = record intero $n = n- mo campo del record corrente $expr = valutata expr ( es: $(3+1) )si accede al campo indicizzato dal risultato 3

4 Ciclo di awk Programma awk File di dati pattern { action } pattern { action }... record1 record2... for each record for each rule if ( matches( record, pattern) ) apply( action, record) N.B. se il pattern di una regola non è specificato la regola viene applicata a tutti i record pattern /espressione regolare/ È verificata quando l input soddisfa l espressione regolare espressione È verificata se restituisce un valore diverso da zero (nel caso di espressioni numeriche) o diverso da null (nel caso di stringhe) pat1, pat2 Specifica di un range di record racchiusi fra pat1 e pat2. Il range include gli estremi BEGIN END pattern speciali empty è sempre verificato per qualunque record 4

5 Matching expression Più in generale posso scrivere: Espressione ~ /espressione regolare/ Espressione!~ /espressione regolare/ Matching Expression Operatori di confronto con espressioni regolari Possono essere usate anche nelle condizioni di istruzioni if e di ciclo (es. while): {if ($1 ~ /p/) print $1,"contiene p"} Contiene/non contiene $1!~ /p/ {print $1,"non contiene p"} $1 ~ /p/ {print $1,"contiene p"} Per ogni riga controlla se il primo elemento non contiene stringhe derivate dall espressione regolare /p/, se sì allora lo stampa aggiungendo non contiene p Per ogni riga controlla se il primo elemento contiene stringhe derivate dall espressione regolare /p/, se sì allora lo stampa aggiungendo contiene p pippo contiene p pluto contiene p pippo contiene p alice non contiene p olga non contiene p 5

6 Come eseguire programmi awk 1. Esplicitando il programma nella linea di comando: awk ' program' input-file1 input-file Richiamando il file in cui sono scritti awk f program_file input-file1 input-file Senza input file (elabora stdin fino a cntrl- d) awk program Esempio linea di cmd (tipo egrep) awk '/Andrea/ { print $0 }' rubrica Non specifico il pattern azione file modo in cui awk deve scorrere il file programma $0 indica l intera riga print, come dice il nome, stampa Andrea Bertino Anna Cavallo Girolamo Andrea Andrea Bertino Girolamo Andrea

7 Esempio 2 linea di cmd Programma con 2 regole awk '{ if (length($0) > max) max = length($0) } END { print max }' data END parola chiave che indica la terminazione dell analisi del file Il pattern relativo al primo comando non è specificato, quindi per ogni riga del file data, se la lunghezza è maggiore di max, aggiorna max; alla fil del file, max conterrà la lunghezza massima delle righe del file data N.B max non è stata né dichiarata né inizializzata Esempio di script primo_script BEGIN {max=0} { if (length($0) > max) max = length($0) } END { print max } Prima di iniziare a scandire il file inizializza max Esegui l elaborazione indicata per ogni riga >> awk f primo_script data Dopo aver analizzato il file mostra il risultato 7

8 Script autoeseguibili script_eseguibile #!/bin/awk f Indico quale interprete deve eseguire il programma BEGIN {max=0} { if (length($0) > max) max = length($0) } END { print max } >> chmod a+x script_eseguibile >> script_eseguibile data Aggiungo al file diritti di esecuzione # Commenti #!/bin/awk f # azione da svolgere all inizio BEGIN {max=0} #azione da svolgere per ogni linea { if (length($0) > max) max = length($0) } # stampa il risultato finale END { print max } 8

9 Estrazione di colonne prog2 /111/ {print $1 $2} /3/ {print $1,$2} data pippo pluto pippo 3333 alice olga Verifica entrambe le regole!! >> awk -f prog2 data pippo pluto pippo 3333 alice olga olga Variabili speciali awk vede i file di dati processati come suddivisi in record e campi. Procedendo nella lettura, awk tiene traccia del numero di record letti; questo valore è contenuto nella variabile di sistema NR, inizializzata a zero. I campi sono porzioni di record; awk mantiene il numero di campi del record corrente nella variabile di sistema NF (n.b. NF viene reinizializzata per ogni record) I record sono separati da un carattere detto record separator. Di default è la fine della linea (a capo) ma può essere cambiato assegnando un valore alla variabile RS (es: RS = "/ ). Le variabili di sistema possono essere usate nei programmi 9

10 Esempio Alice 11/Beppe 12/Oscar 8/Alice 31 Input file BEGIN { RS = "/" } { print record, NR, $0 } Modifica il separatore di record Stampa i record (nota: l operazione di stampa di una linea termina sempre con un a capo) Output ottenuto record 1 Alice 11 record 2 Beppe 12 record 3 Oscar 8 record 4 Alice 31 Record su linee multiple In certi casi i record sono divisi su più linee: l a_capo non può essere usato come separatore! In questi casi i record sono spesso separati da linee vuote. Per indicare questo fatto si può usare RS= dove fra e non c è nulla (stringa vuota) BEGIN {RS=""} {print "inizio record:: ",$0," ::fine record"} è equivalente all espressione regolare: \n\ n+ dove \n è il simbolo di a_capo 10

11 Separatore di campi Awk mantiene nella variabile FS il carattere che funge da separatore dei campi di un record. Di default si tratta dello spazio, può essere modificato in maniera analoga a RS esempio: un singolo a_capo separa i campi, una linea vuota separa i record Anna Rossi Via Crimea 31 Alba Luca Bianchi Piazza Matteotti 44 Casale Record: ogni linea è un campo La linea vuota separa due record Esempio # addrs.awk # i record sono separati da linee vuote. # ogni linea è un campo BEGIN { RS = "" ; FS = "\ n" } { print Nome:", $1 print Indirizzo:", $2 print Città:", $3 print "" } 11

12 Esempio 1 BEGIN {RS= ; FS= : } NR==1 {print dataset:, $0} NR>1 { i=1 print inizio record while (i <= NF) { print campo i : $i i = i+1 } } END {print Fine conversione } Esempio 1 >> awk -f convert.awk to_convert.dat dataset: ORIGIN 1/12:38 ORIGIN 1/12:38 12:333:454:51 11:34 inizio record campo1-mo: 12 campo2-mo: 333 campo3-mo: 454 campo4-mo: 51 campo5-mo: 11 campo6-mo: 34 16:28::454 11:34 inizio record campo1-mo: 16 campo2-mo: 28 campo3-mo: campo4-mo: 454 campo5-mo: 11 campo6-mo: 34 Fine conversione 12

13 Caratteri speciali in espr. reg. ^ indica l inizio della stringa $ indica la fine della stringa. Indica un carattere qualsiasi [ ] contiene una sequenza di caratteri in alternativa ( ) come per le espressioni reg. già viste * + \ posto di fronte a un carattere speciale lo trasforma in un carattere alla stregua degli altri (es. \$ è il carattere $ e non l indicazione di fine stringa Esempi ^C indica stringhe che iniziano con C a$ indica stringhe che terminano per a O[cr]a comprende sia Ora che Oca O.a corrisponde a stringhe lunghe 3 caratteri, che iniziano con O e terminano con a ^C(aa)* [du]a+. È l insieme delle stringhe tali: o cominciano per C seguita da un numero pari di a (eventualmente 0) oppure iniziano per d oppure per u, seguita da un qualsivoglia numero di a (> di 0), che terminano con un carattere qualsiasi (anche diverso da a) 13

14 Classi di caratteri [:alnum:] [:alpha:] [:blank:] [:cntrl:] [:digit:] [:graph:] [:lower:] [:print:] [:punct:] [:space:] [:upper:] [:xdigit:] Alphanumeric characters. Alphabetic characters. Space and tab characters. Control characters. Numeric characters. Characters that are both printable and visible. Lowercase alphabetic characters. Printable characters (characters that are not control characters). Punctuation characters (characters that are not letters, digits) Space characters (such as space, tab, and formfeed) Uppercase alphabetic characters. Characters that are hexadecimal digits. tolower Nelle espressioni regolari lettere maiuscole e minuscole sono considerate diverse. In certi casi possono essere utili la funzione tolower, che data una stringa ne restituisce una analoga tutta convertita in lettere minuscole tolower($1) ~ /pippo/ 14

15 Altre espressioni $1 == "pippo" {print pippo nella prima colonna } /pippo/ && /pluto/ {print la riga contiene pippo e pluto } /pippo/ /pluto/ {print la riga contiene pippo o pluto }!/pippo/ {print la riga non contiene pippo } Range di record $1 == Inizio", $1 == Fine {print $0} Stampa tutti i record a cominciare da quello che ha nel primo campo la parola inizio fino a quello che contiene invece fine Ignora 1111 Inizio 222 Continua 333 Fine 444 Dopo 555 Inizio 222 Continua 333 Fine

16 Nota Ignora 1111 Inizio 222 Continua 333 Fine 444 Dopo 555 Inizio 666 Altro 777 Ancora 888 Fine 999 Continua 000 Inizio 222 Continua 333 Fine 444 Inizio 666 Altro 777 Ancora 888 Fine 999 Aspetti avanzati 16

17 Dinamicità dei record zoom Prog. Awk $1 $2 $3 $4 $5 file di dati $1 = $1 * 2 :: modifico il valore di un campo $5 = $2 + $3 + $4 :: creo nuovi campi Array in awk Gli array in awk sono associativi, ovvero sono insiemi di coppie <indice, elemento> (di norma sono posizionali) Gli indici non necessariamente sono numeri interi L array può essere sparso ovvero gli indici non devono essere contigui (es: 3, 5, 10 mancano 4, 6, 7, 8 e 9 ) Attenzione: non vengono indice elem dichiarati ma creati man mano!!! 17

18 Creazione di un array La creazione avviene elemento per elemento, all atto del primo assegnamento mio_vettore[ 5] = pippo mio_vettore[ 2] = pluto Prima creo l elemento con indice 5, poi quello con indice 2 Accesso ad un array accesso diretto: mio_vettore[5] (come in C) Se voglio scorrere tutti gli elementi senza preoccuparmi degli indici: for (indice in mio_vettore) azione 18

19 Funzioni (con nawk) tan(x) :: tan indica la funzione tangente, x è l argomento a cui è applicata la funzione la funzione restituisce un risultato dichiarazione uso function { codice } nome_funz (argomenti) var = nome_funz (args) * 21 if (nome_funz(args) ) nome_funz(args) Esempio function print_errore( record, messaggio ) { print errore alla linea, record, ::, messaggio } $1 > 0 { print_errore(nr, il primo valore deve essere negativo ) } $2 < 0 { print_errore(nr, il secondo valore deve essere positivo ) } END { print fine analisi } 19

20 Esempio 2 BEGIN {RS= ; FS= : } NR==1 {print dataset:, $0} NR>1 { i=1; somma = 0 print inizio record while (i <= NF) { print campo i -mo: $i i = i+1; somma = somma+$i } Variabili del programma $(i) = somma Nuovo campo del record print totale ->, $(i) } END {print Fine conversione } Installazione su OS non Unix 20

21 Le espressioni regolari catturano tutto? NO Sono il tipo più semplice di grammatica Supponiamo di voler identificare i pattern in cui a ogni ( corrisponde una ) le parentesi sono bilanciate Es: ( ) ((( ))) ma non ( ((( ))) Questo tipo di stringhe non è catturabile con un espressione regolare 21