Elaborazione di File di Dati. Uso di semplici comandi Espressioni regolari AWK

Transcript

1 Elaborazione di File di Dati Uso di semplici comandi Espressioni regolari AWK

2 Sort sort [option] file1... filen Consente di ordinare, fondere o confrontare le linee dei file in input Ha tre modalità di operazione: -c controlla se i file sono ordinati -m fonde i file ed ordina l'insieme risultante Altrimenti esegue l'ordinamento

3 Esempio c 10 a 2 z 1 b 8 a 21 c 3 x 4 sort dati a 2 a 21 b 8 c 10 c 3 x 4 z 1 Dati originari Risultato Righe ordinate in base alla prima colonna

4 Sort (2) Il comando sort è case-sensitive (maiuscole diverse da minuscole) per renderlo case-insensitive occorre usare l'opzione -f sort -f dati

5 Sort (2) Il comando sort consente anche di effettuare ordinamenti inversi occorre usare l'opzione -r sort -r dati

6 Sort (3) Il comando sort consente fondere in modo ordinato il contenuto di più file sort dati1 dati2

7 Join Luca Bosco 111 Luca Audasso 112 Margherita Rossi 113 Orestina Verdi 114 utenti 111 Promessi Sposi 113 Odissea 113 Iliade libri 111 luca bosco promessi sposi 113 margherita rossi odissea 113 margherita rossi iliade risultato

8 Join (2) I file sono divisi in campi Un campo è una sequenza (stringa) di caratteri I campi sono separati da spazi Il campo di collegamento è detto chiave Le righe devono essere ordinate rispetto alla chiave

9 Join (3) join file1 file2 Vengono usate come campi chiave le prime colonne di ciascun file join -1 n1-2 n2 file1 file2 Vengono usati come campi chiave le colonne indicate dal numero n1 per file1 e da n2 per file2

10 Elaborazione di File di Dati Uso di semplici comandi Espressioni regolari AWK

11 Sequenze e regolarità Sequenze di un insieme predefinito di simboli: a a b a a b a a b a a b Seq di coppie di a seguite da singola b a a b a a b b a a b a a b b b Seq di coppie di a seguite da seq di b a 1 d b 1 d a 1 c b 1 c b 1 c Seq di triple costituite da a o b, seguita da 1, seguita da c o d

12 Sequenze e regolarità (2) Scopo: esprimere regolarità sintattiche di un insieme di sequenze Fine generativo: per essere in grado di produrre sequenze con quelle caratteristiche Fine riconoscitivo: per identificare sequenze di un certo tipo

13 Strumento = Grammatica Grammatica = strumento che consente di generare o riconoscere sequenze che rispettano regole precise Frase = sequenza prodotta da una grammatica Linguaggio = insieme di tutte le frasi che è possibile generare con una certa grammatica

14 Tipi di grammatiche G = {, N, T, P, S 0 } Lineari (espressioni regolari): è possibile definire la regolarità come una semplice espressione matematica, con definizione ricorsiva Context-free Context-sensitive

15 Espr. Reg. Base ricorsione Dato un alfabeto: {a 1,..., a N } sono espressioni regolari: il linguaggio che contiene la stringa vuota (non contiene alcun carattere, ) a i : l'insieme delle stringhe di lunghezza 1 costituite dal solo simbolo a i es. {a, b}: posso scrivere due sequenze di lunghezza 1 ( a e b ); { a } è rappresentato dall'espr_reg a e { b } da b

16 Espr. Reg. Ricorsione Date due espressioni regolari E1 e E2, detti L(E1) e L(E2) i linguaggi da esse generati, sono espressioni regolari: E1E2 { x = yz y in L(E1) e z in L(E2) } E1* : { x = y 1 y 2 y 3... ogni y i in L(E1) oppure x è la stringa vuota } E1+ : { x = y 1 y 2 y 3... ogni y i in L(E1) } E1 E2: {x x in L(E1) oppure x in L(E2)} * e + hanno priorità sulla concatenazione che ha priorità su Si possono usare le parentesi per modificare la priorità

17 Esempi Dato l'alfabeto {a, b, c} aab* { aa, aab, aabb, aabbb,... } a(ab)* : { a, aab, aabab, aababab,... } (aa)+b : { aab, aaaab, aaaaaab,... } (aa c)*(ba cc)+: {ba, cc, aaba, cba, ccc, aacbacccc,...}

18 Esempi Dato l'alfabeto {1, 0} 00(0 1)* { 00, 000, 001, 0001, 0011,... } (1*(00)+1*)+ : { 00, 100, } AGCT ( A C T G)* AGGA (AGCT ( A C)* (G T)+ AGGA) AGCTAAACACACCCCAAGGGGGGTGTGTGAGGA AGCTTTTTTTTAGGA

19 Matching Si ha matching fra una sequenza e un'espressione regolare quando la prima è prodotta dalla seconda Si ha un matching parziale quando una sottosequenza della sequenza data è prodotta dall'espressione regolare

20 egrep egrep 'espr_reg' file_dati Restituisce le linee di file_dati che hanno un matching parziale con l'espressione regolare espr_reg aabaabaab cbaabccdccaa abcabdabcabdabc ddbbddbaddbddba egrep '(aab)*' dati aabaabaab cbaabccdccaa

21 Egrep e ridirezione output egrep 'espr_reg' file_dati >> file_ris Salva nel file file_ris le linee di file_dati che hanno un matching parziale con l'espressione regolare espr_reg

22 Elaborazione di File di Dati Uso di semplici comandi Espressioni regolari AWK

23 AWK A. Aho & W. Kernighan

24 Principio Ho un file di dati Lo immagino strutturato in record (linee) suddivisi in campi (separati da spazi) Voglio poter scrivere un programma: Che riconosce dei record di mio interesse Che applica ad essi un'azione da me definita Regola: condizione azione

25 File di Dati IN Delta 21 IN Delta 3 OUT cdcdcdaaaa OUT abcabcabcbac EXCEPTION ab ab 33 } 5 record: hanno formati differenti!! 3 tipi di record distinguibili dalla prima parola; potrei voler applicare azioni diverse ad ogni tipo di record o applicare un'azione solo a quelli di un certo tipo

26 AWK: data driven I programmi AWK sono data-driven: si descrive il formato dei dati di interesse e cosa deve farne il programma Non si descrivono tutti i passi che il programma esegue (il ciclo di AWK è eseguito in forma implicita, il programmatore scrive solo le regole)

27 Programma AWK Sequenza di regole del tipo: Condizione { Azione } Per ogni record: Per ogni regola: Se il record soddisfa la condizione, applica l'azione corrispondente Ciclo di AWK

28 Condizione { azione } Un' azione è una sequenza di istruzioni separate da ; (punto e virgola) Per stampare a video: print es. print $0 stampa il record corrente; perché $0? Posso introdurre istruzioni condizionali come while e if

29 Riferimenti ai dati $0 $1 $2 $3 $4 f11 f12 f13 f14 f21 f22 f23 f24 f31 f32 f33 f34 f41 f42 f43 f44 File di Dati È costituito da stringhe e numeri AWK esegue un ciclo sui dati: ad ogni iterazione legge un record e lo elabora per esprimere un'azione da applicare ai dati, occorre poter fare riferimento al record corrente e ai suoi campi convenzionalmente, $0 indica il record corrente, $i il suo campo i-mo

30 Condizione { azione } Espressioni regolari su $0: /espr_reg/ Espressioni regolari su un campo: $i ~ /espr_reg/ $i!~ /espr_reg/ Confronti con valori (stringhe o numeri) $i == valore $i > valore,... Condizioni composte Range di record BEGIN END I matching sono parziali! Se assente, la regola è applicata a tutti i record

31 Esempio DATI IN IN OUT 32 IN OUT 38 EXCEPTION EXCEPTION PROGRAMMA /IN/ { print $0 } IN IN IN RISULTATO

32 Esempio 2 DATI IN IN OUT 32 IN OUT 38 EXCEPTION EXCEPTION RISULTATO PROGRAMMA /IN/ { print $0 } /OUT/ { print "risultato: ", $2 } IN IN risultato: 32 IN Risultato: 38

33 Ess. Espre. Reg. + complessa $ AAA AAA BBB BBB 1212 $1 ~ /(12)*3/ { print $0 } AAA BBB 1212

34 Il matching è parziale $1 aaa AAA 1212 bbb AAA 1212 bbb12123 BBB 1212 aaa1212 BBB 1212 $1 ~ /(12)*3/ { print $0 } aaa AAA 1212 bbb12123 BBB 1212

35 BEGIN ed END $1 aaa AAA 1212 bbb AAA 1212 bbb12123 BBB 1212 aaa1212 BBB 1212 Eseguita prima di analizzare il file Eseguita dopo aver analizzato il file BEGIN { cont = 0 } $1 ~ /(12)*3/ {cont = cont+1} END { print cont } 2

36 Variabili di sistema NF: numero di campi del record corrente NR: numero del record corrente RS: separatore di record (default: newline) FS: separatore di campo (default: spazio) Es. programma per visualizzare le vrb. di sistema record x record { print "NR: ", NR print "NF: ", NF print "RS: ", RS print "FS: ", FS }

37 Esempio 1) BEGIN {FS="aaa"} 2) { 3) print "record", NR 4) i=1; 5) while (i<=nf) { 6) print " ", $i; 7) i++; 8) } dati 9) } 1234aaa3456aaa aaabmbmbmbmaaag llkkjjaaappooiiaaapojniaaa898

38 Risultato record record bmbmbmbm g record 3 llkkjj ppooii pojni 898 dati 1234aaa3456aaa aaabmbmbmbmaaag llkkjjaaappooiiaaapojniaaa898

39 Esempio 1) BEGIN {FS="aaa"} 2) $2 ~ /b/ { print "record", NR, "campo", $2 } dati 1234aaa3456aaa aaabmbmbmbmaaag llkkjjaaappooiiaaapojniaaa898 Risultato: record 2 campo bmbmbmbm

40 Esecuzione di programmi 1) gawk 'regole' file_dati es. gawk '/p/ {print contiene p }' dati1 2) gawk -f programma file_dati es. gawk -f select1 dati2 3) Ridirezione output (salva i risultati): es. gawk -f select1 dati2 > risultati