awk簡介

awk是一種編程語言，用于在linux/unix下對文本和數據進行處理。數據可以來自標準輸入(stdin)、一個或多個文件，或其它命令的輸出。它支持用戶自定義函數和動態正則表達式等先進功能，是linux/unix下的一個強大編程工具。它在命令行中使用，但更多是作為腳本來使用。

awk命令格式和選項

調用awk語法格式

1.命令行方式awk [-F  field-separator]  "條件 commands"  input-file(s)其中，commands 是真正awk命令，[-F域分隔符]是可選的。 input-file(s) 是待處理的文件，條件成立才會執行commands。在awk中，文件的每一行中，由域分隔符分開的每一項稱為一個域。通常，在不指名-F域分隔符的情況下，默認的域分隔符是空格。2.shell腳本方式將所有的awk命令插入一個文件，并使awk程序可執行，然后awk命令解釋器作為腳本的首行，一遍通過鍵入腳本名稱來調用。相當于shell腳本首行的：#!/bin/sh可以換成：#!/bin/awk3.將所有的awk命令插入一個單獨文件，然后調用：awk -f awk-script-file input-file(s)其中，-f選項加載awk-script-file中的awk腳本，input-file(s)跟上面的是一樣的。

1.條件（Pattern）：

一般使用關系表達式作為條件。這些關系表達式非常多，具體參考下表。

awk 支持的主要條件類型

(資料圖)

條件類型	條 件	說 明
awk 保留字	BEGIN	在 awk 程序一開始，尚未讀取任何數據之前執行。BEGIN 后的動作只在程序開始時執行一次
awk 保留字	END	在 awk 程序處理完所有數據，即將結束時執行？END 后的動作只在程序結束時執行一次
關系運算符	>	大于
關系運算符	<	小于
關系運算符	>=	大于等于
關系運算符	<=	小于等于
關系運算符	==	等于。用于判斷兩個值是否相等。如果是給變童賦值，則使用"=”
關系運算符	!=	不等于
關系運算符	A~B	判斷字符串 A 中是否包含能匹配 B 表達式的子字符串
關系運算符	A!~B	判斷字符串 A 中是否不包含能匹配 B 表達式的子字符串
正則表達式	/正則/	如果在“//”中可以寫入字符，則也可以支持正則表達式

例如：x>10：判斷變量 x 是否大于 10；

x == y：判斷變量 x 是否等于變量 y；

A~B：判斷字符串 A 中是否包含能匹配 B 表達式的子字符串；

A!~B：判斷字符串 A 中是否不包含能匹配 B 表達式的子字符串；

2.awk內置變量

awk有許多內置變量用來設置環境信息，這些變量可以被改變，下面給出了最常用的一些變量。

變量名	釋義
ARGC	命令行參數個數
ARGV	命令行參數排列
ENVIRON	支持隊列中系統環境變量的使用
FILENAME	awk瀏覽的文件名
FNR	瀏覽文件的記錄數
FS	設置輸入域分隔符，等價于命令行 -F選項
NF	瀏覽記錄的域的個數（按分割符分割的區域數）
NR	已讀的記錄數（當前行數）
OFS	輸出域分隔符
ORS	輸出記錄分隔符
RS	控制記錄分隔符

此外,$0變量是指整條記錄。$1表示當前行的第一個域,$2表示當前行的第二個域,......以此類推。

awk的條件用法

#student.txtID Name    PHP   Linux  MySQL Average1  Liming  82      95    86    87.662  Sc      74      96    87    85.663  Gao     99      83    93    91.664  xy      100.00     50    60    70

1) BEGIN

BEGIN 是 awk 的保留字，是一種特殊的條件類型。BEGIN 的執行時機是"在 awk 程序一開始，尚未讀取任何數據之前"。

一旦 BEGIN 后的動作執行一次，當 awk 開始從文件中讀入數據時，BEGIN 的條件就不再成立，所以 BEGIN 定義的動作只能被執行一次。

[root@liang shell]# awk "BEGIN{printf "This is a transcript\n"} {printf $2 "\t" $6 "\n"}" student.txtThis is a transcriptName    AverageLiming  87.66Sc      85.66Gao     91.66xy      70

這里定義了兩個動作

第一個動作使用BEGIN條件，所以會在讀入文件數據前打印"這是一張成績單"（只會執行一次）第二個動作會打印文件的第二個字段和第六個字段

2) END

END 也是 awk 的保留字，不過剛好和 BEGIN 相反。END 是在 awk 程序處理完所有數據，即將結束時執行的。END 后的動作只在程序結束時執行一次。例如：

[root@liang shell]# awk "END{printf "The End \n"} {printf $2 "\t" $6 "\n"}" student.txtName    AverageLiming  87.66Sc      85.66Gao     91.66xy      70The End

3)關系運算符

【例 1】成績大于等于87分的學生的名字

[root@liang shell]# cat student.txt | grep -v Name | awk "$6 >= 87 {printf $2 "\n"}"LimingGao

使用cat輸出文件內容，用grep取反包含"Name"的行判斷第六個字段（平均成績）大于等于87分的行，如果判斷式成立，則打印第六列（學員名）

【例 2】Sc 用戶的平均成績

[root@liang shell]# awk "$2 -/Sc/ {printf $6 "\n"}" student.txt 85.66

如果第二個字段中包含"Sc"字符，則打印第六個字段這里要注意，在 awk 中，只有使用"http://"包含的字符串，awk 命令才會査找。也就是說，字符串必須用"http://"包含，awk 命令才能正確識別。

【例3】linux成績大于90分，打印name is a good student

[root@liang shell]# cat student.txt | awk "NR>=2 && $4>90 {print $2" is a good student"}"Liming is a good studentSc is a good student

先判斷行號，如果大于 2再判斷成績，如果 linux 的值大于 90 分，就打印好學生

【例4】統計每一科的總分和平均分腳本比較長，可以寫在一個文件中（student_count.awk） -f指定文件執行

#!/usr/bin/awk -fBEGIN{    printf "%-10s%-10s%-10s\n", "course", "total","average"}{       if (NR==1){        name1 = $3        name2 = $4        name3 = $5    } else{        total[name1] +=$3        total[name2] +=$4        total[name3] +=$5    }       line = NR-1} END{    for (u in total)    {        printf "%-10s%-10s%-10s\n", u, total[u],total[u]/line    }    }

BEGIN打印表頭，然后對每一行數據進行處理，如果當前是第一行，先把所有讀取到的科目名稱賦值給變量，非第一行，創建一個數組，把對應科目的分數累加，end格式化輸出執行命令輸出：

[root@liang dev04_shell_04]# awk -f student_count.awk student.txt course    total     average   MySQL     326       81.5      PHP       355       88.75     Linux     324       81

4) 正則表達式

當使用 df 命令査看分區的使用情況時，如果我只想査看已tmp開頭的分區的使用情況，則可以這樣做：

[root@liang shell]# df -h | awk "/^tmp/ {printf $1 "\t" $5 "\n"}"tmpfs   0%tmpfs   1%tmpfs   0%tmpfs   0%

正則表達式具體用法此處不展開講述

命令寫法規范：

多個條件{動作}可以用空格分隔，也可以用回車分隔。在一個動作中，如果需要執行多條命令，則需要用分隔，或用回車分隔。在 awk 中，變量的賦值與調用都不需要加入"$"符號。在條件中判斷兩個值是否相同，請使用"=="，以便和變量賦值進行區分

awk執行過程分析

第一步： 執行BEGIN { commands } pattern 語句塊中的語句BEGIN語句塊：在awk開始從輸入輸出流中讀取行之前執行，在BEGIN語句塊中執行如變量初始化，打印輸出表頭等操作。第二步：從文件或標準輸入中讀取一行，然后執行pattern{ commands }語句塊。它逐行掃描文件，從第一行到最后一行重復這個過程，直到全部文件都被讀取完畢。pattern語句塊：pattern語句塊中的通用命令是最重要的部分，它也是可選的。如果沒有提供pattern語句塊，則默認執行{ print }，即打印每一個讀取到的行。{ }類似一個循環體，會對文件中的每一行進行迭代，通常將變量初始化語句放在BEGIN語句塊中，將打印結果等語句放在END語句塊中。第三步：當讀至輸入流末尾時，執行END { command }語句塊END語句塊:在awk從輸入流中讀取完所有的行之后即被執行，比如打印所有行的分析結果這類信息匯總都是在END語句塊中完成，它也是一個可選語句塊。