# Linux awk 命令
AWK是一種處理文本文件的語言,是一個強大的文本分析工具。
之所以叫AWK是因為其取了三位創始人 Alfred Aho,Peter Weinberger, 和 Brian Kernighan 的Family Name的首字符。
### 語法
```
awk [選項參數] 'script' var=value file(s)
或
awk [選項參數] -f scriptfile var=value file(s)
```
**選項參數說明:**
* -F fs or --field-separator fs
指定輸入文件折分隔符,fs是一個字符串或者是一個正則表達式,如-F:。
* -v var=value or --asign var=value
賦值一個用戶定義變量。
* -f scripfile or --file scriptfile
從腳本文件中讀取awk命令。
* -mf nnn and -mr nnn
對nnn值設置內在限制,-mf選項限制分配給nnn的最大塊數目;-mr選項限制記錄的最大數目。這兩個功能是Bell實驗室版awk的擴展功能,在標準awk中不適用。
* -W compact or --compat, -W traditional or --traditional
在兼容模式下運行awk。所以gawk的行為和標準的awk完全一樣,所有的awk擴展都被忽略。
* -W copyleft or --copyleft, -W copyright or --copyright
打印簡短的版權信息。
* -W help or --help, -W usage or --usage
打印全部awk選項和每個選項的簡短說明。
* -W lint or --lint
打印不能向傳統unix平臺移植的結構的警告。
* -W lint-old or --lint-old
打印關于不能向傳統unix平臺移植的結構的警告。
* -W posix
打開兼容模式。但有以下限制,不識別:/x、函數關鍵字、func、換碼序列以及當fs是一個空格時,將新行作為一個域分隔符;操作符**和**=不能代替^和^=;fflush無效。
* -W re-interval or --re-inerval
允許間隔正則表達式的使用,參考(grep中的Posix字符類),如括號表達式[[:alpha:]]。
* -W source program-text or --source program-text
使用program-text作為源代碼,可與-f命令混用。
* -W version or --version
打印bug報告信息的版本。
## 基本用法
log.txt文本內容如下:
```
2 this is a test
3 Are you like awk
This's a test
10 There are orange,apple,mongo
```
用法一:
```
awk '{[pattern] action}' {filenames} # 行匹配語句 awk '' 只能用單引號
```
實例:
```
# 每行按空格或TAB分割,輸出文本中的1、4項
$ awk '{print $1,$4}' log.txt
---------------------------------------------
2 a
3 like
This's
10 orange,apple,mongo
# 格式化輸出
$ awk '{printf "%-8s %-10s\n",$1,$4}' log.txt
---------------------------------------------
2 a
3 like
This's
10 orange,apple,mongo
```
用法二:
```
awk -F #-F相當于內置變量FS, 指定分割字符
```
實例:
```
# 使用","分割
$ awk -F, '{print $1,$2}' log.txt
---------------------------------------------
2 this is a test
3 Are you like awk
This's a test
10 There are orange apple
# 或者使用內建變量
$ awk 'BEGIN{FS=","} {print $1,$2}' log.txt
---------------------------------------------
2 this is a test
3 Are you like awk
This's a test
10 There are orange apple
# 使用多個分隔符.先使用空格分割,然后對分割結果再使用","分割
$ awk -F '[ ,]' '{print $1,$2,$5}' log.txt
---------------------------------------------
2 this test
3 Are awk
This's a
10 There apple
```
用法三:
```
awk -v # 設置變量
```
實例:
```
$ awk -va=1 '{print $1,$1+a}' log.txt
---------------------------------------------
2 3
3 4
This's 1
10 11
$ awk -va=1 -vb=s '{print $1,$1+a,$1b}' log.txt
---------------------------------------------
2 3 2s
3 4 3s
This's 1 This'ss
10 11 10s
```
用法四:
```
awk -f {awk腳本} {文件名}
```
實例:
```
$ awk -f cal.awk log.txt
```
## 運算符
| 運算符 | 描述 |
| --- | --- |
| = += -= *= /= %= ^= **= | 賦值 |
| ?: | C條件表達式 |
| || | 邏輯或 |
| && | 邏輯與 |
| ~ ~! | 匹配正則表達式和不匹配正則表達式 |
| < <= > >= != == | 關系運算符 |
| 空格 | 連接 |
| + - | 加,減 |
| * / & | 乘,除與求余 |
| + - ! | 一元加,減和邏輯非 |
| ^ *** | 求冪 |
| ++ -- | 增加或減少,作為前綴或后綴 |
| $ | 字段引用 |
| in | 數組成員 |
過濾第一列大于2的行
```
$ awk '$1>2' log.txt #命令
#輸出
3 Are you like awk
This's a test
10 There are orange,apple,mongo
```
過濾第一列等于2的行
```
$ awk '$1==2 {print $1,$3}' log.txt #命令
#輸出
2 is
```
過濾第一列大于2并且第二列等于'Are'的行
```
$ awk '$1>2 && $2=="Are" {print $1,$2,$3}' log.txt #命令
#輸出
3 Are you
```
## 內建變量
| 變量 | 描述 |
| --- | --- |
| \$n | 當前記錄的第n個字段,字段間由FS分隔 |
| \$0 | 完整的輸入記錄 |
| ARGC | 命令行參數的數目 |
| ARGIND | 命令行中當前文件的位置(從0開始算) |
| ARGV | 包含命令行參數的數組 |
| CONVFMT | 數字轉換格式(默認值為%.6g)ENVIRON環境變量關聯數組 |
| ERRNO | 最后一個系統錯誤的描述 |
| FIELDWIDTHS | 字段寬度列表(用空格鍵分隔) |
| FILENAME | 當前文件名 |
| FNR | 同NR,但相對于當前文件 |
| FS | 字段分隔符(默認是任何空格) |
| IGNORECASE | 如果為真,則進行忽略大小寫的匹配 |
| NF | 當前記錄中的字段數 |
| NR | 當前記錄數 |
| OFMT | 數字的輸出格式(默認值是%.6g) |
| OFS | 輸出字段分隔符(默認值是一個空格) |
| ORS | 輸出記錄分隔符(默認值是一個換行符) |
| RLENGTH | 由match函數所匹配的字符串的長度 |
| RS | 記錄分隔符(默認是一個換行符) |
| RSTART | 由match函數所匹配的字符串的第一個位置 |
| SUBSEP | 數組下標分隔符(默認值是/034) |
```
$ awk 'BEGIN{printf "%4s %4s %4s %4s %4s %4s %4s %4s %4s\n","FILENAME","ARGC","FNR","FS","NF","NR","OFS","ORS","RS";printf "---------------------------------------------\n"} {printf "%4s %4s %4s %4s %4s %4s %4s %4s %4s\n",FILENAME,ARGC,FNR,FS,NF,NR,OFS,ORS,RS}' log.txt
FILENAME ARGC FNR FS NF NR OFS ORS RS
---------------------------------------------
log.txt 2 1 5 1
log.txt 2 2 5 2
log.txt 2 3 3 3
log.txt 2 4 4 4
$ awk -F\' 'BEGIN{printf "%4s %4s %4s %4s %4s %4s %4s %4s %4s\n","FILENAME","ARGC","FNR","FS","NF","NR","OFS","ORS","RS";printf "---------------------------------------------\n"} {printf "%4s %4s %4s %4s %4s %4s %4s %4s %4s\n",FILENAME,ARGC,FNR,FS,NF,NR,OFS,ORS,RS}' log.txt
FILENAME ARGC FNR FS NF NR OFS ORS RS
---------------------------------------------
log.txt 2 1 ' 1 1
log.txt 2 2 ' 1 2
log.txt 2 3 ' 2 3
log.txt 2 4 ' 1 4
# 輸出順序號 NR, 匹配文本行號
$ awk '{print NR,FNR,$1,$2,$3}' log.txt
---------------------------------------------
1 1 2 this is
2 2 3 Are you
3 3 This's a test
4 4 10 There are
# 指定輸出分割符
$ awk '{print $1,$2,$5}' OFS=" $ " log.txt
---------------------------------------------
2 $ this $ test
3 $ Are $ awk
This's $ a $
10 $ There $
```
## 使用正則,字符串匹配
```
# 輸出第二列包含 "th",并打印第二列與第四列
$ awk '$2 ~ /th/ {print $2,$4}' log.txt
---------------------------------------------
this a
```
**~ 表示模式開始。// 中是模式。**
```
# 輸出包含"re" 的行
$ awk '/re/ ' log.txt
---------------------------------------------
3 Are you like awk
10 There are orange,apple,mongo
```
## 忽略大小寫
```
$ awk 'BEGIN{IGNORECASE=1} /this/' log.txt
---------------------------------------------
2 this is a test
This's a test
```
## 模式取反
```
$ awk '$2 !~ /th/ {print $2,$4}' log.txt
---------------------------------------------
Are like
a
There orange,apple,mongo
$ awk '!/th/ {print $2,$4}' log.txt
---------------------------------------------
Are like
a
There orange,apple,mongo
```
## awk腳本
關于awk腳本,我們需要注意兩個關鍵詞BEGIN和END。
* BEGIN{ 這里面放的是執行前的語句 }
* END {這里面放的是處理完所有的行后要執行的語句 }
* {這里面放的是處理每一行時要執行的語句}
假設有這么一個文件(學生成績表):
```
$ cat score.txt
Marry 2143 78 84 77
Jack 2321 66 78 45
Tom 2122 48 77 71
Mike 2537 87 97 95
Bob 2415 40 57 62
```
我們的awk腳本如下:
```
$ cat cal.awk
#!/bin/awk -f
#運行前
BEGIN {
math = 0
english = 0
computer = 0
printf "NAME NO. MATH ENGLISH COMPUTER TOTAL\n"
printf "---------------------------------------------\n"
}
#運行中
{
math+=$3
english+=$4
computer+=$5
printf "%-6s %-6s %4d %8d %8d %8d\n", $1, $2, $3,$4,$5, $3+$4+$5
}
#運行后
END {
printf "---------------------------------------------\n"
printf " TOTAL:%10d %8d %8d \n", math, english, computer
printf "AVERAGE:%10.2f %8.2f %8.2f\n", math/NR, english/NR, computer/NR
}
```
我們來看一下執行結果:
```
$ awk -f cal.awk score.txt
NAME NO. MATH ENGLISH COMPUTER TOTAL
---------------------------------------------
Marry 2143 78 84 77 239
Jack 2321 66 78 45 189
Tom 2122 48 77 71 196
Mike 2537 87 97 95 279
Bob 2415 40 57 62 159
---------------------------------------------
TOTAL: 319 393 350
AVERAGE: 63.80 78.60 70.00
```
## 另外一些實例
AWK的hello world程序為:
```
BEGIN { print "Hello, world!" }
```
計算文件大小
```
$ ls -l *.txt | awk '{sum+=$6} END {print sum}'
--------------------------------------------------
666581
```
從文件中找出長度大于80的行
```
awk 'lenght>80' log.txt
```
打印九九乘法表
```
seq 9 | sed 'H;g' | awk -v RS='' '{for(i=1;i<=NF;i++)printf("%dx%d=%d%s", i, NR, i*NR, i==NR?"\n":"\t")}'
```
更多詳細內容可以查看 AWK 官方手冊:[http://www.gnu.org/software/gawk/manual/gawk.html](//www.gnu.org/software/gawk/manual/gawk.html)
- Linux 基礎
- Linux 簡介
- Linux 安裝
- Linux 系統啟動過程
- Linux 系統目錄結構
- Linux 忘記密碼解決方法
- Linux 遠程登錄
- Linux 文件基本屬性
- Linux 文件與目錄管理
- Linux 用戶和用戶組管理
- Linux 磁盤管理
- Linux vi/vim
- Shell 編程
- Shell 教程
- Shell 變量
- Shell test命令
- Shell 流程控制
- Shell 函數
- Linux命令大全
- Linux命令大全 - 文件管理
- Linux cat命令
- Linux chattr命令
- Linux chgrp命令
- Linux chmod命令
- Linux chown命令
- Linux cksum命令
- Linux cmp命令
- Linux diff命令
- Linux diffstat命令
- Linux file命令
- Linux find命令
- Linux git命令
- Linux gitview命令
- Linux indent命令
- Linux cut命令
- Linux ln命令
- Linux less命令
- Linux locate命令
- Linux lsattr命令
- Linux mattrib命令
- Linux mc命令
- Linux mdel命令
- Linux mdir命令
- Linux mktemp命令
- Linux more命令
- Linux mmove命令
- Linux mread命令
- Linux mren命令
- Linux mtools命令
- Linux mtoolstest命令
- Linux mv命令
- Linux od命令
- Linux paste命令
- Linux patch命令
- Linux rcp命令
- Linux rm命令
- Linux slocate命令
- Linux split命令
- Linux tee命令
- Linux tmpwatch命令
- Linux touch命令
- Linux umask命令
- Linux which命令
- Linux cp命令
- Linux mcopy命令
- Linux mshowfat命令
- Linux rhmask命令
- Linux whereis命令
- Linux scp命令
- Linux awk 命令
- Linux命令大全 - 文檔編輯
- Linux col命令
- Linux colrm命令
- Linux comm命令
- Linux csplit命令
- Linux ed命令
- Linux egrep命令
- Linux ex命令
- Linux fgrep命令
- Linux fmt命令
- Linux fold命令
- Linux grep命令
- Linux ispell命令
- Linux jed命令
- Linux joe命令
- Linux join命令
- Linux look命令
- Linux mtype命令
- Linux pico命令
- Linux rgrep命令
- Linux sed命令
- Linux sort命令
- Linux spell命令
- Linux tr命令
- Linux expr命令
- Linux uniq命令
- Linux wc命令
- Linux命令大全 - 文件傳輸
- Linux lprm命令
- Linux lpr命令
- Linux lpq命令
- Linux lpd命令
- Linux bye命令
- Linux ftp命令
- Linux ncftp命令
- Linux tftp命令
- Linux uuto命令
- Linux uupick命令
- Linux uucp命令
- Linux uucico命令
- Linux ftpshut命令
- Linux ftpwho命令
- Linux ftpcount命令
- Linux命令大全 - 磁盤管理
- Linux cd命令
- Linux df命令
- Linux dirs命令
- Linux du命令
- Linux edquota命令
- Linux mlabel命令
- Linux mkdir命令
- Linux mdu命令
- Linux mdeltree命令
- Linux mcd命令
- Linux eject命令
- Linux mount命令
- Linux mmd命令
- Linux mrd命令
- Linux mzip命令
- Linux pwd命令
- Linux quota命令
- Linux mmount命令
- Linux rmdir命令
- Linux rmt命令
- Linux stat命令
- Linux tree命令
- Linux umount命令
- Linux ls命令
- Linux quotacheck命令
- Linux quotaoff命令
- Linux lndir命令
- Linux repquota命令
- Linux quotaon命令
- Linux命令大全 - 磁盤維護
- Linux badblocks命令
- Linux cfdisk命令
- Linux dd命令
- Linux e2fsck命令
- Linux ext2ed命令
- Linux mkbootdisk命令
- Linux fsck命令
- Linux fsck.minix命令
- Linux fsconf命令
- Linux fdformat命令
- Linux hdparm命令
- Linux mformat命令
- Linux mkdosfs命令
- Linux mke2fs命令
- Linux mkfs.ext2命令
- Linux mkfs.msdos命令
- Linux mkinitrd命令
- Linux mkisofs命令
- Linux mkswap命令
- Linux mpartition命令
- Linux swapon命令
- Linux symlinks命令
- Linux sync命令
- Linux mbadblocks命令
- Linux mkfs.minix命令
- Linux fsck.ext2命令
- Linux fdisk命令
- Linux losetup命令
- Linux mkfs命令
- Linux getty命令
- Linux sfdisk命令
- Linux swapoff命令
- Linux命令大全 - 網絡通訊
- Linux apachectl命令
- Linux arpwatch命令
- Linux nc命令
- Linux dip命令
- Linux mingetty命令
- Linux netconfig命令
- Linux ppp-off命令
- Linux uustat命令
- Linux uulog命令
- Linux wall命令
- Linux uux命令
- Linux telnet命令
- Linux netstat命令
- Linux dnsconf命令
- Linux mesg命令
- Linux httpd命令
- Linux ifconfig命令
- Linux minicom命令
- Linux traceroute命令
- Linux talk命令
- Linux ping命令
- Linux pppstats命令
- Linux samba命令
- Linux statserial命令
- Linux write命令
- Linux setserial命令
- Linux tty命令
- Linux newaliases命令
- Linux uuname命令
- Linux netconf命令
- Linux smbd命令
- Linux ytalk命令
- Linux tcpdump命令
- Linux cu命令
- Linux efax命令
- Linux pppsetup命令
- Linux testparm命令
- Linux smbclient命令
- Linux shapecfg命令
- Linux命令大全 - 系統管理
- Linux date命令
- Linux chfn命令
- Linux adduser命令
- Linux groupdel命令
- Linux useradd命令
- Linux groupmod命令
- Linux logname命令
- Linux logout命令
- Linux ps命令
- Linux exit命令
- Linux finger命令
- Linux fwhios命令
- Linux sleep命令
- Linux suspend命令
- Linux login命令
- Linux lastb命令
- Linux rlogin命令
- Linux last命令
- Linux reboot命令
- Linux kill命令
- Linux halt命令
- Linux nice命令
- Linux procinfo命令
- Linux top命令
- Linux pstree命令
- Linux shutdown命令
- Linux screen命令
- Linux sliplogin命令
- Linux rsh命令
- Linux rwho命令
- Linux sudo命令
- Linux gitps命令
- Linux uname命令
- Linux logrotate命令
- Linux tload命令
- Linux swatch命令
- Linux chsh命令
- Linux whoami命令
- Linux who命令
- Linux vlock命令
- Linux usermod命令
- Linux userdel命令
- Linux userconf命令
- Linux id命令
- Linux w命令
- Linux skill命令
- Linux su命令
- Linux renice命令
- Linux newgrp命令
- Linux whois命令
- Linux free命令
- Linux命令大全 - 系統設定
- Linux bind命令
- Linux aumix命令
- Linux dircolors命令
- Linux alias命令
- Linux clear命令
- Linux reset命令
- Linux enable命令
- Linux dmesg命令
- Linux depmod命令
- Linux declare命令
- Linux crontab命令
- Linux clock命令
- Linux chroot命令
- Linux insmod命令
- Linux rpm命令
- Linux grpconv命令
- Linux pwunconv命令
- Linux export命令
- Linux eval命令
- Linux set命令
- Linux minfo命令
- Linux lsmod命令
- Linux liloconfig命令
- Linux lilo命令
- Linux kbdconfig命令
- Linux modprobe命令
- Linux ntsysv命令
- Linux mouseconfig命令
- Linux passwd命令
- Linux pwconv命令
- Linux rdate命令
- Linux resize命令
- Linux rmmod命令
- Linux grpunconv命令
- Linux modinfo命令
- Linux time命令
- Linux setup命令
- Linux sndconfig命令
- Linux setenv命令
- Linux chkconfig命令
- Linux unset命令
- Linux ulimit命令
- Linux timeconfig命令
- Linux setconsole命令
- Linux mkkickstart命令
- Linux hwclock命令
- Linux apmd命令
- Linux fbset命令
- Linux unalias命令
- Linux SVGATextMode命令
- Linux命令大全 - 備份壓縮
- Linux bzip2recover命令
- Linux bzip2命令
- Linux bunzip2命令
- Linux ar命令
- Linux gunzip命令
- Linux unarj命令
- Linux compress命令
- Linux cpio命令
- Linux dump命令
- Linux uuencode命令
- Linux restore命令
- Linux lha命令
- Linux gzip命令
- Linux gzexe命令
- Linux zipinfo命令
- Linux zip命令
- Linux unzip命令
- Linux uudecode命令
- Linux tar命令
- Linux命令大全 - 設備管理
- Linux setleds命令
- Linux loadkeys命令
- Linux rdev命令
- Linux dumpkeys命令
- Linux MAKEDEV命令
- 免責聲明