[TOC] ### 1.在語句中執行Linux命令 * 兩種方法 ~~~ echo the date is `date` echo the date is $(date) ~~~ ### 2.shell判斷 ~~~ $* 所有參數 $# 參數個數 $$ 進程的ID $? 進程的返回狀態 ~~~ ### 3.從文件中讀取一行記錄(重定向) `read line < /etc/fstab`  ### 4. 包含文件 ~~~ #!/bin/bash # author:菜鳥教程 # url:www.runoob.com #使用 . 號來引用test1.sh 文件，可以使用其中的數據 . ./test1.sh # 或者使用以下包含文件代碼 # source ./test1.sh echo "dd：$url" ~~~ ~~~ #!/bin/bash . data-file # 加載一個數據文件. # 與"source data-file"效果相同, 但是更具可移植性. # 文件"data-file"必須存在于當前工作目錄, #+ 因為這個文件是使用'basename'來引用的. # 現在, 引用這個文件中的一些數據. echo "variable1 (from data-file) = $variable1" echo "variable3 (from data-file) = $variable3" let "sum = $variable2 + $variable4" echo "Sum of variable2 + variable4 (from data-file) = $sum" echo "message1 (from data-file) is $message1" # 注意: 將雙引號轉義 print_message "This is the message-print function in the data-file." "cansghu2" exit 0 ~ 點命令在shell中，加載文件，可以使用其中的變量和函數 ~~~ ### 5.printf 命令 ~~~ printf format-string [arguments...] # 參數說明： # format-string: 為格式控制字符串 # arguments: 為參數列表。 ~~~ ~~~ printf "%-10s %-8s %-4s\n" 姓名 性別 體重kg printf "%-10s %-8s %-4.2f\n" 郭靖 男 66.1234 printf "%-10s %-8s %-4.2f\n" 楊過 男 48.6543 printf "%-10s %-8s %-4.2f\n" 郭芙 女 47.9876 ~~~ ~~~ 姓名 性別 體重kg 郭靖 男 66.12 楊過 男 48.65 郭芙 女 47.99 ~~~ > * %s %c %d %f都是格式替代符 > * %-10s 指一個寬度為10個字符（-表示左對齊，沒有則表示右對齊），任何字符都會被顯示在10個字符寬的字符內，如果不足則自動以空格填充，超過也會將內容全部顯示出來。 > * %-4.2f 指格式化為小數，其中.2指保留2位小數。 * 轉義字符 ~~~ \a 警告字符，通常為ASCII的BEL字符 \b 后退 \c 抑制（不顯示）輸出結果中任何結尾的換行字符（只在%b格式指示符控制下的參數字符串中有效），而且，任何留在參數里的字符、任何接下來的參數以及任何留在格式字符串中的字符，都被忽略 \f 換頁（formfeed） \n 換行 \r 回車（Carriage return） \t 水平制表符 \v 垂直制表符 \\ 一個字面上的反斜杠字符 \ddd 表示1到3位數八進制值的字符。僅在格式字符串中有效 \0ddd 表示1到3位的八進制值字符 ~~~ ## 2. 字符串處理 ### 6. awk > 1. awk是行處理器: 相比較屏幕處理的優點，在處理龐大文件時不會出現內存溢出或是處理緩慢的問題，通常用來格式化文本信息 > 2. awk處理過程: 依次對每一行進行處理，然后輸出 #### 6.1 基本格式 ~~~ awk 【option】【file】 awk [-F|-f|-v] ‘BEGIN{} //{command1; command2} END{}’ file echo file | awk [-F|-f|-v] ‘BEGIN{} //{command1; command2} END{}’ ~~~ 參數說明： ~~~ [-F|-f|-v] 大參數，-F指定分隔符，-f調用腳本，-v定義變量 var=value ' ' 引用代碼塊 BEGIN 初始化代碼塊，在對每一行進行處理之前，初始化代碼，主要是引用全局變量，設置FS分隔符 // 匹配代碼塊，可以是字符串或正則表達式 {} 命令代碼塊，包含一條或多條命令 ； 多條命令使用分號分隔 END 結尾代碼塊，在對每一行進行處理之后再執行的代碼塊，主要是進行最終計算或輸出結尾摘要信息 $0 表示整個當前行 $1 每行第一個字段 NF 字段數量變量（每行被切分后的列數量，可用于獲取最后一個列值： awk '{print $NF}'） NR 每行的記錄號，多文件記錄遞增 FNR 與NR類似，不過多文件記錄不遞增，每個文件都從1開始 \t 制表符 \n 換行符 FS BEGIN時定義分隔符 RS 輸入的記錄分隔符， 默認為換行符(即文本是按一行一行輸入) ~ 匹配，與==相比不是精確比較 !~ 不匹配，不精確比較 == 等于，必須全部相等，精確比較 != 不等于，精確比較 &&　 邏輯與 || 邏輯或 + 匹配時表示1個或1個以上 /[0-9][0-9]+/ 兩個或兩個以上數字 /[0-9][0-9]*/ 一個或一個以上數字 FILENAME 文件名 OFS 輸出字段分隔符， 默認也是空格，可以改為制表符等 ORS 輸出的記錄分隔符，默認為換行符,即處理結果也是一行一行輸出到屏幕 -F'[:#/]' 定義三個分隔符 ~~~ * 將每一行的前二個字段，分行輸出，進一步理解一行一行處理文本 ~~~ awk -F: '{print $1; print $2}' /etc/passwd ~~~ * 輸出字段1,3,6，以制表符作為分隔符 ~~~ awk -F: '{print $1,$3,$6}' OFS="\t" /etc/passwd ~~~ #### 6.2 匹配代碼塊 `!//純字符不匹配 ~//字段值匹配 !~//字段值不匹配 ~/a1|a2/字段值匹配a1或a2 ` ~~~ awk '/mysql/' /etc/passwd awk '/mysql/{print }' /etc/passwd awk '/mysql/{print $0}' /etc/passwd //三條指令結果一樣 awk '!/mysql/{print $0}' /etc/passwd //輸出不匹配mysql的行 awk '/mysql|mail/{print}' /etc/passwd awk '!/mysql|mail/{print}' /etc/passwd awk -F: '/mail/,/mysql/{print}' /etc/passwd //區間匹配 awk '/[2][7][7]*/{print $0}' /etc/passwd //匹配包含27為數字開頭的行，如27，277，2777... awk -F: '$1~/mail/{print $1}' /etc/passwd //$1匹配指定內容才顯示 awk -F: '{if($1~/mail/) print $1}' /etc/passwd //與上面相同 awk -F: '$1!~/mail/{print $1}' /etc/passwd //不匹配 awk -F: '$1!~/mail|mysql/{print $1}' /etc/passwd ~~~ * 計算文件大小 ~~~ ls -l|awk 'BEGIN{sum=0} !/^d/{sum+=$5} END{print "total size is",sum}' # !/^d/ 不統計目錄 ~~~ #### 6.3 if語句 必須用在{}中，且比較內容用()擴起來 ~~~ awk -F: '{if($1~/mail/) print $1}' /etc/passwd //簡寫，建議這樣寫 awk -F: '{if($1~/mail/) {print $1}}' /etc/passwd //全寫 awk -F: '{if($1~/mail/) {print $1} else {print $2}}' /etc/passwd //if...else... ~~~ #### 6.4 條件表達式 == != > >= ~~~ awk -F":" '$1=="mysql"{print $3}' /etc/passwd awk -F":" '{if($1=="mysql") print $3}' /etc/passwd //與上面相同 awk -F":" '$1!="mysql"{print $3}' /etc/passwd //不等于 awk -F":" '$3>1000{print $3}' /etc/passwd //大于 awk -F":" '$3>=100{print $3}' /etc/passwd //大于等于 awk -F":" '$3<1{print $3}' /etc/passwd //小于 awk -F":" '$3<=1{print $3}' /etc/passwd //小于等于 ~~~ #### 6.5 邏輯運算符 &&　|| ~~~ awk -F: '$1~/mail/ && $3>8 {print }' /etc/passwd //邏輯與，$1匹配mail，并且$3>8 awk -F: '{if($1~/mail/ && $3>8) print }' /etc/passwd awk -F: '$1~/mail/ || $3>1000 {print }' /etc/passwd //邏輯或 awk -F: '{if($1~/mail/ || $3>1000) print }' /etc/passwd ~~~ * 例子：獲取IP地址 `ifconfig eth0| grep 'inet '| awk -F: '{print $2;}'|sed s/Bcast//g` #### 6.6 數值運算 ~~~ awk -F: '$3 > 100' /etc/passwd awk -F: '$3 > 100 || $3 < 5' /etc/passwd awk -F: '$3+$4 > 200' /etc/passwd awk -F: '/mysql|mail/{print $3+10}' /etc/passwd //第三個字段加10打印 awk -F: '/mysql/{print $3-$4}' /etc/passwd //減法 awk -F: '/mysql/{print $3*$4}' /etc/passwd //求乘積 awk '/MemFree/{print $2/1024}' /proc/meminfo //除法 awk '/MemFree/{print int($2/1024)}' /proc/meminfo //取整 ~~~ #### 6.7 輸出分隔符OFS ~~~ awk '$6 ~ /FIN/ || NR==1 {print NR,$4,$5,$6}' OFS="\t" netstat.txt awk '$6 ~ /WAIT/ || NR==1 {print NR,$4,$5,$6}' OFS="\t" netstat.txt //輸出字段6匹配WAIT的行，其中輸出每行行號，字段4，5,6，并使用制表符分割字段 ~~~ #### 6.8 輸出處理結果到文件 ~~~ ①在命令代碼塊中直接輸出 route -n|awk 'NR!=1{print > "./fs"}' ②使用重定向進行輸出 route -n|awk 'NR!=1{print}' > ./fs ~~~ #### 6.9 格式化輸出 ~~~ netstat -anp|awk '{printf("%-8s %-8s %-10s\n",$1,$2,$3)}' ~~~ ` %[flags][width][.precision]conversion ` ~~~ %是必須的, 任何格式符都由百分號開始 flags 是可選的,詳見下表 width 是可選的, 表示輸出的寬度 precision 可選的, precision 依賴于 conversion, 詳見下表. conversion 是必須的, 表示如何格式化參數, 詳見下表 ~~~ * flag： ~~~ awk 支持如下標志(flag) 標志 描述 舉例 - 左對齊 |3333.33 | 空格 在正數之前添加空格 | 3333.33|，|-3333.33| + 打印正負數符號 |+3333.33|，|-3333.33| 0 數字前面補0 |003333.33| #(對于%o) 添加前綴0 |0515| #(對于%x) 添加前綴0x |0x1bc| #(對于%X) 添加前綴0X |0X1bc| #(對于%e) 添加小數點 |1.000000e+01| #(對于%E) 添加小數點 |1.000000E+01| #(對于%f) 添加小數點 | 10.000000| #(對于%g) 不刪除尾部0 |10.4000| #(對于%G) 不刪除尾部0 |10.4000| ~~~ * awk 精度(precision)的意義。 ~~~ 轉換符 精度意義 %d,%i,%o,%u,%x,%X 最少數字位數，如果數字位數少于精度，添加前綴0 %e, %E 最少數字位數，如果數字位數少于精度，添加后綴0 %f 小數的位數 %g, %G 最多數字位數 %s 字符位數 ~~~ > printf表示格式輸出 > %格式化輸出分隔符 > -8長度為8個字符 > s表示字符串類型 > 打印每行前三個字段，指定第一個字段輸出字符串類型(長度為8)，第二個字段輸出字符串類型(長度為8), > 第三個字段輸出字符串類型(長度為10) ~~~ netstat -anp|awk '$6=="LISTEN" || NR==1 {printf "%-10s %-10s %-10s \n",$1,$2,$3}' netstat -anp|awk '$6=="LISTEN" || NR==1 {printf "%-3s %-10s %-10s %-10s \n",NR,$1,$2,$3}' ~~~ #### 6.10 while語句 ~~~ awk -F: 'BEGIN{i=1} {while(i<NF) print NF,$i,i++}' /etc/passwd ~~~ > 變量i被初始化為1 ;當i小于或等于記錄的字段數(NF)時，先執行print語句，然后將i加1。接下來又重新測試表達式，直至i大于NF的值。變量i要在awk開始處理下一條記錄時begin被重置。 > 7 root 1 > 7 x 2 > 7 0 3 > 7 0 4 > 7 root 5 > 7 /root 6 #### 6.11 for 循環 ~~~ awk '{for(i=1;i<=NF;i++) print NF,$i}' /etc/passwd ~~~ 對文件的每一個行都執行 for #### 6.12 數組 ~~~ netstat -anp|awk 'NR!=1{a[$6]++} END{for (i in a) print i,"\t",a[i]}' netstat -anp|awk 'NR!=1{a[$6]++} END{for (i in a) printf "%-20s %-10s %-5s \n", i,"\t",a[i]}' ~~~ > 9523 1 > 9929 1 > LISTEN 6 > 7903 1 > 3038/cupsd 1 > 7913 1 > 10837 1 > 9833 1 ~~~ 應用1 awk -F: '{print NF}' helloworld.sh //輸出文件每行有多少字段 awk -F: '{print $1,$2,$3,$4,$5}' helloworld.sh //輸出前5個字段 awk -F: '{print $1,$2,$3,$4,$5}' OFS='\t' helloworld.sh //輸出前5個字段并使用制表符分隔輸出 awk -F: '{print NR,$1,$2,$3,$4,$5}' OFS='\t' helloworld.sh //制表符分隔輸出前5個字段，并打印行號 應用2 awk -F'[:#]' '{print NF}' helloworld.sh //指定多個分隔符: #，輸出每行多少字段 awk -F'[:#]' '{print $1,$2,$3,$4,$5,$6,$7}' OFS='\t' helloworld.sh //制表符分隔輸出多字段 應用3 awk -F'[:#/]' '{print NF}' helloworld.sh //指定三個分隔符，并輸出每行字段數 awk -F'[:#/]' '{print $1,$2,$3,$4,$5,$6,$7,$8,$9,$10,$11,$12}' helloworld.sh //制表符分隔輸出多字段 應用4 計算/home目錄下，普通文件的大小，使用KB作為單位 ls -l|awk 'BEGIN{sum=0} !/^d/{sum+=$5} END{print "total size is:",sum/1024,"KB"}' ls -l|awk 'BEGIN{sum=0} !/^d/{sum+=$5} END{print "total size is:",int(sum/1024),"KB"}' //int是取整的意思 應用5 統計netstat -anp 狀態為LISTEN和CONNECT的連接數量分別是多少 netstat -anp|awk '$6~/LISTEN|CONNECTED/{sum[$6]++} END{for (i in sum) printf "%-10s %-6s %-3s \n", i," ",sum[i]}' 應用6 統計/home目錄下不同用戶的普通文件的總數是多少？ ls -l|awk 'NR!=1 && !/^d/{sum[$3]++} END{for (i in sum) printf "%-6s %-5s %-3s \n",i," ",sum[i]}' mysql 199 root 374 統計/home目錄下不同用戶的普通文件的大小總size是多少？ ls -l|awk 'NR!=1 && !/^d/{sum[$3]+=$5} END{for (i in sum) printf "%-6s %-5s %-3s %-2s \n",i," ",sum[i]/1024/1024,"MB"}' ~~~ > * -F: 指定列分割符，默認是tab  * 范例 ~~~ ps -ef|grep "$PROC"|grep -v grep|awk '{if($1=="'$USER'"){print $2}}'|wc -l ~~~ * 獲取非系統用戶（/etc/passwd 第三列大于500的用戶） ~~~ awk -F":" '{if ($3>500)print $1}' /etc/passwd ~~~ * 查看無密碼的非系統用戶 ~~~ cat /etc/passwd | awk -F: '{if($2!=""&&$3>500) print $1}' ~~~ ### 7. grep 行提取命令  ~~~ grep [OPTIONS] PATTERN [FILE...] grep [OPTIONS] [-e PATTERN]... [-f FILE]... [FILE...] OPTIONS: -e: 使用正則搜索 -i: 不區分大小寫 -v: 查找不包含指定內容的行 -w: 按單詞搜索，精準匹配 -q：不打印任何輸出，在只關心結果的場景下，很有用 -c: 統計匹配到的次數 -n: 顯示行號 -r: 逐層遍歷目錄查找 -A: 顯示匹配行及前面多少行, 如: -A3, 則表示顯示匹配行及前3行 -B: 顯示匹配行及后面多少行, 如: -B3, 則表示顯示匹配行及后3行 -C: 顯示匹配行前后多少行, 如: -C3, 則表示顯示批量行前后3行 --color: 匹配到的內容高亮顯示 --include: 指定匹配的文件類型 --exclude: 過濾不需要匹配的文件類型 ~~~ #### 7.1 -w 精準匹配  #### 7.2 -E 擴展正則 ~~~ grep <re> <file> # 基礎正則匹配，需要轉義 egrep <re> <file> # 擴展正則匹配，不需要轉義，等價于grep -E <re> <file> grep -E <re> <file> # 擴展正則匹配，不需要轉義 ~~~ .{}[]等符號在basic正則當中，必須加轉義，在擴展正則當中不用，如下圖  #### 7.3 -q 不打印輸出 ~~~ grep -q用于if邏輯判斷 突然發現grep -q 用于if 邏輯判斷很好用。 -q 參數，本意是 Quiet; do not write anything to standard output. Exit immediately with zero status if any match is found, even if an error was detected. 中文意思為，安靜模式，不打印任何標準輸出。如果有匹配的內容則立即返回狀態值0。 小應用 # cat a.txt nihao nihaooo hello # if grep -q hello a.txt ; then echo yes;else echo no; fi yes # if grep -q word a.txt; then echo yes; else echo no; fi no ~~~ 不打印任何輸出，返回執行結果（正確0，錯誤大于等于1）  ### 8. find #### 8.1 規范  * 找到某一時間的文件，并執行命令,{}\為固定模式    * 按照權限找  * 根據所有者去找  * 查找被刪除的用戶創建的文件，文件所有者為nouser  #### 8.2 例子 * 按照類型，名字，并且目錄迭代層數為1，值找以及目錄 ~~~ find -type d -mindepth 1 -maxdepth 1 -name 2017* 2> /dev/null |xargs basename ~~~  ### 9. sed > * sed流式編輯工具，用于行處理 * 常用格式 ~~~ sed [option] /pattern/action # action打印、替換等 ~~~ option選項 ~~~ -e<script>或--expression=<script> 以選項中指定的script來處理輸入的文本文件。 -f<script文件>或--file=<script文件> 以選項中指定的script文件來處理輸入的文本文件。 -h或--help 顯示幫助。 -n或--quiet或--silent 僅顯示script處理后的結果。 -V或--version 顯示版本信息。 ~~~ 替換標記 ~~~ g 表示行內全面替換。 p 表示打印行。 w 表示把行寫入一個文件。 x 表示互換模板塊中的文本和緩沖區中的文本。 y 表示把一個字符翻譯為另外的字符（但是不用于正則表達式） \1 子串匹配標記 & 已匹配字符串標記 ~~~ 例子： ~~~ sed /pattern/p # /pattern/s/pattern/new/g # 全局替換（先找到匹配的行） s/pattern/new/g # 全局替換 sed -n '1,20s/My$/You/gp' datafile #取消默認輸出，處理1到20行里匹配以My結尾的行，把行內所有的My替換為You，并打印到屏幕上。 sed -i /pattern/s/pattern/new/g # 把修改寫入文件 ~~~ 例子：修改字符串 > s/haproxy.pid// ：把haproxy.pid替換為空，精準匹配，不是/xxx/s/haproxy.pid// 先找到一行 ~~~ tuna@docker02:~$ cat /usr/local/haproxy/haproxy.cfg |awk '{if($1=="pidfile"){print $2}}' /var/run/haproxy/haproxy.pid tuna@docker02:~$ cat /usr/local/haproxy/haproxy.cfg |awk '{if($1=="pidfile"){print $2}}'|sed 's/haproxy.pid//' /var/run/haproxy/ ~~~ 1. 獲得IP地址 ~~~ ifconfig eth0 | grep 'inet '| sed -r 's/(^.*inet addr:)//g' | sed 's/Bcast.*//g' ~~~ > * `ifconfig eth0 | grep 'inet '`確定到地址  > ` sed -r 's/(^.*inet addr:)//g'`去掉地址前面的東西（用空白替換了正則匹配到的東西），  > -r：表示擴展正則，類似grep -E > -n：表示只打印匹配到的行 > -g：表示一行中有多個str1的時候，都替換，而不是僅替換第一個 > ` sed 's/Bcast.*//g'` 去掉IP后邊的東西  2. 修改文件 > * 修改nimbus.host為nimbus.slave  ~~~ sed /imbus.host/s/host/slave/gp test.txt ~~~ > * 打印顯示修改成功  > * 有點礙眼的是打印了不相關的內容，此時加入-n參數，只打印匹配到的行 ~~~ sed -n /imbus.host/s/host/slave/gp test.txt ~~~  * 雖然打印輸出修成功，但是文件還是老樣子  * 加 -i參數，把修改保存到源文件，此時不加-n，p，p：表示打印，會把匹配到的行，在文件當中多加一行造成重復 ~~~ sed -i /imbus.host/s/host/slave/g test.txt ~~~ * 修改成功  * 加入p` sed -i /imbus.slave/s/slave/dailin/gp test.txt`  * 加入-n p （-n需要p），因為-n只打印匹配的行，所以文件只剩下匹配到的行，如果沒有匹配到任何行，文件就空了，需要慎用 ~~~ sed -i -n /imbus.slave/s/slave/dailin/gp test.txt ~~~  ### 10. 指定用戶啟動進程（腳本中、自啟動中） > * 在系統啟動時，在進程啟動命令處指定用戶即可，格式如下 > * 重點：在/etc/rc.local寫程序的啟動命令（系統執行內核過程中會啟動init進程，該進程把當前runlevel所對應的的所有service 都啟動后，才會執行rc.local里的命令），程序默認以root身份啟動；也可以通過 sudo -u user1 命令 指定以user1身份啟動。 由于tomcat運行需要JAVA_HOME，而在init進程運行時還未加載用戶的profile，所以需要在命令前指定JAVA_HOME。 ~~~ sudo -u 【user】 【命令】 ~~~ > * 例如啟動redis時，修改腳本。讓redis用戶啟動redis服務。  > * 實現了redis啟動redis服務，以前啟動都是root啟動的  ### 10. cut 列提取命令，默認用tab分割行 cut 【選項】文件 選項： -f：選擇列 1 1,3 -d