shell脚本之awk学习笔记

shell脚本学习笔记九——awk
    
#cat grade.txt
M.Tansley    05/99    48311   Green    8    40   44
J.Lulu       06/99    48317   green    9    24   26
P.Bunny      02/99    48      Yellow   12   35   28
J.Troll      07/99    4842    Brown-3  12   26   26
L.Tansley    05/99    4712    Brown-2  12   30   28

awk '{print $1,$4}' grade.txt
打印报告头
awk 'BEGIN {print "Name /t   Belt/n--------------------"}{print $1"/t"$4}' grade.txt
 
打印信息尾
# awk 'BEGIN{print "Name /t /n------"}{print $1}END{print "--end of report--"}' grade.txt

Name    
------
M.Tansley
J.Lulu
P.Bunny
J.Troll
L.Tansley
--end of report--

awk中正则表达式及其操作
1) 元字符     / ^ $ . [] | () * + ?
2) 条件操作符 <  <=  ==  !=  >=    ~ 匹配正则表达式   !~ 不匹配正则

表达式       

匹配  使一域号匹配正则表达式，使用 ‘~’后紧跟正则表达式，也可以使用

if语句.awk中if后面的条件用()括起来
# awk '{if($4 ~/Brown/)print $0}' grade.txt
J.Troll      07/99    4842    Brown-3  12   26   26
L.Tansley    05/99    4712    Brown-2  12   30   28
# awk '$0 ~/Brown/' grade.txt
J.Troll      07/99    4842    Brown-3  12   26   26
L.Tansley    05/99    4712    Brown-2  12   30   28

精确匹配
# awk '{if($3=="48") print $0}' grade.txt              第三列有很多

48，所以要用精确匹配
P.Bunny      02/99    48      Yellow   12   35   28
# awk '$3==48' grade.txt                               awk默认动作是

print
P.Bunny      02/99    48      Yellow   12   35   28

awk '{ if ($6 < $7) print $1" Try better at..."}' grade.txt
M.Tansley Try better at...
J.Lulu Try better at...

设置大小写     [] 可匹配任意字符或单词
awk '{if($4 ~/[Gg]reen/) print $0}' grade.txt
M.Tansley    05/99    48311   Green    8    40   44
J.Lulu       06/99    48317   green    9    24   26
awk '/[Gg]reen/' grade.txt         结果同上

任意字符
[root@localhost awk_sed]# awk '$1 ~/^...a/' grade.txt
M.Tansley    05/99    48311   Green    8    40   44
L.Tansley    05/99    4712    Brown-2  12   30   28
awk '{if(/^...a/) print}' grade.txt 结果同上

或关系匹配 ｜ 匹配两边模式之一        使用竖线符时，语句必须用圆括号

括起来
# awk '$4 ~/([Yy]ellow|[Bb]rown)/' grade.txt   抽取级别为yellow或

brown的记录
P.Bunny      02/99    48      Yellow   12   35   28
J.Troll      07/99    4842    Brown-3  12   26   26
L.Tansley    05/99    4712    Brown-2  12   30   28

行首
# awk '/^48/' grade.txt
# awk '/^P.B/' grade.txt
P.Bunny      02/99    48      Yellow   12   35   28
所有表达式（除字符重复出现外）在awk中都是合法的。
复合模式   &&  || !
# awk '{if($1=="P.Bunny" && $4=="Yellow") print $0}' grade.txt
P.Bunny      02/99    48      Yellow   12   35   28
awk '{if($4=="green" || $4 ~/Brown/) print $0}' grade.txt
J.Lulu       06/99    48317   green    9    24   26
J.Troll      07/99    4842    Brown-3  12   26   26
L.Tansley    05/99    4712    Brown-2  12   30   28

awk内置变量
ARGC      命令行参数个数
ARGV      命令行参数排列         ARGV[n]表示每一元素，n为期望访问的

命令行参数
ENVIRON   支持队列中系统环境变量的使用
FILENAME  awk浏览的文件名        awk可以同时处理许多文件
FNR       浏览文件的记录数
FS        设置输入域分隔符，等价于命令行-F选项。如果用逗号作域分隔符

，设置 FS=","
NF        浏览记录的域个数
NR        已读的记录数
OFS       输出域分隔符    缺省为空格。若想设置为#，写入OFS="#"
ORS       输出记录分隔符  缺省为新行（/n）
RS        控制记录分隔符  缺省为新行(/n)
下面为awk内置变量的例子
NR 快速查看记录个数，比如导出数据库文件后，要快速浏览记录个数。
# awk 'END{print NR}' grade.txt
5
# awk '{print NR}' grade.txt
1
2
3
4
5
#awk '{print NF,NR,$0}END{print FILENAME}' grade.txt  打印所有学生的

记录，并打印记录号及域个数(NF),文件名
7 1 M.Tansley    05/99    48311   Green    8    40   44
7 2 J.Lulu       06/99    48317   green    9    24   26
7 3 P.Bunny      02/99    48      Yellow   12   35   28
7 4 J.Troll      07/99    4842    Brown-3  12   26   26
7 5 L.Tansley    05/99    4712    Brown-2  12   30   28
grade.txt
在抽取信息时，最好先检查文件中是否有记录。
# awk '{if(NR>0 && $4 ~/Brown/)print $0}' grade.txt
J.Troll      07/99    4842    Brown-3  12   26   26
L.Tansley    05/99    4712    Brown-2  12   30   28
NF 的一个强大功能是将变量$PWD的返回值传入awk并显示其目录。这里需要指

定域分隔符
# echo $PWD | awk -F/ '{print $NF}'
awk_sed
echo "/usr/local/src" | awk -F/ '{print $NF}'  显示文件名
src

awk操作符
在awk中使用操作符，基本表达式分为划分数字型，字符串型，变量型，域及

数组元素
＝ +＝ *＝ 、 ＝ %＝ ^=    赋值操作符
?                          条件表达操作符
||  &&  !                  并，与，非
- !-                       匹配操作符，包括匹配和不匹配
< <= == != >>              关系操作符
+ - * / % ^                算术操作符
++ --                      前缀和后缀
1.设置输入域到域变量名
# awk '{name=$1;belts=$4; if(belts ~/Yellow/)print name"is belt"

belts'} grade.txt
P.Bunnyis beltYellow
2域值比较操作
两种方法：1.在BEGIN中给变量名赋值   2.在关系操作中使用实际数值。
用引号将数字引起来是可选的，“27”和27是一样的！
[root@localhost awk_sed]# awk '{if($6<27)print $0}' grade.txt
J.Lulu       06/99    48317   green    9    24   26
J.Troll      07/99    4842    Brown-3  12   26   26
# awk 'BEGIN {BASELINE="27"}{if($6<27) print $0}' grade.txt
J.Lulu       06/99    48317   green    9    24   26
J.Troll      07/99    4842    Brown-3  12   26   26
3. 修改数值域取值
awk修改任何域时，重要的一点是要记住实际输入文件是不可修改的，修改的

只是保存在缓存里的awk副本。awk会在变量NR或NF变量中反映出修改痕迹0。
awk '{if ($1=="M.Tansley") $6=$6-1;print $1 "/t" $6 "/t" $7}'

grade.txt
M.Tansley       39      44
J.Lulu  24      26
P.Bunny 35      28
J.Troll 26      26
L.Tansley       30      28
4. 修改文本域
awk '{if($1=="J.Troll") $1=="J.L.Troll";print $1}' grade.txt
M.Tansley
J.Lulu
P.Bunny
J.Troll
L.Tansley
5.只显示修改记录  在模式后面使用花括号将只打印修改部分
awk '{if($1=="J.Troll") {$1=="J.L.Troll";print $1}}' grade.txt
J.Troll
6.创建新的输出域

作者“it职业生涯”