Linux：初识awk

什么是awk

• awk是一种编程语言，主要用于在linux/unix下对文本和数据进行处理，是linux/unix下的一个工具。数据可以来自标准输入、一个或多个文件，或其它命令的输出。
• awk的处理文本和数据的方式：逐行扫描文件，默认从第一行到最后一行，寻找匹配的特定模式的行，并在这些行上进行你想要的操作。

基本语法格式

 awk '条件1 {动作 1} 条件 2 {动作 2} …' 文件名
1

条件

如：

• x>10：判断变量 x 是否大于10；
• x == y：判断变量 x 是否等于变量 y；
• A~B：判断字符串 A 中是否包含能匹配 B 表达式的子字符串；
• A!~B：判断字符串 A 中是否不包含能匹配 B 表达式的子字符串；

动作

• 格式化输出；
• 流程控制语句；

举例讲解

student.txt文档内容

ID Name PHP Linux MySQL Average
1 Liming 82 95 86 87.66
2 Sc 74 96 87 85.66
3 Gao 99 83 93 91.66
1
2
3
4

格式化输出

 awk '{printf $2 "\t" $6 "\n"}' student.txt
1

在这个例子中没有设定任何的条件类型，所以这个文件中的所有内容都符合条件，动作会无条件执行。

动作是格式化输出 printf，“$2"和”$6"分别代表第二个字段和第六个字段，所以这条 awk 命令会列出 student.txt 文件的第二个字段和第六个字段。

• 虽然都是截取列的命令，但是 awk 命令比 cut 命令智能多了，cut 命令是不能很好地识别空格作为分隔符的；
• 而对于 awk 命令来说，只要分隔开，不管是空格还是制表符，都可以识别。

条件类型

1、BEGIN

awk 'BEGIN{printf "This is a transcript\n"}{printf $2 "\t" $6 "\n"}' student.txt
1

• BEGIN 是 awk 的保留字，是一种特殊的条件类型。BEGIN 的执行时机是"在 awk 程序一开始，尚未读取任何数据之前"。
• 一旦 BEGIN 后的动作执行一次，当 awk 开始从文件中读入数据时，BEGIN 的条件就不再成立，所以 BEGIN 定义的动作只能被执行一次。

2、END

END 也是 awk 的保留字，不过刚好和 BEGIN 相反。END 是在 awk 程序处理完所有数据，即将结束时执行的。END 后的动作只在程序结束时执行一次。

3、关系运算符

假设我想看看平均成绩大于等于 87 分的学员是谁

cat student.txt | grep -v Name | awk '$6 >= 87{printf $2"\n"}'
1

这条命令的执行过程是这样的：

• 如果有 BEGIN 条件，则先执行 BEGIN 定义的动作。
• 如果没有 BEGIN 条件，则读入第一行，把第一行的数据依次赋予 $0、$1、$2 等变量。其中，$0 代表此行的整体数据，$1 代表第一个字段，$2 代表第二个字段。
• 依据条件类型判断动作是否执行。如果条件符合，则执行动作；否则读入下一行激据。如果没有条件，则每行都执行动作。
• 读入下一行数据，重复执行步骤

虽然 awk 是列提取命令，但是也要按行来读入。

如果我想看看 Sc 用户的平均成绩呢？

awk '$2-/Sc/{printf $6 "\n"}' student.txt
1

在 awk 中，只有使用"//“包含的字符串，awk 命令才会査找。也就是说，字符串必须用”//"包含，awk 命令才能正确识别

4、正则表达式

假设我想看看以L开头的学生信息

awk '/L+/{print $0}' student.txt
1

awk流程控制

之所以称为 awk 编程，是因为在 awk 中允许定义变量，允许使用运算符，允许使用流程控制语句和定义函数。

假设我想统计 PHP 成绩的总分

awk 'NR==2{php1 =$3} NR==3{php2=$3} NR==4{php3= $3; totle=php1+php2+php3;print "totle php is " totle}' student.txt
1

• “NR==2{php1=$3}”【条件是NR==2，动作是php1=$3】是指如果输入数据是第二行（第一行是标题行），就把第二行的第三个字段的值赋予变量"php1"。
• "NR==3{php2=$3}“是指如果输入数据是第三行，就把第三行的第三个字段的值赋予变量"php2”
• NR==4{php3=$3;totle=php1+php2+php3;print"totle php is"totle}“【"NR==4"是条件，后面{}中的都是动作】是指如果输入数是第四行，就把第四行的第三个字段的值赋予变量"php3”；然后定义变量 totle 的值是"php1+php2+php3";最后输出"totle php is"关键字，后面加变量 totle 的值。

也可以用awk自带的条件取代if

awk ' NR>=2 {test=$4} test>90 {printf $2" is a good man!\n"}' student.txt
1

注意：

• 多个条件{动作}可以用空格分隔，也可以用回车分隔。
• 在一个动作中，如果需要执行多条命令，则需要用分隔，或用回车分隔。
• 在awk中，变量的赋值与调用都不需要加入"$"符号。
• 在条件中判断两个值是否相同，请使用"=="，以便和变量赋值进行区分。

扩展

参数说明

-v var=$v： 把v值赋值给var，如果有多个变量要赋值，那么就写多个-v，每个变量赋值对应一个-v

awk -v num=2 -v num1=3 "NR==num,NR==num1{print}" student.txt
1

内置变量

• ARGC 命令行参数的个数
• ARGV 命令行参数数组
• ARGIND 当前被处理文件的ARGV标志符

awk '{if(ARGIND==1){print "处理a文件"} if(ARGIND==2){print "处理b文件"}}' a.txt b.txt
1

• NR 已经读出的记录数
• FNR 当前文件的记录数

awk 'NR==FNR{print "处理文件a"} NR > FNR{print "处理文件b"}' a.txt b.txt
1

RS：awk读取文件时的行分隔符

• 1、以固定字符串作为行分隔符，同时设置变量RT为固定字符串
• 2、以正则表达式作为行分隔符，同时设置变量RT为正则表达式实际匹配到的字符串
• 3、以连续的空行作为行分隔符，如果FS为单个字符，会将“ ”强制加入到FS变量中

ORS：awk输出时的行结束符。

FS：awk用来定义“列”的。

附：参考资料

1、Shell awk命令详解（格式+使用方法）
2、linux awk命令NR详解,Linux awk 命令详解
3、Linux中awk后面的RS, ORS, FS, OFS 含义