概述

awk是一个报告生成器，它拥有强大的文本格式化的能力，这就是专业的说法。

你可能不理解所谓的报告生成器中的"报告"是什么，你可以把"报告"理解为"报表"或者"表格",也就是说，我们可以利用awk命令，将一些文本整理成我们想要的样子，比如把一些文本整理成"表"的样子，然后再展示出来，刚才概念中提到的"文本格式化的能力"，也就是这个意思，其实这样说可能还是不太容易理解，不用着急，当你看到后面的"示例"时，自然会明白awk所擅长的"文本格式化"能力是什么。

分享一下awk的3个例子，也通过这三个awk例子来帮助大家理解awk的一些命令语法。

awk基础

awk基本语法如下，看不懂没关系，我们会慢慢举例。

awk [options] 'program' file1 , file2 , ```

对于上述语法中的program来说，又可以细分成pattern和action，也就是说，awk的基本语法如下

awk [options] 'Pattern{Action}' file

从字面上理解 ，action指的就是动作，awk擅长文本格式化，并且将格式化以后的文本输出，所以awk最常用的动作就是print和printf，因为awk要把格式化完成后的文本输出啊，所以，这两个动作最常用。

awk是逐行处理的，逐行处理的意思就是说，当awk处理一个文本时，会一行一行进行处理，处理完当前行，再处理下一行，awk默认以"换行符"为标记，识别每一行，也就是说，awk跟我们人类一样，每次遇到"回车换行"，就认为是当前行的结束，新的一行的开始，awk会按照用户指定的分割符去分割当前行，如果没有指定分割符，默认使用空格作为分隔符。

ps:grep 、sed、awk被称为linux中的"三剑客"。

grep 更适合单纯的查找或匹配文本

sed 更适合编辑匹配到的文本

awk 更适合格式化文本，对文本进行较复杂格式处理

一、类似数据库中的left join查询

基础信息

[root@nwppdb opt]# cat a.txt 111 aaa222 bbb333 cccc444 ddd[root@nwppdb opt]# cat b.txt 111 123 4562 abc cbd444 rts 786

需求：输出结果是：

111,aaa,123,456444,ddd,rts,786

实现方法1：

[root@nwppdb opt]# awk 'NR==FNR{a[$1]=$2;}NR!=FNR && a[$1]{print $1","a[$1]","$2","$3}' a.txt b.txt111,aaa,123,456444,ddd,rts,786

解释：当NR和FNR相同时,这就说明在对第一个文件进行操作，a[$1]=$2表示，建立一个数组，以第一个字段为下标，第二个字段为值。当NR!=FNR时,说明在对第二个文件进行操作，注意：这个时候的$1和前面的$1不是同一个东西了，前面的$1表示的是a.txt的第一个字段，而后面的$1表示的是b.txt的第一个字段。a[$1]表示以b.txt中第一个字段的为下标的值，如果a[$1]有值的话，说明也存在于a.txt文件中，这样就把数据print出来就行了。

实现方法2，

[root@nwppdb opt]# awk -v OFS="," 'NR==FNR{a[$1]=$2;} NR!=FNR && $1 in a { print $1,a[$1],$2,$3}' a.txt b.txt111,aaa,123,456444,ddd,rts,786

解释：-v OFS=","这个是设置输出时的列分割符，$1 in a这个是b.txt文件中的第一列的值是不是在数组a的key中，这个对做程序的来说很好理解，各种语言当中都有这样的用法，或者函数。例如，php中有in_array函数。比较一下，方法1和方法2中的print，方法1我加了双引号，方法2我却没有加，但是输出的效果却是一样的。

二、去除重复的值

基础信息：

[root@nwppdb opt]# cat c.txt a bc de fb db af e1 22 1

需求：如果有a,b和b,a这样的情况，就删除b,a，即去除重复值，当然数字也一样;

实现方法1：

[root@nwppdb opt]# awk '{for(i=1;i<=NF;i++)a[i]=$i;asort(a);for(i=1;i<=length(a);i++)printf a[i]"\t";printf "\n"}' c.txt|sort|uniq1	2	a	b	b	d	c	d	e	f	

解释：for(i=1;i<=NF;i++)a[i]=$i;将每一列中的二个字段放到数组中，asort(a)，这个数组进行排序，后面的代码是将数组数据输出来，通sort命令对输入的数据进行排序，相同数据会排在一起，通过uniq来进行去除相同的列。这种方法比较有通用性，不光适合二列，三列，四列都行。不过效率差了点。

实现方法2:

[root@nwppdb opt]# awk '{a[$0]=$0;if (!($2 OFS $1 in a)) print a[$0] }' c.txta bc de fb d1 2[root@nwppdb opt]# awk '{a[$0];if (!($2 OFS $1 in a)) print }' c.txta bc de fb d1 2

解释：方法2的二种写法，出来的结果是一样的，a[$0];没有赋值也没有报错，为什么呢？awk在遇到这样没有定义的变量时，会给它一个初值。if (!($2 OFS $1 in a))表示返转字段不在数组a中，这里所说的在，表示key是不是存在，不是值。print 不写默认是一行。

实现方法3：

[root@nwppdb opt]# awk '!a[$1_$2]++&&!a[$2_$1]++' c.txta bc de fb d1 2[root@nwppdb opt]# awk '{if(!a[$1_$2]++&&!a[$2_$1]++)print $0;}' c.txta bc de fb d1 2

解释：!a[$1_$2]++&&!a[$2_$1]++等于if(!a[$1_$2]++&&!a[$2_$1]++),对于首次出现的记录，a[$2_$1]的值是未定义的，由于后面的 ++ 是数学计算，所以a[$2_$1]会被赋值成数字0，也是由于 ++ 操作符，会先取值，再计算，从左到右 ++ 运算符的优先级大于！运算符的，所以对于第一行记录实际上是if(! 0) print $0 ! 是取反，0 是假，! 0 就是真，那么就会执行后面的 print $0对于后面出现的重复记录，a[$0] 经过 ++ 的计算已经变为 1、2、3 。。。而 ! 1 ! 2 ! 3 ... 都为假，不会打印。

三、awk的局部变量

下面用例子来说明一下，awk怪异的局部变量

基本信息：

[root@nwppdb opt]# cat d.txt 1 22 3a b3 24 13 r

需求：把都是数字的行，最大的那个数字加起来，第一行是2，第二行是3，每四行是3，第五行是4，总和是12

实现方法：

[root@nwppdb opt]# cat add.sh function max(one,two){ if(one > two){ sum = sum + one;}else{ sum = sum + two;}}{if($1~"[0-9]" && $2~"[0-9]") max($1,$2);} END{print "sum="sum}

在max方法里面，变量sum是会影响外面的，这里的sum是全局的。

[root@nwppdb opt]# awk -f add.sh d.txtsum=12

篇幅有限，所以拿3个比较经典的awk例子来做演示，大家可以多看几遍，深入掌握的话对awk用法基本就七七八八了~

后面会分享更多linux命令的一些用法，感兴趣的朋友可以关注下！