Linux脚本攻略学习笔记之awk简单语法和BEGIN、END实例演示

旧城等待， 2022-04-10 02:25 418阅读 0赞

###  ###

*   *  1、最简单的action 既没有pattern 有没有options
     *  2、awk是逐行处理的。
     *  2.1、输出整行
     *  2.2、输出最后一列
     *  2.3、输出倒数第二列
     *  2.4、输出共有多少列
     *  2.5、输出多列
     *  2.6、添加自定义字段
     *  3、 pattern
     *  3.1begin 简单语法
     *  3.2不添加输入文件
     *  3.3begin +pattern 演示

awk是一种编程语言，其名称得自于它的创始人 Alfred Aho 、Peter Weinberger 和 Brian Kernighan 姓氏的首个字母 ，用于在linux/unix下对文本和数据进行处理。数据可以来自标准输入(stdin)、一个或多个文件，或其它命令的输出。它支持用户自定义函数和动态正则表达式等先进功能，是linux/unix下的一个强大编程工具。它在命令行中使用，但更多是作为脚本来使用。awk有很多内建的功能，比如数组、函数等，这是它和C语言的相同之处，灵活性是awk最大的优势。

尽管操作可能会很复杂，但命令的语法始终是：  
awk ‘\{pattern + action\}’ 或者 awk ‘pattern \{action\}’

grep 、sed、awk被称为linux中的"三剑客"。  
grep 更适合单纯的查找或匹配文本  
sed 更适合编辑匹配到的文本  
awk 更适合格式化文本，对文本进行较复杂格式处理  
对于上述语法中的program来说，又可以细分成pattern和action，也就是说，awk的基本语法如下  
awk \[options\] ‘Pattern\{Action\}’ file  
从字面上理解 ，action指的就是动作，awk擅长文本格式化，并且将格式化以后的文本输出，所以awk最常用的动作就是print和printf，因为awk要把格式化完成后的文本输出啊，所以，这两个动作最常用。

## 1、最简单的action 既没有pattern 有没有options ##

echo awk >test.txt # test.txt文本中输入字符串awk
    awk {print} test.txt # 打印test.txt内容

![在这里插入图片描述][20181224092501746.png]

df | awk '{print $3}'

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3doYW5kZ2Ro_size_16_color_FFFFFF_t_70]

本例中 $3表示 输出第三列，不指定分隔符时，默认使用空格作为分隔符，细心的你一定发现了，上述信息用的空格不止有一个，而是有连续多个空格，awk自动将连续的空格理解为一个分割符了，是不是比cut命令要简单很多，这样比较简单的例子，有利于我们开始了解awk。

## 2、awk是逐行处理的。 ##

逐行处理的意思就是说，当awk处理一个文本时，会一行一行进行处理，处理完当前行，再处理下一行，awk默认以"换行符"为标记，识别每一行，也就是说，awk跟我们人类一样，每次遇到"回车换行"，就认为是当前行的结束，新的一行的开始，awk会按照用户指定的分割符去分割当前行，如果没有指定分割符，默认使用空格作为分隔符。  
![在这里插入图片描述][20181224092839967.png]

0 表 示 显 示 整 行 ， 0 表示显示整行 ， 0表示显示整行，NF表示当前行分割后的最后一列（ 0 和 0和 0和NF均为内置变量）注意， N F 和 N F 要 表 达 的 意 思 是 不 一 样 的 ， 对 于 a w k 来 说 ， NF 和 NF 要表达的意思是不一样的，对于awk来说， NF和NF要表达的意思是不一样的，对于awk来说，NF表示最后一个字段，NF表示当前行被分隔符切开以后，一共有几个字段。也就是说，假如一行文本被空格分成了7段，那么NF的值就是7，$NF的值就是$7, 而 7 表 示 当 前 行 的 第 7 个 字 段 ， 也 就 是 最 后 一 列 ， 那 么 每 行 的 倒 数 第 二 列 可 以 写 为 7表示当前行的第7个字段，也就是最后一列，那么每行的倒数第二列可以写为 7表示当前行的第7个字段，也就是最后一列，那么每行的倒数第二列可以写为(NF-1)。

## 2.1、输出整行 ##

awk '{print $0 }' col_print.txt

![在这里插入图片描述][20181224093030951.png]

注意上面的结果虽然是输出全部的文本，但并不表示$0是输出全部文本。因为awk是按行处理的，即每次输出一行，直至输出全部内容。  
来看如下实例即可知道：

## 2.2、输出最后一列 ##

cat col_print.txt  | awk '{print $NF }'

![在这里插入图片描述][20181224093104709.png]

## 2.3、输出倒数第二列 ##

cat col_print.txt  | awk '{print $(NF-1)}'

![在这里插入图片描述][20181224093220463.png]

## 2.4、输出共有多少列 ##

cat col_print.txt  | awk '{print  NF}'

![在这里插入图片描述][20181224093243944.png]

## 2.5、输出多列 ##

使用逗号隔开要输出的多个列，如下，一次性输出第2列和第3列  
![在这里插入图片描述][20181224093305930.png]

cat  col_print.txt | awk '{print $2,$3}'

![在这里插入图片描述][20181224093706264.png]

## 2.6、添加自定义字段 ##

除了输出文本中的列，我们还能够添加自己的字段，将自己的字段与文件中的列结合起来，如下做法，都是可以的。

cat col_print.txt  |awk '{ print "第一列:"$1,"第二列:"$2 }'

![在这里插入图片描述][20181224093800277.png]  
从上述实验中可以看出，awk可以灵活的通过双引号将我们指定的字符与每一列进行拼接，或者把指定的字符当做一个新列插入到原来的列中，也就是awk格式化文本能力的体现。

## 3、 pattern ##

接下来认识下一Pattern，也就是我们所说的模式先介绍AWK 包含两种特殊的模式：BEGIN 和 END。  
BEGIN 模式指定了处理文本之前需要执行的操作：END 模式指定了处理完所有行之后所需要执行的操作。

## 3.1begin 简单语法 ##

先创建空白文件：

touch  begin_test
    awk 'BEGIN{ print "BEGIN" }' begin_test

![在这里插入图片描述][20181224093903456.png]  
上述例子，虽然指定了begin\_test文件作为输入源，但是在开始处理test文本之前，需要先执行BEGIN模式指定的"打印"操作。

## 3.2不添加输入文件 ##

awk 'BEGIN { print "BEGIN"}'

![在这里插入图片描述][20181224094051873.png]

而上面例子中，我们并没有给定任何输入来源，awk就直接输出信息了，因为，BEGIN模式表示，在处理指定的文本之前，需要先执行BEGIN模式中指定的动作，而上述示例没有给定任何输入源，但是awk还是会先执行BEGIN模式指定的"打印"动作，打印完成后，发现并没有文本可以处理，于是就只完成了"打印 BEGIN"的操作。

## 3.3begin +pattern 演示 ##

awk ‘BEGIN \{print “BEGIN” ,“BEGIN” \} \{ print $1,$2 \}’ col\_print.txt

![在这里插入图片描述][20181224094241571.png]

3.4 END  
可以看到，先处理完BEGIN 的内容，再打印文本里面的内容.  
所以END模式也就一目了然了。  
![在这里插入图片描述][20181224094336176.png]  
上述示例中返回的结果 就像一张"报表"，有"表头" 、“表内容”、 “表尾”。我们通常将变量初始化语句（如 var=0 ）以及打印文件头部的语句放入BEGIN 语句块中。在 END\{\} 语句块中，往往会放入打印结果等语句.

[20181224092501746.png]: /images/20220403/ac89116e440d4775ab16c0b59d1f6ea0.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3doYW5kZ2Ro_size_16_color_FFFFFF_t_70]: /images/20220403/d5d4a673892c40c6be8276d4a36a56d9.png
[20181224092839967.png]: /images/20220403/18ed695655da40ebbe0cd3dea30ee770.png
[20181224093030951.png]: /images/20220403/a5c6dca4adff444da4fe9f711728ba59.png
[20181224093104709.png]: /images/20220403/34e927cf6bf54c05b62b02d84954673d.png
[20181224093220463.png]: /images/20220403/cb16eacb3a2b40018775076c51a8b812.png
[20181224093243944.png]: /images/20220403/27563cc382c94cfe9a8b79a5e2202f20.png
[20181224093305930.png]: /images/20220403/27e1807239f54497bb38cce165c4985c.png
[20181224093706264.png]: /images/20220403/146c5f3ff3c54c5a9ee23bec392ec367.png
[20181224093800277.png]: /images/20220403/a88cd517422b47658aba03c243af6b1f.png
[20181224093903456.png]: /images/20220403/14f92e6750bc4eecaabf61142c764759.png
[20181224094051873.png]: /images/20220403/ba162fd1e57c45ad91a6276acad43c74.png
[20181224094241571.png]: /images/20220403/45fdf8f1f1fa4743a357cd7383a3d211.png
[20181224094336176.png]: /images/20220403/33116971e6c647c29b70dd4338f0efc0.png