【大数据】05 文本处理

r囧r小猫 2023-06-14 05:24 20阅读 0赞

# 1、cut #

Linux cut命令用于显示每行从开头算起 num1 到 num2 的文字。

### 语法 ###

>     cut  [-bn] [file]
>     cut [-c] [file]
>     cut [-df] [file]

**使用说明:**

cut 命令从文件的每一行剪切字节、字符和字段并将这些字节、字符和字段写至标准输出。

如果不指定 File 参数，cut 命令将读取标准输入。必须指定 -b、-c 或 -f 标志之一。

**参数:**

*  \-b ：以字节为单位进行分割。这些字节位置将忽略多字节字符边界，除非也指定了 -n 标志。
 *  \-c ：以字符为单位进行分割。
 *  \-d ：自定义分隔符，默认为制表符。
 *  \-f ：与-d一起使用，指定显示哪个区域。
 *  \-n ：取消分割多字节字符。仅和 -b 标志一起使用。如果字符的最后一个字节落在由 -b 标志的 List 参数指示的  
    范围之内，该字符将被写出；否则，该字符将被排除
 *  \-s：不显示没有分隔符的行

### 实例 ###

当你执行who命令时，会输出类似如下的内容：

>     $ who
>     rocrocket :0           2009-01-08 11:07
>     rocrocket pts/0        2009-01-08 11:23 (:0.0)
>     rocrocket pts/1        2009-01-08 14:15 (:0.0)

如果我们想提取每一行的第3个字节，就这样：

>     $ who|cut -b 3
>     c
>     c
>     c

# 2、sort #

Linux sort命令用于将文本文件内容加以排序。

sort可针对文本文件的内容，以行为单位来排序。

### 语法 ###

>     sort [-bcdfimMnr][-o<输出文件>][-t<分隔字符>][+<起始栏位>-<结束栏位>][--help][--verison][文件]

**参数说明**：

*  \-b 忽略每行前面开始出的空格字符。
 *  \-c 检查文件是否已经按照顺序排序。
 *  \-d 排序时，处理英文字母、数字及空格字符外，忽略其他的字符。
 *  \-f 排序时，将小写字母视为大写字母。
 *  \-i 排序时，除了040至176之间的ASCII字符外，忽略其他的字符。
 *  \-m 将几个排序好的文件进行合并。
 *  \-M 将前面3个字母依照月份的缩写进行排序。
 *  \-n 依照数值的大小排序。
 *  \-o<输出文件> 将排序后的结果存入指定的文件。
 *  \-r 以相反的顺序来排序。
 *  \-t<分隔字符> 指定排序时所用的栏位分隔字符。
 *  \-k：选择排序列
 *  \-u：合并相同行
 *  \+<起始栏位>-<结束栏位> 以指定的栏位来排序，范围由起始栏位到结束栏位的前一栏位。
 *  –help 显示帮助。
 *  –version 显示版本信息。

### 实例 ###

在使用sort命令以默认的式对文件的行进行排序，使用的命令如下：

>     sort testfile

sort 命令将以默认的方式将文本文件的第一列以ASCII 码的次序排列，并将结果输出到标准输出。

使用 cat命令显示testfile文件可知其原有的排序如下：

>     $ cat testfile      #testfile文件原有排序  
>     test 30  
>     Hello 95  
>     Linux 85

使用sort命令重排后的结果如下：

>     $ sort testfile #重排结果  
>     Hello 95  
>     Linux 85  
>     test 30

[root@node0001 ~]# cat sort.txt 
    banana 12
    apple 8
    orange 4
    [root@node0001 ~]# sort -t' ' -k2 sort.txt 
    banana 12
    orange 4
    apple 8
    [root@node0001 ~]# sort -t' ' -k2 -n sort.txt 
    orange 4
    apple 8
    banana 12
    [root@node0001 ~]# sort -t' ' -k2 -nr sort.txt 
    banana 12
    apple 8
    orange 4

# 3、wc #

Linux wc命令用于计算字数。

利用wc指令我们可以计算文件的Byte数、字数、或是列数，若不指定文件名称、或是所给予的文件名为”-“，则wc指令会从标准输入设备读取数据。

### 语法 ###

>     wc [-clw][--help][--version][文件...]

**参数**：

*  \-c或–bytes或–chars 只显示Bytes数。
 *  \-l或–lines 只显示列数。
 *  \-w或–words 只显示字数。
 *  –help 在线帮助。
 *  –version 显示版本信息。

### 实例 ###

在默认的情况下，wc将计算指定文件的行数、字数，以及字节数。使用的命令为：

>     wc testfile

先查看testfile文件的内容，可以看到：

>     $ cat testfile  
>     Linux networks are becoming more and more common, but scurity is often an overlooked  
>     issue. Unfortunately, in today’s environment all networks are potential hacker targets,  
>     fro0m tp-secret military research networks to small home LANs.  
>     Linux Network Securty focuses on securing Linux in a networked environment, where the  
>     security of the entire network needs to be considered rather than just isolated machines.  
>     It uses a mix of theory and practicl techniques to teach administrators how to install and  
>     use security applications, as well as how the applcations work and why they are necesary.

### 使用 wc统计，结果如下： ###

>     $ wc testfile           # testfile文件的统计信息  
>     3 92 598 testfile       # testfile文件的行数为3、单词数92、字节数598

其中，3 个数字分别表示testfile文件的行数、单词数，以及该文件的字节数。

如果想同时统计多个文件的信息，例如同时统计testfile、testfile\_1、testfile\_2，可使用如下命令：

>     wc testfile testfile_1 testfile_2   #统计三个文件的信息

输出结果如下：

>     $ wc testfile testfile_1 testfile_2  #统计三个文件的信息  
>     3 92 598 testfile                    #第一个文件行数为3、单词数92、字节数598  
>     9 18 78 testfile_1                   #第二个文件的行数为9、单词数18、字节数78  
>     3 6 32 testfile_2                    #第三个文件的行数为3、单词数6、字节数32  
>     15 116 708 总用量                    #三个文件总共的行数为15、单词数116、字节数708

我们可以注意到，每次使用 wc 命令统计文件信息之后，会打印文件名，我们可能有的时候需要将wc统计的内容赋值给变量又不希望带上文件名，就可以使用 cat 组合一下：

>     $ cat testfile | wc     # testfile文件的统计信息  
>     3 92 598                # testfile文件的行数为3、单词数92、字节数598

# 4、sed #

Linux sed命令是利用script来处理文本文件。

sed可依照script的指令，来处理、编辑文本文件。

Sed主要用来自动编辑一个或多个文件；简化对文件的反复操作；编写转换程序等。

### 语法 ###

> sed \[options\] 'AddressCommand' file ...

**参数\[options\] 说明：**

*  \-n: 静默模式，不再默认显示模式空间中的内容
 *  \-i: 直接修改原文件
 *  \-e SCRIPT -e SCRIPT:可以同时执行多个脚本
 *  \-f /PATH/TO/SED\_SCRIPT
 *  \-r: 表示使用扩展正则表达式

**Command：**

*  –d: 删除符合条件的行；
 *  –p: 显示符合条件的行。通常 p 会与参数 sed -n 一起运行～；
 *  –a \\string: 在指定的行后面追加新行，内容为string
 *  –  \\n：可以用于换行
 *  –i \\string: 在指定的行前面添加新行，内容为string
 *  –r FILE: 将指定的文件的内容添加至符合条件的行处
 *  –w FILE: 将地址指定的范围内的行另存至指定的文件中;
 *  –s/pattern/string/修饰符: 查找并替换，默认只替换每行中第一次被模式匹配到的字符串
 *  g: 行内全局替换
 *  i: 忽略字符大小写
 *  s///: s\#\#\#, s@@@ 
 *   \$\$, \\1, \\2

### 实例 ###

在testfile文件的第四行后添加一行，并将结果输出到标准输出，在命令行提示符下输入如下命令：

>     sed -e 4a\newLine testfile

首先查看testfile中的内容如下：

>     $ cat testfile #查看testfile 中的内容  
>     HELLO LINUX!  
>     Linux is a free unix-type opterating system.  
>     This is a linux testfile!  
>     Linux test

使用sed命令后，输出结果如下：

>     $ sed -e 4a\newline testfile #使用sed 在第四行后添加新字符串  
>     HELLO LINUX! #testfile文件原有的内容  
>     Linux is a free unix-type opterating system.  
>     This is a linux testfile!  
>     Linux test  
>     newline

### 以行为单位的新增/删除 ###

将 /etc/passwd 的内容列出并且列印行号，同时，请将第 2~5 行删除！

>     [root@www ~]# nl /etc/passwd | sed '2,5d'
>     1 root:x:0:0:root:/root:/bin/bash
>     6 sync:x:5:0:sync:/sbin:/bin/sync
>     7 shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown
>     .....(后面省略).....

sed 的动作为 ‘2,5d’ ，那个 d 就是删除！因为 2-5 行给他删除了，所以显示的数据就没有 2-5 行罗～ 另外，注意一下，原本应该是要下达 sed -e 才对，没有 -e 也行啦！同时也要注意的是， sed 后面接的动作，请务必以 ” 两个单引号括住喔！

只要删除第 2 行

>     nl /etc/passwd | sed '2d'

要删除第 3 到最后一行

>     nl /etc/passwd | sed '3,$d'

在第二行后(亦即是加在第三行)加上 drink tea 字样！

>     [root@www ~]# nl /etc/passwd | sed '2a drink tea'
>     1 root:x:0:0:root:/root:/bin/bash
>     2 bin:x:1:1:bin:/bin:/sbin/nologin
>     drink tea
>     3 daemon:x:2:2:daemon:/sbin:/sbin/nologin
>     .....(后面省略).....

那如果是要在第二行前

>     nl /etc/passwd | sed '2i drink tea'

如果是要增加两行以上，在第二行后面加入两行字，例如 Drink tea or ….. 与 drink beer?

>     [root@www ~]# nl /etc/passwd | sed '2a Drink tea or ......\
>     > drink beer ?'
>     1 root:x:0:0:root:/root:/bin/bash
>     2 bin:x:1:1:bin:/bin:/sbin/nologin
>     Drink tea or ......
>     drink beer ?
>     3 daemon:x:2:2:daemon:/sbin:/sbin/nologin
>     .....(后面省略).....

每一行之间都必须要以反斜杠『 \\ 』来进行新行的添加喔！所以，上面的例子中，我们可以发现在第一行的最后面就有 \\ 存在。

### 以行为单位的替换与显示 ###

将第2-5行的内容取代成为『No 2-5 number』呢？

>     [root@www ~]# nl /etc/passwd | sed '2,5c No 2-5 number'
>     1 root:x:0:0:root:/root:/bin/bash
>     No 2-5 number
>     6 sync:x:5:0:sync:/sbin:/bin/sync
>     .....(后面省略).....

透过这个方法我们就能够将数据整行取代了！

仅列出 /etc/passwd 文件内的第 5-7 行

>     [root@www ~]# nl /etc/passwd | sed -n '5,7p'
>     5 lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
>     6 sync:x:5:0:sync:/sbin:/bin/sync
>     7 shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown
>     </p><p>
>     可以透过这个 sed 的以行为单位的显示功能， 就能够将某一个文件内的某些行号选择出来显示。
>     </p>
>     <h3>数据的搜寻并显示</h3>
>     <p>搜索 /etc/passwd有root关键字的行</p>
>     <pre>
>     nl /etc/passwd | sed '/root/p'
>     1  root:x:0:0:root:/root:/bin/bash
>     1  root:x:0:0:root:/root:/bin/bash
>     2  daemon:x:1:1:daemon:/usr/sbin:/bin/sh
>     3  bin:x:2:2:bin:/bin:/bin/sh
>     4  sys:x:3:3:sys:/dev:/bin/sh
>     5  sync:x:4:65534:sync:/bin:/bin/sync
>     ....下面忽略

如果root找到，除了输出所有行，还会输出匹配行。

使用-n的时候将只打印包含模板的行。

>     nl /etc/passwd | sed -n '/root/p'
>     1  root:x:0:0:root:/root:/bin/bash

### 数据的搜寻并删除 ###

删除/etc/passwd所有包含root的行，其他行输出

>     nl /etc/passwd | sed  '/root/d'
>     2  daemon:x:1:1:daemon:/usr/sbin:/bin/sh
>     3  bin:x:2:2:bin:/bin:/bin/sh
>     ....下面忽略
>     #第一行的匹配root已经删除了

### 数据的搜寻并执行命令 ###

搜索/etc/passwd,找到root对应的行，执行后面花括号中的一组命令，每个命令之间用分号分隔，这里把bash替换为blueshell，再输出这行：

>     nl /etc/passwd | sed -n '/bash/{s/bash/blueshell/;p;q}'    
>     1  root:x:0:0:root:/root:/bin/blueshell

最后的q是退出。

### 数据的搜寻并替换 ###

除了整行的处理模式之外， sed 还可以用行为单位进行部分数据的搜寻并取代。基本上 sed 的搜寻与替代的与 vi 相当的类似！他有点像这样：

>     sed 's/要被取代的字串/新的字串/g'

先观察原始信息，利用 /sbin/ifconfig 查询 IP

>     [root@www ~]# /sbin/ifconfig eth0
>     eth0 Link encap:Ethernet HWaddr 00:90:CC:A6:34:84
>     inet addr:192.168.1.100 Bcast:192.168.1.255 Mask:255.255.255.0
>     inet6 addr: fe80::290:ccff:fea6:3484/64 Scope:Link
>     UP BROADCAST RUNNING MULTICAST MTU:1500 Metric:1
>     .....(以下省略).....

本机的ip是192.168.1.100。

将 IP 前面的部分予以删除

>     [root@www ~]# /sbin/ifconfig eth0 | grep 'inet addr' | sed 's/^.*addr://g'
>     192.168.1.100 Bcast:192.168.1.255 Mask:255.255.255.0

接下来则是删除后续的部分，亦即： 192.168.1.100 Bcast:192.168.1.255 Mask:255.255.255.0

将 IP 后面的部分予以删除

>     [root@www ~]# /sbin/ifconfig eth0 | grep 'inet addr' | sed 's/^.*addr://g' | sed 's/Bcast.*$//g'
>     192.168.1.100

### 多点编辑 ###

一条sed命令，删除/etc/passwd第三行到末尾的数据，并把bash替换为blueshell

>     nl /etc/passwd | sed -e '3,$d' -e 's/bash/blueshell/'
>     1  root:x:0:0:root:/root:/bin/blueshell
>     2  daemon:x:1:1:daemon:/usr/sbin:/bin/sh

\-e表示多点编辑，第一个编辑命令删除/etc/passwd第三行到末尾的数据，第二条命令搜索bash替换为blueshell。

### 直接修改文件内容(危险动作) ###

sed 可以直接修改文件的内容，不必使用管道命令或数据流重导向！ 不过，由於这个动作会直接修改到原始的文件，所以请你千万不要随便拿系统配置来测试！ 我们还是使用下载的 regular\_express.txt 文件来测试看看吧！

利用 sed 将 regular\_express.txt 内每一行结尾若为 . 则换成 !

>     [root@www ~]# sed -i 's/\.$/\!/g' regular_express.txt

利用 sed 直接在 regular\_express.txt 最后一行加入『\# This is a test』

>     [root@www ~]# sed -i '$a # This is a test' regular_express.txt

由於 $ 代表的是最后一行，而 a 的动作是新增，因此该文件最后新增『\# This is a test』！

sed 的『 -i 』选项可以直接修改文件内容，这功能非常有帮助！举例来说，如果你有一个 100 万行的文件，你要在第 100 行加某些文字，此时使用 vim 可能会疯掉！因为文件太大了！那怎办？就利用 sed 啊！透过 sed 直接修改/取代的功能，你甚至不需要使用 vim 去修订！

# 5、awk #

AWK是一种处理文本文件的语言，是一个强大的文本分析工具。

相对于grep的查找，sed的编辑，awk在其对数据分析并生成报告时，显得尤为强大。

简单来说awk就是把文件逐行的读入，（空格，制表符）为默认分隔符将每行切片，切开的部分再进行各种分析处理。

之所以叫AWK是因为其取了三位创始人 Alfred Aho，Peter Weinberger, 和 Brian Kernighan 的Family Name的首字符。

### 语法 ###

>     awk [选项参数] 'script' var=value file(s)
>     或
>     awk [选项参数] -f scriptfile var=value file(s)

**选项参数说明：**

*  \-F fs or –field-separator fs  
    指定输入文件折分隔符，fs是一个字符串或者是一个正则表达式，如-F:。
 *  \-v var=value or –asign var=value  
    赋值一个用户定义变量。
 *  \-f scripfile or –file scriptfile  
    从脚本文件中读取awk命令。
 *  \-mf nnn and -mr nnn  
    对nnn值设置内在限制，-mf选项限制分配给nnn的最大块数目；-mr选项限制记录的最大数目。这两个功能是Bell实验室版awk的扩展功能，在标准awk中不适用。
 *  \-W compact or –compat, -W traditional or –traditional  
    在兼容模式下运行awk。所以gawk的行为和标准的awk完全一样，所有的awk扩展都被忽略。
 *  \-W copyleft or –copyleft, -W copyright or –copyright  
    打印简短的版权信息。
 *  \-W help or –help, -W usage or –usage  
    打印全部awk选项和每个选项的简短说明。
 *  \-W lint or –lint  
    打印不能向传统unix平台移植的结构的警告。
 *  \-W lint-old or –lint-old  
    打印关于不能向传统unix平台移植的结构的警告。
 *  \-W posix  
    打开兼容模式。但有以下限制，不识别：/x、函数关键字、func、换码序列以及当fs是一个空格时，将新行作为一个域分隔符；操作符\*\*和\*\*=不能代替^和^=；fflush无效。
 *  \-W re-interval or –re-inerval  
    允许间隔正则表达式的使用，参考(grep中的Posix字符类)，如括号表达式\[\[:alpha:\]\]。
 *  \-W source program-text or –source program-text  
    使用program-text作为源代码，可与-f命令混用。
 *  \-W version or –version  
    打印bug报告信息的版本。

--------------------

## 基本用法 ##

log.txt文本内容如下：

>     2 this is a test
>     3 Are you like awk
>     This's a test
>     10 There are orange,apple,mongo

用法一：

>     awk '{[pattern] action}' {filenames}   # 行匹配语句 awk '' 只能用单引号

实例：

>     # 每行按空格或TAB分割，输出文本中的1、4项
>      $ awk '{print $1,$4}' log.txt
>      ---------------------------------------------
>      2 a
>      3 like
>      This's
>      10 orange,apple,mongo
>      # 格式化输出
>      $ awk '{printf "%-8s %-10s\n",$1,$4}' log.txt
>      ---------------------------------------------
>      2        a
>      3        like
>      This's
>      10       orange,apple,mongo

用法二：

>     awk -F  #-F相当于内置变量FS, 指定分割字符

实例：

>     # 使用","分割
>      $  awk -F, '{print $1,$2}'   log.txt
>      ---------------------------------------------
>      2 this is a test
>      3 Are you like awk
>      This's a test
>      10 There are orange apple
>      # 或者使用内建变量
>      $ awk 'BEGIN{FS=","} {print $1,$2}'     log.txt
>      ---------------------------------------------
>      2 this is a test
>      3 Are you like awk
>      This's a test
>      10 There are orange apple
>      # 使用多个分隔符.先使用空格分割，然后对分割结果再使用","分割
>      $ awk -F '[ ,]'  '{print $1,$2,$5}'   log.txt
>      ---------------------------------------------
>      2 this test
>      3 Are awk
>      This's a
>      10 There apple

用法三：

>     awk -v  # 设置变量

实例：

>     $ awk -va=1 '{print $1,$1+a}' log.txt
>      ---------------------------------------------
>      2 3
>      3 4
>      This's 1
>      10 11
>      $ awk -va=1 -vb=s '{print $1,$1+a,$1b}' log.txt
>      ---------------------------------------------
>      2 3 2s
>      3 4 3s
>      This's 1 This'ss
>      10 11 10s

用法四：

>     awk -f {awk脚本} {文件名}

实例：

>     $ awk -f cal.awk log.txt

--------------------

## 运算符 ##

<table> 
 <thead> 
  <tr> 
   <th>运算符</th> 
   <th>描述</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>= += -= *= /= %= ^= **=</td> 
   <td>赋值</td> 
  </tr> 
  <tr> 
   <td>?:</td> 
   <td>C条件表达式</td> 
  </tr> 
  <tr> 
   <td>||</td> 
   <td>逻辑或</td> 
  </tr> 
  <tr> 
   <td>&amp;&amp;</td> 
   <td>逻辑与</td> 
  </tr> 
  <tr> 
   <td>~ ~!</td> 
   <td>匹配正则表达式和不匹配正则表达式</td> 
  </tr> 
  <tr> 
   <td>&lt; &lt;= &gt; &gt;= != ==</td> 
   <td>关系运算符</td> 
  </tr> 
  <tr> 
   <td>空格</td> 
   <td>连接</td> 
  </tr> 
  <tr> 
   <td>+ –</td> 
   <td>加，减</td> 
  </tr> 
  <tr> 
   <td>* / %</td> 
   <td>乘，除与求余</td> 
  </tr> 
  <tr> 
   <td>+ – !</td> 
   <td>一元加，减和逻辑非</td> 
  </tr> 
  <tr> 
   <td>^ ***</td> 
   <td>求幂</td> 
  </tr> 
  <tr> 
   <td>++ —</td> 
   <td>增加或减少，作为前缀或后缀</td> 
  </tr> 
  <tr> 
   <td>$</td> 
   <td>字段引用</td> 
  </tr> 
  <tr> 
   <td>in</td> 
   <td>数组成员</td> 
  </tr> 
 </tbody> 
</table>

过滤第一列大于2的行

>     $ awk '$1>2' log.txt    #命令
>     #输出
>     3 Are you like awk
>     This's a test
>     10 There are orange,apple,mongo

过滤第一列等于2的行

>     $ awk '$1==2 {print $1,$3}' log.txt    #命令
>     #输出
>     2 is

过滤第一列大于2并且第二列等于’Are’的行

>     $ awk '$1>2 && $2=="Are" {print $1,$2,$3}' log.txt    #命令
>     #输出
>     3 Are you

--------------------

## 内建变量 ##

<table> 
 <thead> 
  <tr> 
   <th>变量</th> 
   <th>描述</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>\$n</td> 
   <td>当前记录的第n个字段，字段间由FS分隔</td> 
  </tr> 
  <tr> 
   <td>\$0</td> 
   <td>完整的输入记录</td> 
  </tr> 
  <tr> 
   <td>ARGC</td> 
   <td>命令行参数的数目</td> 
  </tr> 
  <tr> 
   <td>ARGIND</td> 
   <td>命令行中当前文件的位置(从0开始算)</td> 
  </tr> 
  <tr> 
   <td>ARGV</td> 
   <td>包含命令行参数的数组</td> 
  </tr> 
  <tr> 
   <td>CONVFMT</td> 
   <td>数字转换格式(默认值为%.6g)ENVIRON环境变量关联数组</td> 
  </tr> 
  <tr> 
   <td>ERRNO</td> 
   <td>最后一个系统错误的描述</td> 
  </tr> 
  <tr> 
   <td>FIELDWIDTHS</td> 
   <td>字段宽度列表(用空格键分隔)</td> 
  </tr> 
  <tr> 
   <td>FILENAME</td> 
   <td>当前文件名</td> 
  </tr> 
  <tr> 
   <td>FNR</td> 
   <td>各文件分别计数的行号</td> 
  </tr> 
  <tr> 
   <td>FS</td> 
   <td>字段分隔符(默认是任何空格)</td> 
  </tr> 
  <tr> 
   <td>IGNORECASE</td> 
   <td>如果为真，则进行忽略大小写的匹配</td> 
  </tr> 
  <tr> 
   <td>NF</td> 
   <td>输入字段分割符</td> 
  </tr> 
  <tr> 
   <td>NR</td> 
   <td>已经读出的记录数，就是行号，从1开始</td> 
  </tr> 
  <tr> 
   <td>OFMT</td> 
   <td>数字的输出格式(默认值是%.6g)</td> 
  </tr> 
  <tr> 
   <td>OFS</td> 
   <td>输出记录分隔符（输出换行符），输出时用指定的符号代替换行符</td> 
  </tr> 
  <tr> 
   <td>ORS</td> 
   <td>输出记录分隔符(默认值是一个换行符)</td> 
  </tr> 
  <tr> 
   <td>RLENGTH</td> 
   <td>由match函数所匹配的字符串的长度</td> 
  </tr> 
  <tr> 
   <td>RS</td> 
   <td>记录分隔符(默认是一个换行符)</td> 
  </tr> 
  <tr> 
   <td>RSTART</td> 
   <td>由match函数所匹配的字符串的第一个位置</td> 
  </tr> 
  <tr> 
   <td>SUBSEP</td> 
   <td>数组下标分隔符(默认值是/034)</td> 
  </tr> 
 </tbody> 
</table>

>     $ awk 'BEGIN{printf "%4s %4s %4s %4s %4s %4s %4s %4s %4s\n","FILENAME","ARGC","FNR","FS","NF","NR","OFS","ORS","RS";printf "---------------------------------------------\n"} {printf "%4s %4s %4s %4s %4s %4s %4s %4s %4s\n",FILENAME,ARGC,FNR,FS,NF,NR,OFS,ORS,RS}'  log.txt
>     FILENAME ARGC  FNR   FS   NF   NR  OFS  ORS   RS
>     ---------------------------------------------
>     log.txt    2    1         5    1
>     log.txt    2    2         5    2
>     log.txt    2    3         3    3
>     log.txt    2    4         4    4
>     $ awk -F\' 'BEGIN{printf "%4s %4s %4s %4s %4s %4s %4s %4s %4s\n","FILENAME","ARGC","FNR","FS","NF","NR","OFS","ORS","RS";printf "---------------------------------------------\n"} {printf "%4s %4s %4s %4s %4s %4s %4s %4s %4s\n",FILENAME,ARGC,FNR,FS,NF,NR,OFS,ORS,RS}'  log.txt
>     FILENAME ARGC  FNR   FS   NF   NR  OFS  ORS   RS
>     ---------------------------------------------
>     log.txt    2    1    '    1    1
>     log.txt    2    2    '    1    2
>     log.txt    2    3    '    2    3
>     log.txt    2    4    '    1    4
>     # 输出顺序号 NR, 匹配文本行号
>     $ awk '{print NR,FNR,$1,$2,$3}' log.txt
>     ---------------------------------------------
>     1 1 2 this is
>     2 2 3 Are you
>     3 3 This's a test
>     4 4 10 There are
>     # 指定输出分割符
>     $  awk '{print $1,$2,$5}' OFS=" $ "  log.txt
>     ---------------------------------------------
>     2 $ this $ test
>     3 $ Are $ awk
>     This's $ a $
>     10 $ There $

--------------------

## 使用正则，字符串匹配 ##

>     # 输出第二列包含 "th"，并打印第二列与第四列
>     $ awk '$2 ~ /th/ {print $2,$4}' log.txt
>     ---------------------------------------------
>     this a

**~ 表示模式开始。// 中是模式。**

>     # 输出包含"re" 的行
>     $ awk '/re/ ' log.txt
>     ---------------------------------------------
>     3 Are you like awk
>     10 There are orange,apple,mongo

--------------------

## 忽略大小写 ##

>     $ awk 'BEGIN{IGNORECASE=1} /this/' log.txt
>     ---------------------------------------------
>     2 this is a test
>     This's a test

--------------------

## 模式取反 ##

>     $ awk '$2 !~ /th/ {print $2,$4}' log.txt
>     ---------------------------------------------
>     Are like
>     a
>     There orange,apple,mongo
>     $ awk '!/th/ {print $2,$4}' log.txt
>     ---------------------------------------------
>     Are like
>     a
>     There orange,apple,mongo

--------------------

## awk脚本 ##

关于awk脚本，我们需要注意两个关键词BEGIN和END。

*  BEGIN\{ 这里面放的是执行前的语句 \}
 *  END \{这里面放的是处理完所有的行后要执行的语句 \}
 *  \{这里面放的是处理每一行时要执行的语句\}

假设有这么一个文件（学生成绩表）：

>     $ cat score.txt
>     Marry   2143 78 84 77
>     Jack    2321 66 78 45
>     Tom     2122 48 77 71
>     Mike    2537 87 97 95
>     Bob     2415 40 57 62

我们的awk脚本如下：

>     $ cat cal.awk
>     #!/bin/awk -f
>     #运行前
>     BEGIN {
>         math = 0
>         english = 0
>         computer = 0
>      
>         printf "NAME    NO.   MATH  ENGLISH  COMPUTER   TOTAL\n"
>         printf "---------------------------------------------\n"
>     }
>     #运行中
>     {
>         math+=$3
>         english+=$4
>         computer+=$5
>         printf "%-6s %-6s %4d %8d %8d %8d\n", $1, $2, $3,$4,$5, $3+$4+$5
>     }
>     #运行后
>     END {
>         printf "---------------------------------------------\n"
>         printf "  TOTAL:%10d %8d %8d \n", math, english, computer
>         printf "AVERAGE:%10.2f %8.2f %8.2f\n", math/NR, english/NR, computer/NR
>     }

我们来看一下执行结果：

>     $ awk -f cal.awk score.txt
>     NAME    NO.   MATH  ENGLISH  COMPUTER   TOTAL
>     ---------------------------------------------
>     Marry  2143     78       84       77      239
>     Jack   2321     66       78       45      189
>     Tom    2122     48       77       71      196
>     Mike   2537     87       97       95      279
>     Bob    2415     40       57       62      159
>     ---------------------------------------------
>       TOTAL:       319      393      350
>     AVERAGE:     63.80    78.60    70.00

--------------------

## 另外一些实例 ##

AWK的hello world程序为：

>     BEGIN { print "Hello, world!" }

计算文件大小

>     $ ls -l *.txt | awk '{sum+=$6} END {print sum}'
>     --------------------------------------------------
>     666581

从文件中找出长度大于80的行

>     awk 'lengh>80' log.txt

打印九九乘法表

>     seq 9 | sed 'H;g' | awk -v RS='' '{for(i=1;i<=NF;i++)printf("%dx%d=%d%s", i, NR, i*NR, i==NR?"\n":"\t")}'

统计报表：合计每人1月工资，0：manager，1：worker

文件内容如下：

> \[root@node0001 ~\]\# cat awk\_label.txt   
> Tom  0  2012-12-11  car  3000  
> John  1  2013-01-13  bike  1000  
> Vivi  1 2013-01-18  car  2800  
> Tom  0  2013-01-20  car  2500  
> John  1  2013-01-28  bike  3500

处理结果：

> \[root@node0001 ~\]\# awk   '\{split($3,date,"-");if(date\[2\]=="01")\{name\[  
> $1\]+=$5;if($2=="0")\{role\[$1\]="M"\}else\{role\[$1\]="W"\}\}\} END\{for(i in name)\{print i "\\t" name\[i\]"\\t" role\[i\]\}\}' awk\_label.txt
> 
> Tom    2500    M  
> John    4500    W  
> Vivi    2800    W  
>

更多详细内容可以查看 AWK 官方手册：[http://www.gnu.org/software/gawk/manual/gawk.][http_www.gnu.org_software_gawk_manual_gawk.]

**awk、sed、grep更适合的方向：**

*   grep 更适合单纯的查找或匹配文本
 *   sed 更适合编辑匹配到的文本
 *   awk 更适合格式化文本，对文本进行较复杂格式处理

关于awk内建变量个人见解，简单易懂

解释一下变量：

变量：分为内置变量和自定义变量;输入分隔符FS和输出分隔符OFS都属于内置变量。

内置变量就是awk预定义好的、内置在awk内部的变量，而自定义变量就是用户定义的变量。

*   FS：输入字段分隔符， 默认为空白字符
 *   OFS：输出字段分隔符， 默认为空白字符
 *   RS：输入记录分隔符(输入换行符)， 指定输入时的换行符
 *   ORS：输出记录分隔符（输出换行符），输出时用指定符号代替换行符
 *   NF：当前行的字段的个数(即当前行被分割成了几列)
 *   NR：行号，当前处理的文本行的行号。
 *   FNR：各文件分别计数的行号
 *   ARGC：命令行参数的个数
 *   ARGV：数组，保存的是命令行所给定的各参数

**自定义变量的方法**

*   方法一：-v varname=value ，变量名区分字符大小写。
 *   方法二：在program中直接定义。

[http_www.gnu.org_software_gawk_manual_gawk.]: http://www.gnu.org/software/gawk/manual/gawk.