Linux命令三剑客：grep、sed、awk总结

﹏ヽ暗。殇╰゛Y 2023-08-17 16:24 119阅读 0赞

### 文章目录 ###

*  前言
 *  一、grep
 *   *  命令语法
     *  实例
     *  grep结合pattern正则
 *  二、sed
 *   *  命令语法
     *  案例
 *  三、awk
 *   *  命令语法
     *  实例

# 前言 #

最近看到了几篇关于linux命令grep、sed、awk的文章，这里总结下，方便后面使用。

# 一、grep #

grep命令（grep的全称：Global search Regular Expression and Print out the line）主要用于文本内容的查找。它支持正则表达式查找。

## 命令语法 ##

grep提供两种方式：

◆ grep [option] [pattern] testfile
    #第一种是从文本中直接使用pattern匹配搜索
    ◆ stdout | grep [option] [pattern]
    #第二种是从标准输出中处理 grep所提供的option(参数选项)

参数解释：  
![在这里插入图片描述][20190928143932789.jpg]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzE2NjMzNDA1_size_16_color_FFFFFF_t_70]

## 实例 ##

做一个最简单的示例，如下先准备一个测试文件，内容如下：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzE2NjMzNDA1_size_16_color_FFFFFF_t_70 1]  
从文本文件中搜索test字符串  
![在这里插入图片描述][20190928144631276.jpg]  
可以看到包含有"test"的行被打印出来，默认grep是区分大小写的。所以"Test","TEST"没有被匹配出来。

如果想要不区分大小写，我们可以加"-i"的参数。如下：  
![在这里插入图片描述][20190928144710121.jpg]当前我们的测试文本内容比较少，我们肉眼可以见到是在第几行。如果文本行数较多的情况下那就不太方便了，这里就可以用到"-n"的参数  
![shell三剑客之grep][shell_grep]  
包含有"test"的并且不区分大小写的行在开头会显示行号，现在的结果中匹配的关键字所在行全部内容都会输出。

如果只想要看到匹配的关键字，怎么办？使用"-o"参数即可  
![在这里插入图片描述][20190928144952309.jpg]

有时候我们需要对整个目录去搜索关键字，如果直接使用grep “test” 目录名，会报错。加参数’-r’就可以避免这个问题  
![在这里插入图片描述][20190928144843383.jpg]  
可以看到shellTest目录下的两支文件test1.txt以及testfile都包含test被打印出来了

“-q”选项表示使用静默模式，在此模式下grep命令不会有任何的打印结果，无论是否有匹配到。一般来说我们可以根据echo $?来查看上一条指令（grep）的执行结果，如果返回结果为0，表示grep有匹配到了，如果返回结果为1，表示grep没有匹配到。  
![在这里插入图片描述][20190928144813643.jpg]  
一般我们可以shell脚本中去用if条件分支进行判断，如果echo $?结果为0，就去执行相应的操作。

## grep结合pattern正则 ##

前面我们介绍了参数的基本用法，grep的强大之处其实是和正则表达式一起才有作用。

注：本篇文章不会具体介绍正则表达式的使用，如果不了解正则表达式的同学推荐去看下之前相关的文章  
我们知道在正则表达式中分为了两类：

**01 基本正则表达式**

◆ . 单个字符
    ◆ * 表示前面的字符连续出现任意次，包括0次
    ◆ ^ 表示锚定行首
    ◆ $ 表示锚定行尾
    ◆ [a-z] [0-9] 区间范围
    ......

**02 扩展正则表达式**

◆ ？表示匹配其前面的字符0或1次
    ◆ + 表示匹配其前面的字符至少1次，或者连续多次，连续次数上不封顶。
    ◆ () 分组
    ◆ {} 连续匹配
    ◆ | 匹配多个表达式的任何一个
    ......

**如查询以"lemon"单词开头**  
![在这里插入图片描述][20190928145427341.jpg]  
**查找文件中空白行的数量**  
![在这里插入图片描述][20190928145401973.jpg]

正则“^$”表示空白行，参数“-c”表达计算行数

**连续字数的正则匹配，如：查找“appium”，p是连续的**  
![在这里插入图片描述][20190928145557728.jpg]  
“\{2\}”表示p连续出现了两次，可以发现结果是匹配不到的。因为\{\}是扩展正则表达式，grep默认是基本正则表达式，如果需要支持扩展正则表达式，我们需要加"-E"选项：  
![在这里插入图片描述][20190928145418382.jpg]

# 二、sed #

sed命令主要用于文本内容的编辑。默认只处理模式空间，不处理原数据，而且**sed是针对一行行数据来进行处理的**。Stream Editor文本流编辑，是一个"非交互式的"面向字符流的编辑器。

**常用功能**  
(1) 、打印功能  
能同时处理多个文件多行内容，可以不对原文件改动把整个文件输入到屏幕。  
(2)、文本替换  
把匹配到模式的内容输入到屏幕上。  
(3)、修改文本  
可以对原文件改动，但是不会在屏幕上返回结果。(谨慎使用！！！)

**总结：**  
Sed就是修改文本、替换文本、打印文本的一个工具。

**执行流程：**

Sed是从文件或管道中读取一行，处理一行，输出一行；再读取一行，再处理一行，再输出一行…当处理一行时，把当前处理的行存储在临时缓冲区中，称为模式空间（pattern space），接着用sed命令处理缓冲区中的内容，处理完成后，把缓冲区的内容送往屏幕。接着处理下一行，这样不断重复，直到文件末尾。如下，简单流程图。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzE2NjMzNDA1_size_16_color_FFFFFF_t_70 2]  
**补充：**  
一次处理一行的设计模式使得sed性能很高，sed在读取大文件时不会出现卡顿的现象。

例如：使用vi命令打开几十M上百M的文件，明显会出现有卡顿的现象，这是因为vi命令打开文件是一次性将文件加载到内存，然后再打开。Sed就避免了这种情况，一行一行的处理，打开速度非常快，执行速度也很快。

## 命令语法 ##

Sed [选项] 编辑命令 文件
    Shell 命令 | sed [选项] 编辑命令

**常用选项**

-n：只显示匹配处理的行
    -e：执行多个编辑命令(一般使用;代替)
    -i：直接在文件中进行修改，不输出到屏幕
    -r：支持扩展正则表达式
    -f：从脚本文件中读取内容并执行文件中的编辑命令。
    补充：这里比较常用的-n -r -e(用;代替)

**常用编辑命令：**

p：打印匹配行
    d：删除匹配行
    a：在定位行号后附加新文本信息
    i：在定位行号后插入新文本信息
    c：用新文本替换定位文本
    r：从另一个文件中读文本，类似输入重定向(<)
    w：写文本到一个文件，类似输出重定向(>)
    s：使用替换模式替换相应模式
    补充：这里比较常用的p d s

## 案例 ##

案例1：  
**n 一般和 p连用**  
//打印文件的3-6行，使用行号

odysee:~$sed -n '3,6p' /etc/passwd

![在这里插入图片描述][20190928151254915.jpg]  
//打印(^odysee)以odysee开头的行，使用正则

sed -n '/^odysee/p' /etc/passwd

![在这里插入图片描述][20190928151206313.jpg]

**案例2：**  
参数d(删除匹配行)，不会改变原文件内容  
//$表示最后一行，!表示取反，d删除匹配行，p打印，;多个命令分割符  
//连起来就是只打印文件最后一行

sed -n '$!d;p' /etc/passwd

![在这里插入图片描述][20190928151242587.jpg]  
查看原文件，并没有改变  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzE2NjMzNDA1_size_16_color_FFFFFF_t_70 3]  
**案例3：**

参数a(在定位行号后附加新文本信息)  
//1a表示在第一行后面追加，也可使用正则

sed '1a abc' demo.txt

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzE2NjMzNDA1_size_16_color_FFFFFF_t_70 4]  
**案例4：**

参数i(在定位行号后插入新文本信息)  
//1i：在第一行前插入，可以使用正则

sed '1i abc' demo.txt

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzE2NjMzNDA1_size_16_color_FFFFFF_t_70 5]

# 三、awk #

awk同sed命令类似，**只不过sed擅长取行，awk命令擅长取列**。（根据了解awk是一种语言，不过我们只关注他处理文本的功能，用的好的话几乎可以取代excel）  
原理：一般是遍历一个文件中的每一行，然后分别对文件的每一行进行处理。  
awk命令主要用于文本内容的分析处理。  
如果对处理的数据需要生成报告之类的信息，或者处理的数据是按列进行处理的，最好使用awk。

## 命令语法 ##

awk [可选的命令行选项] 'BEGIN{命令 } pattern{ 命令 } END{ 命令 }' 文件名

## 实例 ##

打印某几列

$ echo 'I love you' | awk '{print $3 $2 $1}'
    youloveI

我们将字符串 I love you 通过管道传递给awk命令，相当于awk处理一个文件，该文件的内容就是I love you,**默认通过空格作为分隔符**(不管列之间有多少个空格都将当作一个空格处理)I love you就分割成三列了。

假如分割符号为.，可以这样用

$ echo '192.168.1.1' | awk -F "." '{print $2}'
    168

**条件过滤**

我们知道awk的用法是这样的，那么pattern部分怎么用呢？

awk [可选的命令行选项] 'BEGIN{命令 } pattern{ 命令 } END{ 命令 }' 文件名
    $ cat score.txt
    tom 60 60 60
    kitty 90 95 87
    jack 72 84 99
    $ awk '$2>=90{print $0}' score.txt
    kitty 90 95 87

$2>=90 表示如果当前行的第2列的值大于90则处理当前行，否则不处理。说白了pattern部分是用来从文件中筛选出需要处理的行进行处理的，这部分是空的代表全部处理。pattern部分可以是任何条件表达式的判断结果，例如>，<，==，>=，<=，!=同时还可以使用+，-，\*，/运算与条件表达式相结合的复合表达式，逻辑 &&，||，!同样也可以使用进来。另外pattern部分还可以使用 /正则/ 选择需要处理的行。

**判断语句**

判断语句是写在pattern\{ 命令 \}命令中的，他具备条件过滤一样的作用，同时他也可以让输出更丰富

$ awk '{if($2>=90 )print $0}' score.txt
    kitty 90 95 87
    $ awk '{if($2>=90 )print $1,"优秀"; else print $1,"良好"}' score.txt
    tom 良好
    kitty 优秀
    jack 良好

**BEGIN 定义表头**

awk [可选的命令行选项] 'BEGIN{命令 } pattern{ 命令 } END{ 命令 }' 文件名

使用方法如下：

$ awk 'BEGIN{print "姓名 语文 数学 英语"}{printf "%-8s%-5d%-5d%-5d\n",$1,$2,$3,$4}' score.txt
    姓名 语文数学英语
    tom 60 60 60
    kitty 90 95 87
    jack 72 84 99

这里要注意，我为了输出格式好看，做了左对齐的操作(%-8s左对齐，宽8位)，printf用法和c++类似。

不仅可以用来定义表头，还可以做一些变量初始化的工作，例如

$ awk 'BEGIN{OFMT="%.2f";print 1.2567,12E-2}'
    1.26 0.12

这里OFMT是个内置变量，初始化数字输出格式，保留小数点后两位。

**END 添加结尾符**

和BEGIN用法类似

$ echo ok | awk '{print $1}END{print "end"}'
    ok
    end

数据计算

这个地方我要放大招了！上面的知识点你都记住了吗？

$ awk 'BEGIN{print "姓名 语文 数学 英语 总成绩"; \
    sum1=0;sum2=0;sum3=0;sumall=0} \
    {printf "%5s%5d%5d%5d%5d\n",$1,$2,$3,$4,$2+$3+$4;\
    sum1+=$2;sum2+=$3;sum3+=$4;sumall+=$2+$3+$4}\
    END{printf "%5s%5d%5d%5d%5d\n","总成绩",sum1,sum2,sum3,sumall}'\
     score.txt
    姓名 语文 数学 英语 总成绩
     tom 60 60 60 180
    kitty 90 95 87 272
     jack 72 84 99 255
    总成绩 222 239 246 707

因为命令太长，末尾我用\\符号换行了。。

*  BEGIN体里我输出了表头，并给四个变量初始化0
 *  pattern体里我输出了每一行，并累加运算
 *  END体里我输出了总统计结果
 *  当然了，一个正常人在用linux命令的时候是不会输入那么多格式化符号来对齐的，所以新命令又来了
 *  column -t（鬼知道我为什么会记得这么多乱七八糟的命令。）  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzE2NjMzNDA1_size_16_color_FFFFFF_t_70 6]  
    **有用的内置变量**

NF:表示当前行有多少个字段，因此$NF就代表最后一个字段  
NR:表示当前处理的是第几行  
FILENAME：当前文件名  
OFMT：数字输出的格式，默认为％.6g。表示只打印小数点后6 位

$ awk -F ':' '{print NR ") " $1}' demo.txt
    1) root
    2) daemon
    3) bin
    4) sys
    5) sync

**内置函数**

awk定义了很多内置函数，用awk来写shell脚本倒是一个不错的选择，但是大多数我们是用不上的，以下是常用函数

$ echo 1 2 | awk '{print $1+sqrt($2)}'
    2.41421

随机数，先设置种子再随机

rand() 0 <= n < 1,srand(\[expr\]) |将 rand 函数的种子值设置为 Expr 参数的值，或如果省略 Expr 参数则使用某天的时间。

$ echo 1 | awk 'BEGIN{srand()}{print rand()}'
    0.929885

**字符串**  
![Linux三剑客传 | 老大：AWK][Linux_ _ _AWK]

系统常用  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzE2NjMzNDA1_size_16_color_FFFFFF_t_70 7]

不常用算数：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzE2NjMzNDA1_size_16_color_FFFFFF_t_70 8]

参考：  
https://www.toutiao.com/i6741262116495294987/  
https://www.toutiao.com/a6726544069754880523/  
https://www.toutiao.com/a6675158518468706829/  
https://www.toutiao.com/a6705966822589465100/

[20190928143932789.jpg]: /images/20230810/379032b358114a689dd17a7efeb7e507.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzE2NjMzNDA1_size_16_color_FFFFFF_t_70]: /images/20230810/62c1f9a5012048e2914aa223e5c35a11.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzE2NjMzNDA1_size_16_color_FFFFFF_t_70 1]: /images/20230810/c994979ec88a4e3586f868993075f59e.png
[20190928144631276.jpg]: /images/20230810/5b3545ba0f0845dcb3640f74cd8aa7d7.png
[20190928144710121.jpg]: /images/20230810/5b6a34442a6e4cd9b16d8adc61366311.png
[shell_grep]: /images/20230810/17638c9dc6344010b825d04b426c57af.png
[20190928144952309.jpg]: /images/20230810/9e6b1cca97f3427ea95ea4ec50afcdc4.png
[20190928144843383.jpg]: /images/20230810/2ae7511ce69c4c8ab77b0c85c40b0d30.png
[20190928144813643.jpg]: /images/20230810/f856b5e026494254907f35680c230764.png
[20190928145427341.jpg]: /images/20230810/71d0d7a8ac184d35902aaef6f100ff38.png
[20190928145401973.jpg]: /images/20230810/188c57cbb6b54ef9b32357f59e173554.png
[20190928145557728.jpg]: /images/20230810/f81c355f0e14489db2692b4baaa723ad.png
[20190928145418382.jpg]: /images/20230810/b1fadb34e110410687b94024fb108d94.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzE2NjMzNDA1_size_16_color_FFFFFF_t_70 2]: /images/20230810/15a512c36d164309aec8c5afb1473566.png
[20190928151254915.jpg]: /images/20230810/1556886dd7274ec68cb39aa212e6ecd5.png
[20190928151206313.jpg]: /images/20230810/51dcf93186924f6cb21ad1f6bc8533f6.png
[20190928151242587.jpg]: /images/20230810/f8d46a40ecc9423eb8856abe1a63f7d0.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzE2NjMzNDA1_size_16_color_FFFFFF_t_70 3]: /images/20230810/eeedc9474ac644aa82c372d057f4baa9.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzE2NjMzNDA1_size_16_color_FFFFFF_t_70 4]: /images/20230810/6c93e91950ef4899b68c09d42f9f77d7.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzE2NjMzNDA1_size_16_color_FFFFFF_t_70 5]: /images/20230810/4e0f79812d604df9b49ff91b0d5a0dc0.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzE2NjMzNDA1_size_16_color_FFFFFF_t_70 6]: /images/20230810/7ca753618e9d4436909f6af1c23bf2ce.png
[Linux_ _ _AWK]: /images/20230810/8b9445e6518d4860b3d5a0c14197e8a2.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzE2NjMzNDA1_size_16_color_FFFFFF_t_70 7]: /images/20230810/e704a899fd5148f79fe089fe5a5ed2bb.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzE2NjMzNDA1_size_16_color_FFFFFF_t_70 8]: /images/20230810/2a0375445286436a875b59573ba052b7.png