shell脚本之sed工具使用

àì夳堔傛蜴生んèń 2023-06-19 11:26 6阅读 0赞

### 文章目录 ###

*   *  一、前言
     *  二、sed的工作流程
     *  三、sed命令常见用法
     *   *  3.1、sed命令选项
         *  3.2、操作命令
         *  3.3、sed 常用示例
         *   *  3.3.1、p - 输出符合条件的文本
             *  3.3.2、d - 删除符合条件的文本
             *  3.3.3、s - 替换符合条件的文本
             *  3.3.4、迁移符合条件的文本
             *  3.3.5、f - 使用脚本编辑文件

## 一、前言 ##

*  Sed是文本处理工具，依赖于正则表达式，可以读取文本内容，根据指定条件对数据进行添加、删除、替换等操作，广泛应用于shell脚本，以完成自动化处理任务。
 *  Sed在处理数据时默认不直接修改源文件，而是把当前处理的行存储在临时缓冲区中，所有指令都在缓冲区中操作，处理完成后，把缓冲区内容默认输出到屏幕，接着处理下一行内容，这样不断重复，直到文件末尾，文件本身内容并没有做任何改变。

## 二、sed的工作流程 ##

*  读取
    
     *  sed 从输入流（文件、管道、标准输入）中读取一行内容并存储到临时的缓冲区中（又称模式空间，pattern space）。
 *  执行
    
     *  默认情况下，所有的 sed 命令都在模式空间中顺序地执行，除非指定了行的地址，否则 sed 命令将会在所有的行上依次执行
 *  显示
    
     *  发送修改后的内容到输出流。再发送数据后，模式空间将会被清空。

## 三、sed命令常见用法 ##

*  通常情况下调用 sed 命令有两种格式

sed[选项] '操作' 参数
    sed [选项] -f 脚本文件 参数

### 3.1、sed命令选项 ###

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI4MzYxNTQx_size_16_color_FFFFFF_t_70]

### 3.2、操作命令 ###

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI4MzYxNTQx_size_16_color_FFFFFF_t_70 1]

### 3.3、sed 常用示例 ###

#### 3.3.1、p - 输出符合条件的文本 ####

*  p 表示正常输出

[root@localhost ~]# sed -n 'p' test.txt '输出所有内容,等同于 cat test.txt'
        ...省略内容
    [root@localhost ~]# sed -n '3p' test.txt '输出第 3 行'
         ...省略内容
    [root@localhost ~]# sed -n '3,5p' test.txt '输出第 3~5 行'
          ...省略内容
    [root@localhost ~]# sed -n 'p;n' test.txt '输出所有奇数行,n 表示读入下一行资料'
         ...省略内容
    [root@localhost ~]# sed -n 'n;p' test.txt '输出所有偶数行,n 表示读入下一行资料'
         ...省略内容
    [root@localhost ~]# sed -n '1,5{p;n}' test.txt '输出第 1~5 行之间的奇数行(第 1、3、5 行)'
         ...省略内容
    [root@localhost ~]# sed -n '10,${n;p}' test.txt '输出第 10 行至文件尾之间的偶数行'
         ...省略内容

**sed 命令与正则表达式结合使用**

*  sed 命令与正则表达式结合使用时格式略有不同，正则表达式以 “ / ” 包围

[root@localhost ~]# sed -n '/the/p' test.txt '输出包含the 的行'
        ...省略部分内容
    [root@localhost ~]# sed -n '4，/the/p' test.txt '输出从第 4 行至第一个包含 the 的行'
        ...省略部分内容
    [root@localhost ~]# sed -n '/the/=' test.txt '输出包含the 的行所在的行号,等号(=)用来输出行号'
        ...省略部分内容
    [root@localhost ~]# sed -n '/^PI/p' test.txt '输出以PI 开头的行'
        ...省略部分内容
    [root@localhost ~]# sed -n '/[0-9]$/p' test.txt '输出以数字结尾的行'
        ...省略部分内容
    [root@localhost ~]# sed -n '/\<wood\>/p' test.txt '输出包含单词wood 的行,\<、\>代表单词边界'
        ...省略部分内容

#### 3.3.2、d - 删除符合条件的文本 ####

下面命令中 nl 命令用于计算文件的行数，结合该命令可以更加直观地查看到命令执行的结果

[root@localhost ~]# nl test.txt | sed '3d' '删除第 3 行'
        ...省略内容
    [root@localhost ~]# nl test.txt | sed '3,5d' '删除第 3~5 行'
        ...省略内容
    [root@localhost ~]# nl test.txt | sed '/cross/d' '删除包含cross 的行'
        ...省略内容
    [root@localhost ~]# nl test.txt | sed '/cross/! d' '删除不包含cross 的行'
        ...省略内容
    [root@localhost ~]# sed '/^[a-z]/d' test.txt '删除以小写字母开头的行'
        ...省略内容
    [root@localhost ~]# sed '/\.$/d' test.txt '删除以"."结尾的行'
        ...省略内容
    [root@localhost ~]# sed '/^$/d' test.txt '删除所有空行'
        ...省略内容
    [root@localhost ~]# sed -e '/^$/{n;/^$/d}' test.txt '删除重复的空行，即连续的空行只保留一个,效果与“cat -s test.txt”相同，n 表示读下一行数据'
        ...省略内容

#### 3.3.3、s - 替换符合条件的文本 ####

*  使用 sed 命令进行替换操作时需要用到 s（字符串替换）、c（整行/整块替换）、y（字符转换）命令选项

[root@localhost ~]# sed 's/the/THE/' test.txt '将每行中的第一个the 替换为 THE '
    [root@localhost ~]# sed 's/l/L/2' test.txt '将每行中的第 2 个l 替换为L '
    [root@localhost ~]# sed 's/the/THE/g' test.txt '将文件中的所有the 替换为THE'
    [root@localhost ~]# sed 's/o//g' test.txt '将文件中的所有o 删除(替换为空串)'
    [root@localhost ~]# sed 's/^/#/' test.txt '在每行行首插入#号'
    [root@localhost ~]# sed '/the/s/^/#/' test.txt '在包含the 的每行行首插入#号'
    [root@localhost ~]# sed 's/$/EOF/' test.txt '在每行行尾插入字符串EOF'
    [root@localhost ~]# sed '3,5s/the/THE/g' test.txt '将第 3~5 行中的所有the 替换为 THE'
    [root@localhost ~]# sed '/the/s/o/O/g' test.txt '将包含the 的所有行中的o 都替换为 O'

#### 3.3.4、迁移符合条件的文本 ####

*  H，复制到剪贴板
 *  g、G，将剪贴板中的数据覆盖/追加至指定行
 *  w，保存为文件
 *  r，读取指定文件
 *  a，追加指定内容

[root@localhost ~]# sed '/the/{H;d};$G' test.txt '将包含the 的行迁移至文件末尾,{;}用于多个操作'
    [root@localhost ~]# sed '1,5{H;d};17G' test.txt '将第 1~5 行内容转移至第 17 行后'
    [root@localhost ~]# sed '/the/w out.file' test.txt '将包含the 的行另存为文件out.file '
    [root@localhost ~]# sed '/the/r /etc/hostname' test.txt '将文件/etc/hostname 的内容添加到包含the 的每行以后'
    [root@localhost ~]# sed '3aNew' test.txt '在第 3 行后插入一个新行,内容为 New '
    [root@localhost ~]# sed '/the/aNew' test.txt '在包含the 的每行后插入一个新行,内容为 New' 
    [root@localhost ~]# sed '3aNew1\nNew2' test.txt '在第 3 行后插入多行内容,中间的\n 表示换行'

#### 3.3.5、f - 使用脚本编辑文件 ####

[root@localhost ~]# sed '1,5{H;d};17G' test.txt '将第 1~5 行内容转移至第 17 行后'
    '以上操作可以改用脚本文件方式：'
    [root@localhost ~]# vim abc.list '编辑指令放到/abc.list中'
    1,5H
    1,5d
    17G
    [root@localhost ~]# sed -f abc.list test.txt '使用abc.list文件指令编辑test.txt文件'

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI4MzYxNTQx_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/20191206150259751.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI4MzYxNTQx,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI4MzYxNTQx_size_16_color_FFFFFF_t_70 1]: https://img-blog.csdnimg.cn/20191206150324135.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI4MzYxNTQx,size_16,color_FFFFFF,t_70