grep、sed和awk命令的简单使用

阳光穿透心脏的1/2处 2022-08-07 11:39 159阅读 0赞

grep 命令

<table style="color:rgb(0,0,0); font-family:Arial; font-size:14px; line-height:26px; text-align:center"> 
 <tbody> 
 <tr> 
 <td>选项</td> 
 <td>意义</td> 
 </tr> 
 <tr> 
 <td>-c</td> 
 <td>匹配行的数量</td> 
 </tr> 
 <tr> 
 <td>-i</td> 
 <td>忽略大小写</td> 
 </tr> 
 <tr> 
 <td>-h</td> 
 <td>查询多文件时不显示文件名</td> 
 </tr> 
 <tr> 
 <td>-l</td> 
 <td>只列出匹配的文件名，不列匹配行</td> 
 </tr> 
 <tr> 
 <td>-n</td> 
 <td>列出匹配行，并列出行号</td> 
 </tr> 
 <tr> 
 <td>-s</td> 
 <td>不显示不存在或无匹配的错误信息</td> 
 </tr> 
 <tr> 
 <td>-v</td> 
 <td>显示不包含匹配文本的所有行</td> 
 </tr> 
 <tr> 
 <td>-w</td> 
 <td>匹配整词</td> 
 </tr> 
 <tr> 
 <td>-r</td> 
 <td>递归搜索，搜子目录</td> 
 </tr> 
 <tr> 
 <td>-E</td> 
 <td>支持扩展的正则表达式</td> 
 </tr> 
 <tr> 
 <td>-F</td> 
 <td>不支持正则表达式</td> 
 </tr> 
 </tbody> 
</table>

grep -nE "^\\w+@\\w+\\.\\w+$" a.txt

<table style="color:rgb(0,0,0); font-family:Arial; font-size:14px; line-height:26px"> 
 sed命令选项 
 <tbody> 
 <tr> 
 <th>选项</th> 
 <th>意义</th> 
 </tr> 
 </tbody> 
 <tbody> 
 <tr> 
 <td>-n</td> 
 <td>不打印所有行到标准输出</td> 
 </tr> 
 <tr> 
 <td>-e</td> 
 <td>将下一个字符串解析为sed编辑命令，如果只传递一个 -e可以省略</td> 
 </tr> 
 <tr> 
 <td>-f</td> 
 <td>正在调用sed脚本文件</td> 
 </tr> 
 </tbody> 
</table>

<table style="color:rgb(0,0,0); font-family:Arial; font-size:14px; line-height:26px"> 
 sed文本定位方式 
 <tbody> 
 <tr> 
 <th>选项</th> 
 <th>意义</th> 
 </tr> 
 </tbody> 
 <tbody> 
 <tr> 
 <td>x</td> 
 <td>x为指定行号</td> 
 </tr> 
 <tr> 
 <td>x，y</td> 
 <td>指定从x到y的行号范围</td> 
 </tr> 
 <tr> 
 <td>/pattern/</td> 
 <td>查询包含模式的行</td> 
 </tr> 
 <tr> 
 <td>/pattern/pattern/</td> 
 <td>查询包含两个模式的行</td> 
 </tr> 
 <tr> 
 <td>/pattern/，x</td> 
 <td>从与pattern的匹配行之间的行</td> 
 </tr> 
 <tr> 
 <td>x，/pattern/</td> 
 <td>从x号行到与pattern的匹配行之间的行</td> 
 </tr> 
 <tr> 
 <td>x，y！</td> 
 <td>不包含x和y行号的行</td> 
 </tr> 
 </tbody> 
</table>

<table style="color:rgb(0,0,0); font-family:Arial; font-size:14px; line-height:26px"> 
 sed编辑命令 
 <tbody> 
 <tr> 
 <th>选项</th> 
 <th>意义</th> 
 </tr> 
 </tbody> 
 <tbody> 
 <tr> 
 <td>p</td> 
 <td>打印匹配行</td> 
 </tr> 
 <tr> 
 <td>=</td> 
 <td>打印文件行号</td> 
 </tr> 
 <tr> 
 <td>a\</td> 
 <td>在定位行号之后追加文本信息</td> 
 </tr> 
 <tr> 
 <td>i\</td> 
 <td>在定位行号之前追加文本信息</td> 
 </tr> 
 <tr> 
 <td>d</td> 
 <td>删除定位行</td> 
 </tr> 
 <tr> 
 <td>c\</td> 
 <td>用新文本替换定位文本</td> 
 </tr> 
 <tr> 
 <td>s</td> 
 <td>使用替换模式替换应用模式</td> 
 </tr> 
 <tr> 
 <td>r</td> 
 <td>从另一个文件中读文本</td> 
 </tr> 
 <tr> 
 <td>w</td> 
 <td>将文本写入到一个文件</td> 
 </tr> 
 <tr> 
 <td>y</td> 
 <td>变换字符</td> 
 </tr> 
 <tr> 
 <td>q</td> 
 <td>第一个模式匹配完成后退出</td> 
 </tr> 
 <tr> 
 <td>l</td> 
 <td>显示与八进制ASCII代码等价的控制字符</td> 
 </tr> 
 <tr> 
 <td>{}</td> 
 <td>在定位行执行的命令组</td> 
 </tr> 
 <tr> 
 <td>n</td> 
 <td>读取下一个输入行，用下一个命令处理新的行</td> 
 </tr> 
 <tr> 
 <td>h</td> 
 <td>将模式缓冲区文本拷贝到保持缓冲区</td> 
 </tr> 
 <tr> 
 <td>H</td> 
 <td>将模式缓冲区文本追加到保持缓冲区</td> 
 </tr> 
 <tr> 
 <td>x</td> 
 <td>互换模式缓冲区和保持缓冲区内容</td> 
 </tr> 
 <tr> 
 <td>g</td> 
 <td>将保持缓冲区内容拷贝到模式缓冲区</td> 
 </tr> 
 <tr> 
 <td>G</td> 
 <td>将保持缓冲区内容追加到模式缓冲区</td> 
 </tr> 
 </tbody> 
</table>

sed -n '/hello/=' a.txt   打印行号

sed -n '/hello/p' a.txt   打印内容

sed -n '$p' a.txt  打印最后一行

sed -n '/zbq/,$p' a.txt  从匹配的zbq行到最后一行

**\[plain\]**  [view plain][] [copy][view plain] [![在CODE上查看代码片][CODE]][CODE_CODE] [![派生到我的代码片][ico_fork.svg]][ico_fork.svg 1]

1.  \#!/bin/sed -f  
2.  /zbq:/i\\    
3.  we insert a new line.

在匹配行上面插入 we insert a new line

**\[plain\]**  [view plain][] [copy][view plain] [![在CODE上查看代码片][CODE]][CODE_CODE] [![派生到我的代码片][ico_fork.svg]][ico_fork.svg 1]

1.  sed -n 's/hello/world/w b.txt' a.txt

把 匹配hello行替换world行 并输出到 b.txt中

**\[plain\]**  [view plain][] [copy][view plain] [![在CODE上查看代码片][CODE]][CODE_CODE] [![派生到我的代码片][ico_fork.svg]][ico_fork.svg 1]

1.  sed '/hello/r b.txt' a.txt

把匹配的hello用文本b.txt替换

**\[plain\]**  [view plain][] [copy][view plain] [![在CODE上查看代码片][CODE]][CODE_CODE] [![派生到我的代码片][ico_fork.svg]][ico_fork.svg 1]

1.  ifconfig | grep 'inet addr' | sed 's/^.\*inet addr://g' | sed 's/Mask.\*$//g' | sed 's/Bcast.\*//g'

只显示ip

awk命令

<table style="color:rgb(0,0,0); font-size:14px; line-height:26px; font-family:'Times New Roman'"> 
 <thead> 
 <tr> 
 <th>变量</th> 
 <th>描述</th> 
 </tr> 
 </thead> 
 <tbody> 
 <tr> 
 <td>$n</td> 
 <td>当前记录的第n个字段，字段间由FS分隔。</td> 
 </tr> 
 <tr> 
 <td>$0</td> 
 <td>完整的输入记录。</td> 
 </tr> 
 <tr> 
 <td>ARGC</td> 
 <td>命令行参数的数目。</td> 
 </tr> 
 <tr> 
 <td>ARGIND</td> 
 <td>命令行中当前文件的位置(从0开始算)。</td> 
 </tr> 
 <tr> 
 <td>ARGV</td> 
 <td>包含命令行参数的数组。</td> 
 </tr> 
 <tr> 
 <td>CONVFMT</td> 
 <td>数字转换格式(默认值为%.6g)</td> 
 </tr> 
 <tr> 
 <td>ENVIRON</td> 
 <td>环境变量关联数组。</td> 
 </tr> 
 <tr> 
 <td>ERRNO</td> 
 <td>最后一个系统错误的描述。</td> 
 </tr> 
 <tr> 
 <td>FIELDWIDTHS</td> 
 <td>字段宽度列表(用空格键分隔)。</td> 
 </tr> 
 <tr> 
 <td>FILENAME</td> 
 <td>当前文件名。</td> 
 </tr> 
 <tr> 
 <td>FNR</td> 
 <td>同NR，但相对于当前文件。</td> 
 </tr> 
 <tr> 
 <td>FS</td> 
 <td>字段分隔符(默认是任何空格)。</td> 
 </tr> 
 <tr> 
 <td>IGNORECASE</td> 
 <td>如果为真，则进行忽略大小写的匹配。</td> 
 </tr> 
 <tr> 
 <td>NF</td> 
 <td>当前记录中的字段数。</td> 
 </tr> 
 <tr> 
 <td>NR</td> 
 <td>当前记录数。</td> 
 </tr> 
 <tr> 
 <td>OFMT</td> 
 <td>数字的输出格式(默认值是%.6g)。</td> 
 </tr> 
 <tr> 
 <td>OFS</td> 
 <td>输出字段分隔符(默认值是一个空格)。</td> 
 </tr> 
 <tr> 
 <td>ORS</td> 
 <td>输出记录分隔符(默认值是一个换行符)。</td> 
 </tr> 
 <tr> 
 <td>RLENGTH</td> 
 <td>由match函数所匹配的字符串的长度。</td> 
 </tr> 
 <tr> 
 <td>RS</td> 
 <td>记录分隔符(默认是一个换行符)。</td> 
 </tr> 
 <tr> 
 <td>RSTART</td> 
 <td>由match函数所匹配的字符串的第一个位置。</td> 
 </tr> 
 <tr> 
 <td>SUBSEP</td> 
 <td>数组下标分隔符(默认值是\034)。</td> 
 </tr> 
 </tbody> 
</table>

awk \[-F 域分割符\] 'awk程序段' 输入文件

awk -f awk脚本文件 输入文件

./awk脚本文件  输入文件

**\[plain\]**  [view plain][] [copy][view plain] [![在CODE上查看代码片][CODE]][CODE_CODE] [![派生到我的代码片][ico_fork.svg]][ico_fork.svg 1]

1.  awk '\{print $1,$2\}' c.txt

打印第一和第二域  $0是全域

**\[plain\]**  [view plain][] [copy][view plain] [![在CODE上查看代码片][CODE]][CODE_CODE] [![派生到我的代码片][ico_fork.svg]][ico_fork.svg 1]

1.  awk -F"\\t" '\{print $1\}' c.txt

打印以tab键分割的域

**\[plain\]**  [view plain][] [copy][view plain] [![在CODE上查看代码片][CODE]][CODE_CODE] [![派生到我的代码片][ico_fork.svg]][ico_fork.svg 1]

1.  awk 'BEGIN \{FS=","\} \{print $1\}\\' c.txt

打印以，域

**\[plain\]**  [view plain][] [copy][view plain] [![在CODE上查看代码片][CODE]][CODE_CODE] [![派生到我的代码片][ico_fork.svg]][ico_fork.svg 1]

1.  awk 'BEGIN \{FS=":"\} $1~/bin/' /etc/passwd

打印以【：】为域 第一域匹配bin字符

**\[plain\]**  [view plain][] [copy][view plain] [![在CODE上查看代码片][CODE]][CODE_CODE] [![派生到我的代码片][ico_fork.svg]][ico_fork.svg 1]

1.  awk 'BEGIN \{FS=":"\} \{if ($3~10||$4~7) print $0\}' /etc/passwd

打印以【：】为域 第三域匹配字符串10 第四域匹配字符串7

**\[plain\]**  [view plain][] [copy][view plain] [![在CODE上查看代码片][CODE]][CODE_CODE] [![派生到我的代码片][ico_fork.svg]][ico_fork.svg 1]

1.  awk '/^$/\{print x+=1\}' c.txt

打印空白行 行数

**\[plain\]**  [view plain][] [copy][view plain] [![在CODE上查看代码片][CODE]][CODE_CODE] [![派生到我的代码片][ico_fork.svg]][ico_fork.svg 1]

1.  \#!/usr/bin/awk -f  
2.  BEGIN \{FS=","\}  
3.  \{  
4.          total=$2+$3+$4  
5.          avg=total/3  
6.          print $1,avg  
7.  \}

把第2，3，4域相加取平均值

**\[plain\]**  [view plain][] [copy][view plain] [![在CODE上查看代码片][CODE]][CODE_CODE] [![派生到我的代码片][ico_fork.svg]][ico_fork.svg 1]

1.  awk 'BEGIN \{FS=","\} \{print NF,NR,$0\} END \{print FILENAME\}' c.txt

以，为分割符 打印，行号，全部  最后打印文件名

fps = 1  
fps = 2  
fps = 3  
fps = 4  
fps = 5

**\[plain\]**  [view plain][] [copy][view plain] [![在CODE上查看代码片][CODE]][CODE_CODE] [![派生到我的代码片][ico_fork.svg]][ico_fork.svg 1]

1.  awk -F"=" '\{s+=$2\} END \{printf"avg=%.2f\\n", s/NR\}'

统计 fps的平均数

[view plain]: http://blog.csdn.net/zhubinqiang/article/details/7549163#
[CODE]: https://code.csdn.net/assets/CODE_ico.png
[CODE_CODE]: https://code.csdn.net/snippets/444778
[ico_fork.svg]: https://code.csdn.net/assets/ico_fork.svg
[ico_fork.svg 1]: https://code.csdn.net/snippets/444778/fork