Linux 四剑客介绍和案例

忘是亡心i 2022-01-13 00:47 420阅读 0赞

正则表达式

> Linux中文本处理工具：  
> grep（只支持基础正则表达式）  
> egrep（支持扩展正则表达式）  
> sed （支持扩展正则表达式）  
> awk （支持基础正则表达式支持扩展正则表达式）

基础正则表达式元字符：

> \\ ：转义字符,!,\\n 等  
> ^ ：匹配字符串开始的位置 如：^a:以a开头的字符  
> $ ：匹配字符串结束的位置 如：word$:以word结束的位置  
> . : 匹配/n之外的任意的一个字符 如：go.d：匹配good .代表任意字符可以是多个
> 
>  *  ：匹配前面子表达式 0此或者多次 如：goo*d ：匹配goo*d星号前面的子表达式多个或0个 如 gooood gooooooood  
>     \[list\] : 匹配list列表中的一个字符 如 go\[old\]d：匹配good或gold或 godd  
>     \[^list\]: 匹配任意不在list列表中的一个子符 如\[^list\] ：匹配不含有list的字符  
>     \{n,m\}:匹配前面的子表达式n到m次，有\{n\},\{n,\},\{n,m\}三种格式 如：go\{2\}d:匹配o两次 ，go\{2,3\}d :匹配o 2到3次 ，go\{2,\}d:匹配2次以上

扩展正则表达式元字符

>  *  ：匹配前面子表达式1次以上 如：go+d 将匹配至少一个o  
>     ？：匹配前面子表达式0次或者1次 如：go？d 将匹配gd或god  
>     () ：将括号中的字符串作为一个整体 如：（xyz）+ 将匹配xyz整体1次以上结果xyzxyz  
>     | ：以或的方式匹配字条 如 ：good|food 将匹配good或者food g(oo|la)d 将匹配good或者glad

grep工具

> \-i ：忽略大小写  
> \-v ：取反 分为：过滤出，过滤掉  
> 例如：  
> grep ‘root’ /etc/passwd //筛选文件中包含root的行  
> grep -v ‘ root’ /etc/passwd //筛选文件中不包含root的行  
> grep ‘r..d’ /etc/passwd //筛选r和d之间两个任意字符的行  
> grep ‘\[^s\]bin’ /etc/passwd //筛选bin前面不是以s开头行  
> grep ‘^$’ /etc/passwd //筛选出空格白行  
> grep ‘t\[es\]’ /etc/passswd //筛选包含te或者ts的行  
> grep ‘0\{1,\}’ /etc/passwd //筛选查找数字0出现的次数1次或1次以上  
> grep -e ‘root’ -e ’sshd’ /etc/passwd //查找root和sshd的行 注：-e参数查找多个模式  
> grep ‘\[^a-z\]ae’ /etc/passwd //筛选ae前面不是以小写字母的行  
> grep ‘^\[a-z\]ae’ /etc/passwd //筛选ae前面以小写字母开头的行  
> 注：当使用连续的字符时，小写字母\[a-z\],大写字母\[A-Z\]，数字\[0-9\]  
> grep ‘0*’ /etc/passwd //匹配所有的内容（包括空白行）  
> 注：00*匹配至少包含一个0的行（第一个0必须出现，第二个0可出现0次或多次）

egrep工具

> egrep 0+ /etc/passwd //匹配至少包含一个0的行  
> egrep ‘(root|ntp)’ /etc/passwd //匹配包含root 或者ntp的行  
> egrep ‘ro?t’ /etc/passwd //匹配rt或者rot的行  
> egrep -v ‘^$|^\#’ /etc/passwd //过滤文件中空白行与\#开头的行。没有空白行与\#号开头的行，所以没有如何输出

sed工具

> 概述：  
> sed是文本处理工具，读取文本内容，根据指定的条件进行处理，如删除，替换，添加等  
> 可在无交互的情况下实现相当复杂的文本处理操作被广泛应用于shell脚本，已完成自动化处理任务，sed依赖于正则表达式  
> 命令语法  
> sed -e ‘编辑指令’ 文件1 文件2 文件 3....... 注：-e ，在’编辑命令’中可有’;’来分割执行命令  
> sed -n -e ‘编辑命令’ 文件1 文件2... -n 只显示过滤出内容  
> sed -i -e ‘编辑命令’ 文件1 文件2.... -i：流编辑器。读一行处理一行  
> sed命令格式:  
> 编辑命令格式：\[地址1\],\[地址2\]操作\[参数\]  
> “地址”，可数字，正则表达式，$ 如果没有地址代表时所有行  
> “操作” 可以是 p,d,s,r,w,i等...  
> “参数” 一般有g ，代表只要符合i傲剑全部进行处理（g全部）  
> 常用操作：  
> p ：输出指定的行  
> d ：删除指定的行  
> s/c ：子串替换，格式 ：”行范围 s/旧字符串/新字符串/g”  
> r ：读取指定条件  
> w：保存为文件  
> i ：插入，在当前行前面插入一行或多行  
> 输出指定的行：  
> sed -n ‘p’ /etc/passwd //将所有内容输出  
> sed -n ‘7p’ /etc/passwd //将第7行内容输出  
> sed -n ‘$p’ /etc/passwd //将最后一行输出  
> sed -n ‘1,7\{n;p\}’ /etc/passwd //将1~7行的奇数输出  
> sed -n ‘1,7\{p;n\}’ /etc/passwd //将1~7行的偶数输出  
> sed -n ‘1,+4p’ /etc/passwd //从第1行，连续4行进行输出  
> sed -n ‘/root/p’ /etc/passwd //将匹配包含root的进行输出  
> sed -n ‘10,/nom/p’ /etc/passwd //将从第10行至第一个包含nom的行进行输出  
> sed -nr ‘/ro\{1,\}t/p’ /etc/passwd //匹配不少一次前导字符0 ，-r参数支持扩展正则表达式 rot root  
> sed -n ‘/root|ntp/p’ /etc/passwd //输出包含root或者ntp的行 注：如果遇到特殊符号，扩展正则需要转义符 “\\”  
> sed -n ‘/root/=’ /etc/passwd //将包含root所在的行行号输出， ‘=’用来输出行号  
> sed -e ‘5q’ /etc/passwd //输出前5行信息后退出 ，q 退出  
> sed -e ‘5p;7p;qp’ /etc/passwd //输出5行，7行， 9行信息插入符合条件的行  
> sed ‘/root/i admin:x:490:490::/:/sbin/nologin ’ /etc/passwd //在包含root行的前面一行插入admin:x:490:490::/:/sbin/nologin ’  
> sed ‘root/a admin:x:490:490::/:/sbin/nologin ’ /etc/passwd //在包含root行的下一行插入admin:x:490:490::/:/sbin/nologin ’  
> 注：sed ‘/root/i’ 前面一行插入 sed ‘/root/a’ 后面一行插入  
> sed ‘saADMIN’ /etc/passwd //在第3行之后插入ADMIN  
> 删除符合要求的行：  
> sed ‘1d’ /etc/passwd //删除第一行  
> sed ‘$d’ /etc/passwd //删除最后一行  
> sed ‘/^$/d’ /etc/passwd //删除所有空行  
> sed ‘2,4d’ /etc/passwd //删除第2到4行  
> sed ‘/root/d’ /etc/passwd //删除包含root的行  
> sed ‘/root/!d’ /etc/passwd //删除不包含root的行，这里的”!”表示取反操作  
> sed ‘/^root/d’ /etc/passwd //删除以root开头的行  
> sed ‘/nologin$/d’ /etc/passwd //删除以nologin结尾的行替换符合条件的文本  
> sed ‘s/root//g’ /etc/passwd //将文件中所有的root都替换成空 g替换全部 s：全部内容  
> sed -n ‘s/root/admin/2p’ /etc/passwd //把每行的第2个root替换成admin  
> sed ‘/root/s/root/ROOT/g ’ /etc/passwd //将第1~3行中的所有root都替换为ROOT  
> sed ‘1,3s/bin/BIN/g’ /etc/passwd //将第1~3行中的所有bin都替换为BIN  
> sed ‘s/$/ABC/’ /etc/passwd //在每行行尾插入字符串ABC  
> sed ‘s/^/\#/’ /etc/passwd //在每行行首插入\#号  
> sed ‘/root/s /^/\#/’ /etc/passwd //将包含root的行的行首插入\#号  
> sed ‘1c ABC ’ /etc/passwd //将第一行替换为ABC  
> sed ‘y/root/ROOT/’ /etc/passwd //将root对应替换为ROOT y：对应替换  
> sed ‘/1,10y/root/ROOT’ /etc/passwd //将第1~10行中的root 对应ROOT  
> 迁移符合条件的文本：  
> sed ‘15,16 w out.txt’ test,txt //另存为  
> sed ‘5r /etc/reslov.conf ’ test.txt //将/etc/relov.conf 内容读取到当前文件第5行后面  
> sed ‘1,5(H:d);$G’ test.txt //将第1~5行内容迁移至末尾 注：H 复制到缓冲区 G 追加到指定行后  
> sed ‘/^IP/ s/^/\#/’ test.txt //在以IP开头的行的行首插入\#  
> sed ‘1,5H;15,16G’ test.txt  
> 执行多次命令  
> sed -ne ‘s/root/admin/’ -ne ‘s/bash/sh/p’ /etc/passwd //将root和bash动作替换  
> sed -ne ‘s/root/admin/;s/bash/sh/p’ /etc/passwd //将root和bash动作提黄  
> 直接修改文件内容：-i 直接修改源文件内容，保存修改的文件  
> sed -i ‘s/^/\#/’ /etc/passwd //在每行开头插入\#号 ，直接修改源文件  
> DII

awk  
awk工具介绍

> awk也是一个功能强大的编辑工具，与sed一样，可在无交互的情况下实现相当复杂的文本操作  
> 命令格式：  
> awk 选项 '模式或条件 \{编辑指令\}’ 文件1 文件2
> 
> > awk -f 脚本文件 文件1 文件2
> 
> 工作原理：  
> 逐行读取文本，默认以空格为分隔符进行分隔，将分隔所得的各个字段保存到内建变量中，并按模式或者条件执行编辑命令
> 
> awk内置变量  
> FS:指定每行文本的字段分隔符，缺省为空格或制表位。 注：默认分隔符为空格  
> NF：当前处理的行的字段个数  
> NR：当前处理的行的行号（序数）  
> $0:当前处理的行的整行内容  
> $n：当前处理行的第n个字段（第n列）
> 
> 案例：  
> awk -F: '\{print $0,NF\}' /etc/passwd //输出以冒号为分隔的/etc/passwd文件中记录的字段段数  
> df -hT |awk '\{print $1,$6\}' //用awk截取命令df -hT输出的结果，不带任何条件，进行格式化，打印第1列和第6列数据  
> awk '\{print $0\}' /etc/passwd //输出所有内容  
> cat /etc/passwd grep "" /etc/passwd sed -n 'p' /etc/passwd  
> 打印文本内容：  
> awk 'NR==1,NR==3\{print\}' bfile //输出第1至第3行内容  
> awk 'NR==1||NR==3\{print\}' bfile //输出第1行、第3行内容  
> awk '/^root/\{print\}' /etc/passwd //输出以root开头的行  
> awk '/nologin$/\{print\}' /etc/passwd //输出以nologin结尾的行  
> awk '(NR>=1)&&(NR<=3)\{print\}' /etc/passwd //输出第1行到第3行内容  
> awk "(NR%2)==1\{print\}' /etc/passwd //输出所有奇数行的内容  
> awk '(NR%2)==0\{print\}' /etc/passwd //输出所有偶数行的内容  
> awk -F: '!($3<900)' /etc/passwd //输出第3个字段不小于900的行,“！”号表示取反  
> 在使用awk的过程中，可以使用关系运算符作为“条件”，用于比较数字与字符串，运算符大于（>)、小于(<)、小于等于(<=)、等于（==）、不等于（!=)  
> 也可使用逻辑操作符&&，表示“与”，||表示“或”，！表示“非”  
> 还可以进行简单的数学运算加（+）、减（—）、乘（\*）、除（/）、取余（%）、乘方（^)。  
> 只有当条件为真，才执行指定的动作。
> 
> awk -F: '\{if($3>200)print $0\}' /etc/passwd //输出第3个字段大于200的行  
> awk -F: '\{max=($3>$4)?$3:$4;print max\}' /etc/passwd  
> //如果第3个字段的值大于第4个字段的值，则把问号前表达式的值赋给max，否则就将冒号后那个表达式的值赋给max  
> awk -F: '\{max=($3>200)?$3:$1;print max\}' /etc/passwd // //如果第3个字段的值大于200，则把第3个字段的值赋给max，否则就将第1个字段的值赋给max  
> 在使用awk过程中还可以使用条件表达式，条件表达式的运算涉及两个符号，冒号和问号，其实质就是if...else语句的捷径，有着if...else相同的结果
> 
> 接字段输出文本  
> awk -F: '\{print NR,$0\}' /etc/passwd //输出处理数据的行号，每处理完一条记录，NR值加1  
> awk -F":" '$3<5\{print $1 $3\}'/etc/passwd //输出第3列小于5的第1列与第3列数据  
> awk -F ":" '($1～"root")&&(NF==7)\{print $1,$3\}'/etc/passwd //输出包含7个字段，并且第1个字段中包含root的行第1与第2字段内容  
> awk -F":" 'NR==3,NR==7\{print $1,$7\}' /etc/passwd //输出第3行到第7行中以冒号为分隔符的第1列与第7列的数据
> 
> 输出数据时插入文本标签：  
> awk -F: '/^root/\{print "Hi," $1\}' /etc/passwd //输出以冒号为分隔符，以root开头的行第一列，且在前面插入“Hi,”  
> awk '\{print $1"--"$3\}' 6.txt //输出第一列和第二列并加入普通字符 引号引用普通字符  
> awk -F":" '$7～"/bash"\{print $1\}' /etc/passwd //输出冒号分隔且第7个字段中包含/bash的行的第1个字段  
> awk -F':''\{print $1":"$2":"$3":"$4\}' /etc/passwd //保留原来的格式，输出以冒号为分隔，/etc/passwd文件的前4个字段  
> awk -F":" '\{print $1,$3\}' /etc/passwd //输出以冒号为分隔符的第1列和第3列  
> awk 'BEGIN\{FS=":"\} \{print $1,$3\}' /etc/passwd //输出以冒号为分隔符的第1列和第3列  
> awk 'BEGIN\{X=0\};/\\/bin\\/bash$/\{x++\};END\{printx\}' /etc/passwd //统计以/bin/bash为结尾的行数
> 
> awk执行顺序:首先执行BEGIN\{\}中的操作，然后从指定的文件中逐行读取数据，自动更新NF、NR、$0、$1等内建变量的值，去s执行'模式或条件\{编辑指令\}’；最后执行END\{\}操作
> 
> 处理命令输出的结果：  
> date |awk '\{print "Month:"$2"\\nYear:"$6\}' //输出日期的第2列且在前面插入Month:,换行输出第6列并在前面插入Year  
> sort工具  
> 分为：字符排序 ，数字排序  
> 语法格式：  
> sort \[选项\] 参数  
> 常用选项  
> \-f ：忽略大小写  
> \-b ：忽略每行前面的空格  
> \-M ：按照月份进行排序  
> \-n ：按照数字进行排序  
> \-r ：反向排序  
> \-u ：等同于uniq,表示相同的数据仅显示一行  
> \-t ：指定分隔符  
> \-o ：<输出文件> ： 将排序后的结果转存指定文件 如：sort -t”;” /etc/passwd -o user.txt  
> \-k ：指定排序区域

uniq工具  
用于报告或者忽略文件中的重要行  
一般于sort 命令结合使用  
语法  
uniq \[选项\] 参数  
常用选项  
\-c ：进行计数  
\-d ：仅显示重复行  
\-u ：仅显示出现一次的行

转载于:https://blog.51cto.com/14150862/2349158