Linux之四剑客：find、sed、grep、awk

r囧r小猫 2023-02-20 03:08 4阅读 0赞

### 目录 ###

*   *  find
     *   *  查找方式
         *   *  1、按名字查找
             *  2、按目录查找
             *  3、按权限查找
             *  4、按类型查找 　（b/d/c/p/l/f ）
             *  5、按属主及属组
             *  6、按时间查找
             *  7、按文件新旧
             *  8、按大小查找
     *  sed
     *   *   *  1.打印显示文本内容
             *  2.增加文件内容，向文件中添加或插入行
     *  grep
     *   *   *  格式：
             *  参数：
             *  范例：
     *  awk
     *   *   *  简介：
             *  格式：
             *  参数：
             *  运算符：
             *  内建变量：
             *  案例：

## find ##

大海捞针，主要是用于查找Linux 操作系统的某个文件、目录所在路径，查找出满足条件的文件或者目录的路径 【和locate命令很相似】  
格式：

> find path -option 【 -print 】 【 -exec -ok |xargs |grep 】 【 command \{\} ; 】

*  **path**：要查找的目录路径。

1.  ~ 表示$HOME目录
2.  . 表示当前目录
3.  / 表示根目录

*  **options** ：表示查找方式  
    **options**常用的有下选项：

> \-name filename \#查找名为filename的文件  
> \-perm \#按执行权限来查找  
> \-user username \#按文件属主来查找  
> \-group groupname \#按组来查找  
> \-mtime -n +n \#按文件更改时间来查找文件，-n指n天以内，+n指n天以前  
> \-atime -n +n \#按文件访问时间来查找文件，-n指n天以内，+n指n天以前  
> \-ctime -n +n \#按文件创建时间来查找文件，-n指n天以内，+n指n天以前  
> \-nogroup \#查无有效属组的文件，即文件的属组在/etc/groups中不存在  
> \-nouser \#查无有效属主的文件，即文件的属主在/etc/passwd中不存  
> \-type b/d/c/p/l/f \#查是块设备、目录、字符设备、管道、符号链接、普通文件  
> \-size n\[c\] \#查长度为n块\[或n字节\]的文件  
> \-mount \#查文件时不跨越文件系统mount点  
> \-follow \#如果遇到符号链接文件，就跟踪链接所指的文件  
> \-prune \#忽略某个目录

*  **print**：表示将结果输出到标准输出。
 *  **exec**：对匹配的文件执行该参数所给出的shell命令。  
    形式为`command {} \;` ，注意`{}`与`\;` 之间有空格
 *  **ok**：与**exec**作用相同，  
    区别在于，在执行命令之前，都会给出提示，让用户确认是否执行
 *  **|xargs** 与**exec**作用相同 ，起承接作用

区别在于 **|xargs** 主要用于承接删除操作 ，而 **-exec** 都可用 如复制、移动、重命名等

### 查找方式 ###

#### 1、按名字查找 ####

在当前目录及子目录中，查找大写字母开头的txt文件  
 $ find . -name ‘\[A-Z\]\*.txt’ -print

在/etc及其子目录中，查找host开头的文件  
 $ find /etc -name ‘host\*’ -print

在$HOME目录及其子目录中，查找所有文件 　　  
 $ find ~ -name ‘\*’ -print

在当前目录及子目录中，查找不是out开头的txt文件 　　  
 $ find . -name “out\*” -prune -o -name “\*.txt” -print

--------------------

#### 2、按目录查找 ####

在当前目录除aa之外的子目录内搜索 txt文件 　　  
 $ find . -path “./aa” -prune -o -name “\*.txt” -print

在当前目录及除aa和bb之外的子目录中查找txt文件 　　  
 $ find . −path ′./aa′ −o −path ′./bb′ -a -prune -o -name ‘\*.txt’ -print

--------------------

#### 3、按权限查找 ####

在当前目录及子目录中，查找属主具有读写执行，其他具有读执行权限的文件 　　  
 $ find . -perm 755 -print

查找用户有写权限或者组用户有写权限的文件或目录  
 find ./ -perm /220  
 find ./ -perm /u+w,g+w  
 find ./ -perm /u=w,g=w

--------------------

#### 4、按类型查找 　（b/d/c/p/l/f ） ####

在当前目录及子目录下，查找符号链接文件 　　  
 $ find . -type l -print

--------------------

#### 5、按属主及属组 ####

查找属主是www的文件 　　  
 $ find / -user www -type f -print

查找属主被删除的文件  
 $ find / -nouser -type f -print

查找属组 mysql 的文件  
 $ find / -group mysql -type f -print

查找用户组被删掉的文件  
 $ find / -nogroup -type f -print

--------------------

#### 6、按时间查找 ####

查找2天内被更改过的文件  
 $ find . -mtime -2 -type f -print

查找2天前被更改过的文件  
 $ find . -mtime +2 -type f -print

查找一天内被访问的文件  
 $ find . -atime -1 -type f -print

查找一天前被访问的文件  
 $ find . -atime +1 -type f -print

查找一天内状态被改变的文件  
 $ find . -ctime -1 -type f -print

查找一天前状态被改变的文件  
 $ find . -ctime +1 -type f -print

查找10分钟以前状态被改变的文件  
 $ find . -cmin +10 -type f -print

--------------------

#### 7、按文件新旧 ####

查找比 aa.txt 新的文件  
 $ find . -newer “aa.txt” -type f -print

查找比 aa.txt 旧的文件  
 $ find . ! -newer “aa.txt” -type f -print

查找比aa.txt新，比bb.txt旧的文件  
 $ find . -newer ‘aa.txt’ ! -newer ‘bb.txt’ -type f -print

--------------------

#### 8、按大小查找 ####

查找超过1M的文件  
 $ find / -size +1M -type f -print

查找等于6字节的文件  
 $ find . -size 6c -print

查找小于32k的文件  
 $ find . -size -32k -print

--------------------

9、执行命令

1）查找 del.txt 并删除，删除前提示确认  
 $ find . -name ‘del.txt’ -ok rm \{\} ;

2） 查找 aa.txt 并备份为aa.txt.bak  
 $ find . -name ‘aa.txt’ -exec cp \{\} \{\}.bak ;

3）查当前目录下的所有普通文件

$ find . -type f -exec ls -l \{\} ;

查当前目录下的所有普通文件，并在 - exec 选项中使用 ls -l 命令将它们列出

4）在 /logs 目录中查找更改时间在5日以前的文件并删除它们  
 $ find logs -type f -mtime +5 -exec -ok rm \{\} ;

5）查询当天修改过的文件  
 $ find ./ -mtime -1 -type f -exec ls -l \{\} ;

6）查询文件并询问是否要显示  
 $ find ./ -mtime -1 -type f -ok ls -l \{\} ;

--------------------

例题：

> 基于FIND查找Linux操作系统指定目录以.log名称，排除access.log 和error.log，查找10天以前的，查找文件类型而不是目录类型， 日志大小大于20M，小于35M，该日志文件拥有者是root用户， 然后将软件备份到/tmp/；

find / -name "*.log" ! -name "access.log" ! -name "error.log" -mtime -10 -type f -size +20M -size -35M -user root -exec cp {
        } /tmp/ \;

## sed ##

sed 是一种在线的、非交互式的编辑器，在处理文本时是逐行读取文件内容，读到匹配的行就根据指令做操作，不匹配就跳过。

--------------------

格式：

> sed \[options\] pattern filename

说明：

> 参数说明：  
> \-e 多点编辑  
> \-f 从指定文件中读取编辑  
> \-i.bak 备份，并对内容进行修改  
> \-n 取消自动打印  
> \-r 支持使用扩展正则表达式  
> \-V 显示版本信息  
> \-h 显示帮助
> 
> =============
> 
> 动作说明：  
> 动作前面通常加一些匹配项  
> a 新增， a 后面可以接字串，而这些字串会在新的一行出现(目前的下一行)  
> c 取代， c 后面可以接字串，这些字串可以取代 n1,n2 之间的行  
> d 删除， d 通常后面不接任何咚咚  
> i 插入， i 后面可以接字串，而这些字串会在新的一行出现(目前的上一行)  
> p 打印， p 通常会与参数 sed -n 一起运行  
> s 取代， s 通常可以搭配正规表示法，例如 1,20s/old/new/g  
> = 显示匹配的行号  
> ！ 取反

#### 1.打印显示文本内容 ####

sed -n '3p' test.sh             # 打印文件的第3行
    sed -n '$p' test.sh             # 打印文件的最后一行
    sed -n '3,6p' test.sh           # 打印文件的第3行到第6行
    sed -n '3,$p' test.sh           # 打印文件的第3行到最后一行的内容
    sed -n '3~2p' test.sh           # 从第3行开始，每隔两行打印一行，波浪号后面的2表示步长
    sed -n '/love/p' test.sh        # 打印匹配love的行
    sed -n '/love/,3p' test.sh      # 打印从匹配love的行到第3行的内容，及后面所有匹配love的行
    sed -n '/love/,$p' test.sh      # 打印从匹配love的行到最后一行的内容
    sed -n '/love/,+1p' test.sh     # 打印匹配love的行及其向后一行，如果有多行匹配love，则匹配的每一行都会向后多打印一行
    sed -n '/love/,/you/p' test.sh  # 打印从匹配内容love到匹配内容you的行
    sed -n '3,/love/p' test.sh      # 打印第三行到匹配love的行
    sed -n "$=" test.sh             # 打印test.sh文件最后一行的行号
    sed -n '/error/=' test.sh       # 打印匹配error的行的行号
    sed -n '/error/{=;p}' test.sh   # 打印匹配error的行的行号和内容（可用于查看日志中有error的行及其内容）

#### 2.增加文件内容，向文件中添加或插入行 ####

sed '3apython' test.sh       # 在第三行后面添加python，3表示行号
    sed '3ipython' test.sh       # 在第三行之前插入python，3表示行号
    sed '$apython' test.sh       # 在最后一行之后添加python
    sed '$ipython' test.sh       # 在最后一行之前插入python
    sed '/123/apython' test.sh   # 在包含123的行后面添加python，如果文件中有多行包括123，则每一行后面都会添加
    sed '/123/ipython' test.sh   # 在包含123的行之前插入python，如果文件中有多行包含123，则每一行之前都会插入

3.删除文件中指定的行

sed '3d' 1.txt            # 删除第三行
    sed '$d' 1.txt            # 删除最后一行
    sed '1~2d' 1.txt          # 从第一行开始删除，每隔2行就删掉一行，即删除奇数行
    sed '1,3d' 1.txt          # 删除1~3行
    sed '1,3!d' 1.txt         # 删除1~3之外的所有行
    sed '/123/d' 1.txt        # 删除匹配123的行
    sed '/123/,$d' 1.txt      # 删除从匹配123的行到最后一行
    sed '/123/,+1d' 1.txt     # 删除匹配123的行及其后面一行
    sed '/^$/d'  1.txt        # 删除空行
    sed '/123\|abc/!d' 1.txt  # 删除不匹配123或abc的行，/123\|abc/ 表示匹配123或abc ，！表示取反

4.更改文件中指定的行

sed '1chello' test.sh         # 将文件的第一行替换为hello  
    sed '$chello' test.sh         # 将文件的最后一行替换为hello
    sed '/123/chello' test.sh     # 将包含123的行替换为hello

## grep ##

grep 是一个基于正则表达式的全局文本搜索工具，根据用户指定的“模式（pattern）”对目标文本进行过滤，显示匹配到的行。

--------------------

#### 格式： ####

> grep \[options\] pattern filename

--------------------

#### 参数： ####

> \-a 不忽略二进制数据  
> \-i 不区分大小写，忽略字符大小写  
> \-v 取反，显示不被pattern匹配到的行  
> \-V 显示版本信息  
> \-n 显示匹配结果的行号  
> \-c 统计匹配结果的行数  
> \-o 仅显示匹配到的字符串，不把整行显示出来  
> \-e 实现多个选项的匹配，逻辑or关系  
> \-q 静默模式，不输出任何信息。与"echo $"合用，查看是否匹配到，0表示匹配到，1表示没有匹配到  
> \-Ax： 显示匹配结果所在行以及该行之后的指定行数，x是行数，A：after。  
> \-Bx： 显示匹配结果所在行以及该行之前的指定行数，x是行数，B：before。  
> \-Cx： 显示匹配结果所在行以及该行之前和该行之后的指定行数，x是行数，C：context  
> –color 显示颜色  
> \-E 使用扩展正则表达式,相当于egrep  
> \-w 匹配整个单词，如果是字符串中包含这个单词，则不作匹配  
> \-l 列出匹配字符串的文件名  
> \-L 列出不匹配字符串的文件名

--------------------

#### 范例： ####

grep "root" /etc/passwd      # 找到root所在的所有行并显示
    grep -v "root" /etc/passwd   # 找到除root外的所有行并显示
    grep -n "root" /etc/passwd   # 显示行号
    grep -c "root" /etc/passwd   # 显示匹配结果的行数
    grep -A2 "root" /etc/passwd  # 匹配含有root的行，以及该行的后两行
    grep -e "root" -e "myuser" /etc/passwd

## awk ##

#### 简介： ####

awk是一个报告生成器，拥有强大的文本格式化能力；  
也是一种文本处理工具，但其主要功能是从处理文件中按照输入的信息格式后显示的工具  
awk是一种编程语言，支持条件判断、数组、循环等功能。用于在linux/unix下对文本和数据进行处理。数据可以来自标准输入(stdin)、一个或多个文件，或其它命令的输出。它支持用户自定义函数和动态正则表达式等先进功能，是linux/unix下的一个强大编程工具。它在命令行中使用，但更多是作为脚本来使用。awk有很多内建的功能，比如数组、函数等，这是它和C语言的相同之处，灵活性是awk最大的优势。

--------------------

#### 格式： ####

> awk \[options\] ‘pattern \{ action\} pattern \{action\}…’ file

--------------------

#### 参数： ####

> \-F 指定字段分隔符  
> \-v 定义或个性一个 awk 内部的变量  
> \-f 指定脚本文件

#### 运算符： ####

> = += -= \*= /= %= ^= \*\*= 赋值  
> ?: C 条件表达式  
> && || ! 逻辑与/或/非  
> ~ ~! 匹配正则 不匹配正则  
> < <= > >= != == 关系运算符  
> 空格 连接  
> % / + - \*  
> ^ \*\*\* 求幂  
> \++ –  
> $ 字段引用

#### 内建变量： ####

> $0 表示整个当前行  
> $1 第 1 列  
> NF 当前行的字段的个数(列数)  
> NR 当前处理的文本行的行号，多文件记录递增  
> FNR 各文件分别计数的行号，多文件记录不递增  
> FS 输入字段分隔符(默认为空白字符)  
> OFS 输出字段分隔符(默认为空白字符)  
> RS 输入记录分隔符(输入换行符)  
> ORS 输出记录分隔符(输出换行符)  
> ARGC 命令行参数的个数  
> ARGV 数组，保存的是命令行所给定的各参数

#### 案例： ####

awk -F "GET|HTTP" 'print $2' access.log
    awk '$6~/Failed/{print $11}' /var/log/secure
    awk 'NR==20,NR==30' filename
    awk '{sum+=$0}END{print sum}' ett.txt
    awk '{array[$1]++}END{for(key in array)print key,array[key]}' access.log
    
    awk '{print}' /etc/passwd
    awk '{print $0}' /etc/passwd
    
    awk '{print $1,$4}' log.txt # 输出第 1 及 第 4 列（默认以空格或 Tab 来分隔列）
    awk '{printf "%-8s %-10s\n",$1,$4}' log.txt # 格式化输出
    awk -F: '{print $1,$3,$6}' OFS="\t" /etc/passwd
    
    awk -F, '{print $1,$2}' log.txt
    awk 'BEGIN{FS=","} {print $1,$2}' log.txt
    awk -F '[ ,]'  '{print $1,$2,$5}' log.txt #使用空格及 , 作为分割符
    
    awk -va=1 '{print $1,$1+a}' log.txt # 设置变量并调用
    awk -va=1 -vb=s '{print $1,$1+a,$1b}' log.txt
    
    awk '$1>2' log.txt # 过滤第一列大于 2 的行
    awk '$1==2 {print $1,$3}' log.txt 
    awk '$1>2 && $2=="Are" {print $1,$2,$3}' log.txt
    
    awk 'NR==5' test.txt
    awk 'NR==2,NR==6' test.txt
    awk '{print NR,$0}' test.txt # 类似 cat -n test.txt
    awk 'NR==2,NR==6 {print NR,$0}' test.txt
    awk -F ":" '{print $1,$3,$NF}' test.txt
    awk '{gsub("/sbin/nologin", "/bin/bash", $0);print $0}' test.txt #将 /sbin/nologin 替换为 /bin/bash
    ifconfig eth0|awk -F "(addr:)|( Bcase:)" 'NR==2{print $2}' # 取 IP地址
    ifconfig eth0|awk -F "[ :]+" 'NR==2{print $4}'
    awk -F '/' '{print $3}' books1.txt|sort|uniq -c
    awk -F '/' '{hotel[$3]++;print $3,hotel[$3]}' books1.txt
    awk -F '/' '{array[$3]++}END{
      print "www.books1.cn", array["www.books1.cn"]
      print "www.baidu.com", array["www.baidu.com"]
      print "www.qq.com", array["www.qq.com"]
    }' books1.txt
    awk -F '/' '{hotel[$3]++}END{for(domain in hotel)print domain,hotel[domain]}' books1.txt
    
    awk '$2 ~ /th/ {print $2,$4}' log.txt # 输出包含 "th" 的第二列，并打印第二列与第四列
    awk '/re/ ' log.txt # 输出包含 re 的行
    awk 'BEGIN{IGNORECASE=1} /this/' log.txt # 忽略大小写
    awk '!/th/ {print $2,$4}' log.txt # 在包含 th 的行中输出第 2，4 列
    
    awk 'BEGIN{X=0} /^$/{ X+=1 } END{print "I find",X,"blank lines."}' test.txt # 统计空行数 
    ls -l|awk 'BEGIN{sum=0} !/^d/{sum+=$5} END{print "total size is",sum}' # 计算文件大小
    
    route -n|awk 'NR!=1{print}' # 不显示第一行
    
    awk '!/mysql|mail/{print}' /etc/passwd
    awk -F: '/mail/,/mysql/{print}' /etc/passwd # 区间匹配
    
    awk -F: '$1~/mail/{print $1}' /etc/passwd  # $1 匹配指定内容才显示
    awk -F: '{if($1~/mail/) print $1}' /etc/passwd  # 与上面相同，if 必须用在 {} 中，且比较内容用 () 括起来