关于Linux xargs,-exec区别及find一般使用

布满荆棘的人生 2021-09-09 11:16 277阅读 0赞

xargs和-exec  
在使用find命令的-exec选项处理匹配到的文件时，find命令将所有匹配到的文件一起传递给exec执行。但有些系统对能够传递给exec的命令长度有限制，这样在find命令运行几分钟之后，就会出现溢出错误。错误信息通常是“参数列太长”或“参数列溢出”。这就是xargs命令的用处所在，特别是与find命令一起使用。  
  
find命令把匹配到的文件传递给xargs命令，而xargs命令每次只获取一部分文件而不是全部，不像-exec选项那样。这样它可以先处理最先获取的一部分文件，然后是下一批，并如此继续下去。  
  
在有些系统中，使用-exec选项会为处理每一个匹配到的文件而发起一个相应的进程，并非将匹配到的文件全部作为参数一次执行；这样在有些情况下就会出现进程过多，系统性能下降的问题，因而效率不高；  
  
而使用xargs命令则只有一个进程。另外，在使用xargs命令时，究竟是一次获取所有的参数，还是分批取得参数，以及每一次获取参数的数目都会根据该命令的选项及系统内核中相应的可调参数来确定。  
来看看xargs命令是如何同find命令一起使用的，并给出一些例子。  
  
下面的例子查找系统中的每一个普通文件，然后使用xargs命令来测试它们分别属于哪类文件  
\#find . -type f -print | xargs file  
./.kde/Autostart/Autorun.desktop: UTF-8 Unicode English text  
./.kde/Autostart/.directory: ISO-8859 text  
......  
  
在整个系统中查找内存信息转储文件(core dump) ，然后把结果保存到/tmp/core.log 文件中：  
$ find / -name "core" -print | xargs echo "" >/tmp/core.log  
上面这个执行太慢，我改成在当前目录下查找  
\#find . -name "file\*" -print | xargs echo "" > /temp/core.log  
\# cat /temp/core.log  
./file6  
  
在当前目录下查找所有用户具有读、写和执行权限的文件，并收回相应的写权限：  
\# ls -l  
drwxrwxrwx 2 sam adm 4096 10月 30 20:14 file6  
\-rwxrwxrwx 2 sam adm 0 10月 31 01:01 http3.conf  
\-rwxrwxrwx 2 sam adm 0 10月 31 01:01 httpd.conf  
\# find . -perm -7 -print | xargs chmod o-w  
\# ls -l  
drwxrwxr-x 2 sam adm 4096 10月 30 20:14 file6  
\-rwxrwxr-x 2 sam adm 0 10月 31 01:01 http3.conf  
\-rwxrwxr-x 2 sam adm 0 10月 31 01:01 httpd.conf  
  
用grep命令在所有的普通文件中搜索hostname这个词：  
\# find . -type f -print | xargs grep "hostname"  
./httpd1.conf:\# different IP addresses or hostnames and have them handled by the  
./httpd1.conf:\# VirtualHost: If you want to maintain multiple domains/hostnames  
on your  
  
用g r e p命令在当前目录下的所有普通文件中搜索hostnames这个词：  
\# find . -name \* -type f -print | xargs grep "hostnames"  
./httpd1.conf:\# different IP addresses or hostnames and have them handled by the  
./httpd1.conf:\# VirtualHost: If you want to maintain multiple domains/hostnames  
on your  
注意，在上面的例子中， 用来取消find命令中的\*在s h e l l中的特殊含义。  
  
过滤出大小为0的文件，并将它们删除

\# find . -size 0 | xargs rm -f  
或者  
\# find . -size 0 -exec rm -f \{\} \\；

**-exec rm \{\} \\； 相当于 rm -f 文件名1 文件名2 文件名3 （只调用了一次rm命令）  
xargs rm -f **相当于 rm -f 文件名1； rm -f 文件名2； rm -f 文件名3 （调用了三次rm命令，这样效率更高）

find命令一般使用  
  
下面是find一些常用参数的例子，有用到的时候查查就行了，像上面前几个贴子，都用到了其中的的一些参数，也可以用man或查看其它find的命令手册

**a.使用name选项**  
文件名选项是find命令最常用的选项，要么单独使用该选项，要么和其他选项一起使用。  
可以使用某种文件名模式来匹配文件，记住要用引号将文件名模式引起来。  
不管当前路径是什么，如果想要在自己的根目录$ H O M E中查找文件名符合\* . t x t的文件，使用~作为' p a t h n a m e参数，波浪号~代表了你的$ H O M E目录。  
$ find ~ -name "\*.txt" -print  
想要在当前目录及子目录中查找所有的‘ \* . t x t’文件，可以用：  
$ find . -name "\*.txt" -print  
想要的当前目录及子目录中查找文件名以一个大写字母开头的文件，可以用：  
$ find . -name "\[A-Z\]\*" -print  
想要在/ e t c目录中查找文件名以h o s t开头的文件，可以用：  
$ find /etc -name "host\*" -print  
想要查找$ H O M E目录中的文件，可以用：  
$ find ~ -name "\*" -print 或find . -print  
要想让系统高负荷运行，就从根目录开始查找所有的文件。  
$ find / -name "\*" -print  
如果想在当前目录查找文件名以两个小写字母开头，跟着是两个数字，最后是. t x t的文件，下面的命令就能够返回名为a x 3 7 . t x t的文件：  
$find . -name "\[a-z\]\[a-z\]\[0--9\]\[0--9\].txt" -print

**b.用perm选项**  
按照文件权限模式用- p e r m选项。  
按文件权限模式来查找文件的话。最好使用八进制的权限表示法。  
如在当前目录下查找文件权限位为7 5 5的文件，即文件属主可以读、写、执行，其他用户可以读、执行的文件，可以用：  
$ find . -perm 755 -print  
还有一种表达方法：在八进制数字前面要加一个横杠-，表示都匹配，如-007就相当于777，-006相当于666  
  
\# find . -perm 006  
\# find . -perm -006  
  
**c.忽略某个目录**  
如果在查找文件时希望忽略某个目录，因为你知道那个目录中没有你所要查找的文件，那么可以使用- p r u ne选项来指出需要忽略的目录。在使用-  
p r u n e选项时要当心，因为如果你同时使用了- d e p t h选项，那么- p r u ne选项就会被find命令忽略。  
如果希望在/ a p p s目录下查找文件，但不希望在/ a p p s / b i n目录下查找，可以用：  
$ find /apps -path "/apps/bin" -prune -o -print  
  
**避开多个文件夹**  
find /usr/sam **( -path /usr/sam/dir1 -o -path /usr/sam/file1 ) -prune -o** -print  
圆括号表示表达式的结合。  
表示引用，即指示 shell 不对后面的字符作特殊解释，而留给 find 命令去解释其意义。  
查找某一确定文件，-name等选项加在-o 之后  
代码  
\#find /usr/sam (-path /usr/sam/dir1 -o -path /usr/sam/file1 ) -prune -o -name "temp" -print

### 为什么要用xargs，问题的来源 ###

在工作中经常会接触到xargs命令，特别是在别人写的脚本里面也经常会遇到，但是却很容易与管道搞混淆，本篇会详细讲解到底什么是xargs命令，为什么要用xargs命令以及与管道的区别。为什么要用xargs呢，我们知道，linux命令可以从两个地方读取要处理的内容，一个是通过命令行参数，一个是标准输入。例如cat、grep就是这样的命令，举个例子：

echo 'main' | cat test.cpp

这种情况下cat会输出test.cpp的内容，而不是'main'字符串，如果test.cpp不存在则cat命令报告该文件不存在，并不会尝试从标准输入中读取。echo 'main' | 会通过管道将 echo 的标准输出(也就是字符串'main')导入到 cat 的标准输入，也就是说此时cat的标准输入中是有内容的，其内容就是字符串'main'但是上面的内容中cat不会从它的标准输入中读入要处理的内容。(注:标准输入是有一个缓冲区的，就像我们在程序中使用scanf函数从标准输入中读取一样，实际上是从标准输入的缓冲区中读取的)。其实基本上linux的命令中很多的命令的设计是先从命令行参数中获取参数，然后从标准输入中读取，反映在程序上，命令行参数是通过main函数 int main(int argc,char\*argv\[\]) 的函数参数获得的，而标准输入则是通过标准输入函数例如C语言中的scanf读取到的。他们获取的地方是不一样的。例如：

echo 'main' | cat

这条命令中cat会从其标准输入中读取内容并处理，也就是会输出 'main' 字符串。echo命令将其标准输出的内容 'main' 通过管道定向到 cat 的标准输入中。

cat

如果仅仅输入cat并回车，则该程序会等待输入，我们需要从键盘输入要处理的内容给cat，此时cat也是从标准输入中得到要处理的内容的，因为我们的cat命令行中也没有指定要处理的文件名。大多数命令有一个参数  -  如果直接在命令的最后指定 -  则表示从标准输入中读取，例如：

echo 'main' | cat -

这样也是可行的，会显示 'main' 字符串，同样输入 cat - 直接回车与输入 cat 直接回车的效果也一样，但是如果这样呢：

echo 'main' | cat test.cpp -

同时指定test.cpp 和 - 参数，此时cat程序还是会显示test.cpp的内容。但是有一个程序的策略则不同，它是grep，例如：

echo 'main' | grep 'main' test.cpp -

该命令的输出结果是:

1.  `test.cpp:int main()`
2.  `(standard input):main`

此时grep会同时处理标准输入和文件test.cpp中的内容，也就是说会在标准输入中搜索 'main' 也会在文件 test.cpp (该文件名从grep命令行参数中获得)中搜索 'main'。也就是说当命令行中 test.cpp 和 - 两个参数同时存在的时候，不同的程序处理不同。我们看到了cat与grep处理就不同。但是有一点是一样的，首先在命令行中查找要处理的内容的来源(是从文件还是从标准输入，还是都有)，如果在命令行中找不到与要处理的内容的来源相关的参数则默认从标准输入中读取要处理的内容了。

另外很多程序是不处理标准输入的，例如 kill , rm 这些程序如果命令行参数中没有指定要处理的内容则不会默认从标准输入中读取。所以：

echo '516' | kill

这种命里是不能执行的。

echo 'test' | rm -f

这种也是没有效果的。

这两个命令只接受命令行参数中指定的处理内容，不从标准输入中获取处理内容。想想也很正常，kill 是结束进程，rm是删除文件，如果要结束的进程pid和要删除的文件名需要从标准输入中读取，这个也很怪异吧。 但是像 cat与grep这些文字处理工具从标准输入中读取待处理的内容则很自然。

但是有时候我们的脚本却需要 echo '516' | kill 这样的效果，例如 ps -ef | grep 'ddd' | kill 这样的效果，筛选出符合某条件的进程pid然后结束。这种需求对于我们来说是理所当然而且是很常见的，那么应该怎样达到这样的效果呢。有几个解决办法：

1. 通过 kill \`ps -ef | grep 'ddd'\`      
\#这种形式，这个时候实际上等同于拼接字符串得到的命令，其效果类似于  kill $pid

2. for procid in $(ps -aux | grep "some search" | awk '\{print $2\}'); do kill -9 $procid; done     
\#其实与第一种原理一样，只不过需要多次kill的时候是循环处理的，每次处理一个

3. ps -ef | grep 'ddd' | xargs kill    
\#OK，使用了xargs命令，铺垫了这么久终于铺到了主题上。xargs命令可以通过管道接受字符串，并将接收到的字符串通过空格分割成许多参数(默认情况下是通过空格分割) 然后将参数传递给其后面的命令，作为后面命令的命令行参数

### xargs是什么，与管道有什么不同 ###

xargs与管道有什么不同呢，这是两个很容易混淆的东西，看了上面的xargs的例子还是有点云里雾里的话，我们来看下面的例子弄清楚为什么需要xargs：

echo '--help' | cat   
输出：  
\--help

echo '--help' | xargs cat   
输出：

1.  `Usage: cat [OPTION]... [FILE]...`
2.  
3.  `Concatenate FILE(s), or standard input, to standard output.`

可以看到 echo '--help' | cat   该命令输出的是echo的内容，也就是说将echo的内容当作cat处理的文件内容了，实际上就是echo命令的输出通过管道定向到cat的输入了。然后cat从其标准输入中读取待处理的文本内容。这等价于在test.txt文件中有一行字符 '--help' 然后运行  cat test.txt 的效果。

而 echo '--help' | xargs cat 等价于 cat --help 什么意思呢，就是xargs将其接受的字符串 --help 做成cat的一个命令参数来运行cat命令，同样  echo 'test.c test.cpp' | xargs cat 等价于 cat test.c test.cpp 此时会将test.c和test.cpp的内容都显示出来。

### xargs的一些选项 ###

相信到这里应该都知道xargs的作用了，那么我们看看xargs还有一些有用的选项：

1. -d 选项  
默认情况下xargs将其标准输入中的内容以空白(包括空格、Tab、回车换行等)分割成多个之后当作命令行参数传递给其后面的命令，并运行之，我们可以使用 -d 命令指定分隔符，例如：  
echo '11@22@33' | xargs echo   
输出：  
11@22@33  
默认情况下以空白分割，那么11@22@33这个字符串中没有空白，所以实际上等价于 echo 11@22@33 其中字符串 '11@22@33' 被当作echo命令的一个命令行参数  
  
echo '11@22@33' | xargs -d '@' echo   
输出：  
11 22 33  
指定以@符号分割参数，所以等价于 echo 11 22 33 相当于给echo传递了3个参数，分别是11、22、33

2. -p 选项  
使用该选项之后xargs并不会马上执行其后面的命令，而是输出即将要执行的完整的命令(包括命令以及传递给命令的命令行参数)，询问是否执行，输入 y 才继续执行，否则不执行。这种方式可以清楚的看到执行的命令是什么样子，也就是xargs传递给命令的参数是什么，例如：  
echo '11@22@33' | xargs -p -d '@'  echo   
输出：  
echo 11 22 33  
 ?...y      ==>这里询问是否执行命令 echo 11 22 33 输入y并回车，则显示执行结果，否则不执行  
 11 22 33   ==>执行结果

3. -n 选项  
该选项表示将xargs生成的命令行参数，每次传递几个参数给其后面的命令执行，例如如果xargs从标准输入中读入内容，然后以分隔符分割之后生成的命令行参数有10个，使用 -n 3 之后表示一次传递给xargs后面的命令是3个参数，因为一共有10个参数，所以要执行4次，才能将参数用完。例如：  
  
echo '11@22@33@44@55@66@77@88@99@00' | xargs -d '@' -n 3 echo   
输出结果：  
11 22 33  
44 55 66  
77 88 99  
00  
等价于：  
echo 11 22 33  
echo 44 55 66  
echo 77 88 99  
echo 00  
实际上运行了4次，每次传递3个参数，最后还剩一个，就直接传递一个参数。

4. -E 选项，有的系统的xargs版本可能是-e  eof-str  
该选项指定一个字符串，当xargs解析出多个命令行参数的时候，如果搜索到-e指定的命令行参数，则只会将-e指定的命令行参数之前的参数(不包括-e指定的这个参数)传递给xargs后面的命令  
echo '11 22 33' | xargs -E '33' echo   
输出：  
11 22  
  
可以看到正常情况下有3个命令行参数 11、22、33 由于使用了-E '33' 表示在将命令行参数 33 之前的参数传递给执行的命令，33本身不传递。等价于 echo 11 22 这里-E实际上有搜索的作用，表示只取xargs读到的命令行参数前面的某些部分给命令执行。  
  
注意：-E只有在xargs不指定-d的时候有效，如果指定了-d则不起作用，而不管-d指定的是什么字符，空格也不行。  
  
echo '11 22 33' | xargs -d ' ' -E '33' echo  => 输出 11 22 33  
echo '11@22@33@44@55@66@77@88@99@00 aa 33 bb' | xargs -E '33' -d '@' -p  echo  => 输出 11 22 33 44 55 66 77 88 99 00 aa 33 bb

\#\# -0 选项表示以 '\\0' 为分隔符，一般与find结合使用

find . -name "\*.txt"  
输出：  
./2.txt  
./3.txt  
./1.txt     => 默认情况下find的输出结果是每条记录后面加上换行，也就是每条记录是一个新行  
  
find . -name "\*.txt" -print0  
输出：  
./2.txt./3.txt./1.txt     => 加上 -print0 参数表示find输出的每条结果后面加上 '\\0' 而不是换行  
  
find . -name "\*.txt" -print0 | xargs -0 echo   
输出：  
./2.txt ./3.txt ./1.txt  
  
find . -name "\*.txt" -print0 | xargs -d '\\0' echo   
输出：  
./2.txt ./3.txt ./1.txt  
  
xargs的 -0 和 -d '\\0' 表示其从标准输入中读取的内容使用 '\\0' 来分割，由于 find 的结果是使用 '\\0' 分隔的，所以xargs使用 '\\0' 将 find的结果分隔之后得到3个参数： ./2.txt ./3.txt ./1.txt  注意中间是有空格的。上面的结果就等价于 echo ./2.txt ./3.txt ./1.txt  
  
实际上使用xargs默认的空白分隔符也是可以的  find . -name "\*.txt"  | xargs  echo   因为换行符也是xargs的默认空白符的一种。find命令如果不加-print0其搜索结果的每一条字符串后面实际上是加了换行