Shell多线程操作及线程数控制实例

ゝ一世哀愁。 2021-06-24 14:34 381阅读 0赞

**前言**

在业务开发过程中，经常会在后台写一些shell脚本处理数据，但估计很多人不知道shell脚本也可以支持多线程，而且非常简单。本篇文章主要就是介绍shell实现多进程以及进程数量控制。

**需求**

为了更好的说明问题，我们结合例子讲解，假设需求就是扫描url.txt文件，然后判断里面的URL是否失效。url.txt文件的内容是一行一个URL，如：

复制代码代码如下:

http://www.baidu.com

http://www.google.com

http://www.jb51.net

**单进程实现**

那么shell脚本scanUrl.sh可以这样写：

复制代码代码如下:

\#!/bin/bash  
\#判断是否有参数  
if \[ $\# != 1 \] ;then  
        echo "The parameters you enter is not correct !";  
        exit -1;  
fi

\#循环读出URL并判断状态码  
while read line  
do  
\{  
    isok=\`curl -I -o /dev/null -s -w %\{http\_code\} $line\`  
    if \[ "$isok" = "200" \]; then  
        echo $line "OK"   
    else  
        echo $line "no"   
    fi  
\}  
done < $1  
echo "执行结束"

那么可以执行下面的命令扫描：

复制代码代码如下:

/bin/sh scanUrl.sh url.txt

但这样脚本执行非常慢，一万个URL几个小时都扫描不完。

**多进程实现**

改成多进程实现非常简单，只需要在do后面的大括号加 & 符号，在done后面加一个wait,表示父进程等待子进程退出后再退出

复制代码代码如下:

\#!/bin/bash  
\#判断是否有参数  
if \[ $\# != 1 \] ;then  
        echo "The parameters you enter is not correct !";  
        exit -1;  
fi

\#循环读出URL并判断状态码  
while read line  
do  
\{  
    isok=\`curl -I -o /dev/null -s -w %\{http\_code\} $line\`  
    if \[ "$isok" = "200" \]; then  
        echo $line "OK"   
    else  
        echo $line "no"   
    fi  
    \}  
\}&  
done < $1  
wait  
echo "执行结束"

这样就能多进程并发执行了，但有个问题是进程会一下子非常多，几百上千，超过系统限制报错，下面我们就加上进程数控制。

**多进程实现并控制进程数**

复制代码代码如下:

\#!/bin/bash  
\#允许的进程数  
THREAD\_NUM=200  
\#定义描述符为9的管道  
mkfifo tmp  
exec 9<>tmp  
\#预先写入指定数量的换行符，一个换行符代表一个进程  
for ((i=0;i<$THREAD\_NUM;i++))  
do  
    echo -ne "\\n" 1>&9  
done

if \[ $\# != 1 \] ;then  
        echo "The parameters you enter is not correct !";  
        exit -1;  
fi

while read line  
do  
\{  
    \#进程控制  
    read -u 9  
    \{  
        \#isok=\`curl -I -o /dev/null -s -w %\{http\_code\} $line\`  
        if \[ "$isok" = "200" \]; then  
            echo $line "OK"   
        else  
            echo $line "no"   
        fi  
        echo -ne "\\n" 1>&9  
    \}&  
\}  
done < $1  
wait  
echo "执行结束"  
rm tmp

上面的代码就可以保证子进程在指定数量了，其进程控制原理是通过管道实现的，当管道无内容可读时就不会执行

复制代码代码如下:

\{  
    \#isok=\`curl -I -o /dev/null -s -w %\{http\_code\} $line\`  
    if \[ "$isok" = "200" \]; then  
        echo $line "OK"   
    else  
        echo $line "no"   
    fi  
    \#写入一个换行符  
    echo -ne "\\n" 1>&9  
\}&

而且每个进程执行完成后都会向管道写入一个换行符，从而保证进程数是指定的。

这样就能达到我们的目的了。