一、前言
在业务开发过程中，经常会在后台写一些shell脚本处理数据，但估计很多人不知道shell脚本也可以支持多进程，而且非常简单。本篇文章主要就是介绍shell实现多进程以及进程数量控制。
二、需求
为了更好的说明问题，我们结合例子讲解，假设需求就是扫描url.txt文件，然后判断里面的URL是否失效。url.txt文件的内容是一行一个URL，如：
|
1 2 3 4 |
www.baidu.com www.51cto.com www.ywnds.com www.bing.cn |
单进程实现
那么shell脚本scanurl.sh可以这样写：
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 |
#!/bin/bash if [ $# != 1 ] ;then echo "The parameters you enter is not correct !"; exit -1; fi # 循环读出URL并判断状态码; echo "执行开始: `date +%s`" while read line do { isok=`curl -I -o /dev/null -s -w %{http_code} $line` if [ "$isok" = "200" ]; then echo $line "OK" else echo $line "no" fi } done < $1 echo "执行结束: `date +%s`" |
那么可以执行下面的命令扫描：
|
1 |
$ /bin/sh scanurl.sh url.txt |
但这样脚本执行非常慢，一万个URL几个小时都扫描不完。
多进程实现
改成多进程实现非常简单，只需要在do后面的大括号加&符号，在done后面加一个wait，表示父进程等待子进程退出后再退出。
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 |
#!/bin/bash if [ $# != 1 ] ;then echo "The parameters you enter is not correct !"; exit -1; fi # 循环读出URL并判断状态码; echo "执行开始: `date +%s`" while read line do { isok=`curl -I -o /dev/null -s -w %{http_code} $line` if [ "$isok" = "200" ]; then echo $line "OK" else echo $line "no" fi }& done < $1 wait echo "执行结束: `date +%s`" |
这样就能多进程并发执行了，但有个问题是进程会一下子非常多，几百上千，超过系统限制报错，下面我们就加上进程数控制。
多进程实现并控制进程数
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 |
#!/bin/bash # 允许的进程数; THREAD_NUM=20 # 定义描述符为9的管道; mkfifo tmp exec 9<> tmp # 预先写入指定数量的换行符，一个换行符代表一个进程; for ((i=0;i<$THREAD_NUM;i++)) do echo -ne "\n" 1>&9 done # 循环执行sleep命令; echo "执行开始: `date +%s`" for i in `seq 1 30`; do { # 进程控制; read -u 9 { sleep 10 echo -ne "\n" 1>&9 }& } done wait echo "执行结束: `date +%s`" rm tmp |
上面的代码就可以保证子进程在指定数量了，其进程控制原理是通过管道实现的，当管道无内容可读时就不会执行。而且每个进程执行完成后都会向管道写入一个换行符，从而保证进程数是指定的。
这样就能达到我们的目的了。
最后来一个根据位置参数个数跑多进程任务，示例代码如下：
|
1 2 3 4 5 6 7 8 9 10 11 12 |
$ cat test.sh for((i=0;$#>i;));do { sleep $1 if [ $? = 0 ];then echo "$1 ok" else echo "$1 fail" fi }& shift 1 done |
然后就可以在命令行，输入数值了:
|
1 2 3 4 5 6 |
$ bash test.sh 10 15 20 25 $ ps aux | grep sleep root 13668 0.0 0.0 100908 572 pts/1 S 15:24 0:00 sleep 10 root 13670 0.0 0.0 100908 572 pts/1 S 15:24 0:00 sleep 15 root 13672 0.0 0.0 100908 576 pts/1 S 15:24 0:00 sleep 20 root 13673 0.0 0.0 100908 576 pts/1 S 15:24 0:00 sleep 25 |
脚本会跟着你位置参数的个数决定开启多少个进程跑任务。
如果您觉得本站对你有帮助，那么可以支付宝扫码捐助以帮助本站更好地发展，在此谢过。
