bash怎么规划并发提高速度

水木社区手机版

主题:bash怎么规划并发提高速度
10楼|hitero|2021-08-02 19:13:54|只看此ID
make -j
--
FROM 101.229.89.*
11楼|aono|2021-08-02 22:43:46|只看此ID
parallel
--
FROM 1.203.85.*
12楼|cocalele|2021-08-02 23:09:58|只看此ID
这个好
【在 sssss 的大作中提到: 】
: https://www.gnu.org/software/bash/manual/html_node/GNU-Parallel.html
:
--
FROM 111.197.235.*
13楼|lcgogo|2021-08-02 23:13:53|只看此ID
这个看上去最好，xargs，make，parallel感觉都只是多进程而已，不满足楼主的要求。

【在 sosei 的大作中提到: 】
: https://www.jianshu.com/p/8233b365b2a9
: 看这儿
--
FROM 1.203.117.*
14楼|wenti|2021-08-03 15:20:59|只看此ID
待测试是不是有很多会变zombie
【在 hgoldfish 的大作中提到: 】
: #/bin/sh
: env python done.py
: 然后用 python 的 multiprocessing 模块
: ...................
--
FROM 159.226.171.*
15楼|wenti|2021-08-03 15:25:11|只看此ID
有个问题是这其实是10000行类似的活同样的命令和数据参数不同而已

每次都要读取同样的数据轮询好像不能省下这个时间

有个合适的并发数目m, 我发现cpu核数>>并发数m，多于m速度反而下降了，不是IO的原因

【在 sosei 的大作中提到: 】
: https://www.jianshu.com/p/8233b365b2a9
: 看这儿
--
FROM 159.226.171.*
16楼|wenti|2021-08-03 15:27:04|只看此ID
parallel -j 10 < file

把一万行写到file里，能一直保证是10个任务在跑是吧？
不过要读一万次，重复读取，有点浪费时间

【在 JulyClyde 的大作中提到: 】
: 不能控制数量
:
--
FROM 159.226.171.*
17楼|JulyClyde|2021-08-04 11:09:02|只看此ID
为什么会
【在 wenti (question) 的大作中提到: 】
: 待测试是不是有很多会变zombie
--
FROM 113.108.77.*
18楼|JulyClyde|2021-08-04 11:09:20|只看此ID
为什么要读一万次？
那程序得写的多烂才能这样啊？
【在 wenti (question) 的大作中提到: 】
: parallel -j 10 < file
: 把一万行写到file里，能一直保证是10个任务在跑是吧？
: 不过要读一万次，重复读取，有点浪费时间
--
FROM 113.108.77.*
19楼|wenti|2021-08-04 21:48:54|只看此ID
这个命令来自于某个软件是个黑盒子只能调用它
【在 JulyClyde 的大作中提到: 】
: 为什么要读一万次？
: 那程序得写的多烂才能这样啊？
:
--
FROM 159.226.171.*