我就是比如20000行 分成100份 每份200行 去跑
每行就是参数不一样而已  但是每行都要打开关闭数据应该
【 在 JulyClyde 的大作中提到: 】
: 你确定这些程序还能记得“上次读到第几行”了吗？
:
--
FROM 159.226.171.*

不是轮询，是管道

你这个反复处理一个数据文件，把这个数据文件放到Ramdisk大概不错

【 在 wenti 的大作中提到: 】
: 有个问题是 这其实是10000行类似的活  同样的命令和数据 参数不同而已
: 每次都要读取同样的数据 轮询好像不能省下这个时间
: 有个合适的并发数目m, 我发现cpu核数>>并发数m，多于m速度反而下降了，不是IO的原因  
: ...................
--
FROM 119.248.182.*

进程数目能不能一直控制在一个固定的数 n ？

比如 10000行的任务 分成n份 有可能有的提前算完 有的晚点 这样造成算力没有充分利用

怎么控制 尽可能 同事算完？或者  比方有一个算完了  就去帮没算完的

【 在 lcgogo 的大作中提到: 】
: 这个看上去最好，xargs，make，parallel感觉都只是多进程而已，不满足楼主的要求。
:
--
FROM 159.226.171.*