- 主题:bash怎么规划并发 提高速度
一个大活,分成了100份小活,每个小活100个不同参数
例如
xxx 参数1 yy.dat
xxx 参数2 yy.dat
。。。。
xxx 参数10000 yy.dat
不同的参数,读取同样的数据 yy.dat, 然后计算,得结果
现在问题是,有的算得快,有的算的慢,有的核早就算完歇息了
怎么提高效率,充分利用这些核,减少歇息时间,最后所有的核一直干活
--
FROM 159.226.171.*
#/bin/sh
env python done.py
然后用 python 的 multiprocessing 模块
【 在 wenti (question) 的大作中提到: 】
: 一个大活,分成了100份小活,每个小活100个不同参数
: 例如
: xxx 参数1 yy.dat
: ...................
--
修改:hgoldfish FROM 112.47.122.*
FROM 112.47.122.*
用xargs或者gnu parallel?
【 在 wenti 的大作中提到: 】
: 一个大活,分成了100份小活,每个小活100个不同参数例如xxx 参数1  yy.datx ...
--
FROM 223.104.176.*
用最土的&后台执行能不能达到目的?
【 在 wenti 的大作中提到: 】
: 一个大活,分成了100份小活,每个小活100个不同参数
: 例如
: xxx 参数1 yy.dat
: ...................
--
FROM 101.93.34.*
不能控制数量
【 在 creek (伯威~凌乱雾夜~) 的大作中提到: 】
: 用最土的&后台执行能不能达到目的?
--
FROM 113.108.77.*
用make或者ninja应该可以。
【 在 wenti (question) 的大作中提到: 】
: 一个大活,分成了100份小活,每个小活100个不同参数
: 例如
: xxx 参数1 yy.dat
: ...................
--
修改:ArchLinux FROM 103.90.178.*
FROM 103.90.178.*
re,用make最简单
【 在 ArchLinux (a lightweight and flexible distribution) 的大作中提到: 】
: 用make或者ninja应该可以。
--
FROM 119.139.196.*