- 主题:求指点高性能计算的技术栈学习路径
平时抠代码基本凭心情套用tbb::pineline和tbb::parallel,没用过L1 optimize也没用过cpu affinity。编译后的程序在单cpu机器上多核较单核加速比不错,但在2路ylj、4路金牌上明明cpu占用率80% 了,测下来吞吐率加速比不高,原因可能是什么?
我是不是该补些姿势,从哪里学起?
--
FROM 123.150.181.*
可能需要了解一下NUMA这个概念
【 在 Akyrum (为祖国健康吃饭100年) 的大作中提到: 】
: 平时抠代码基本凭心情套用tbb::pineline和tbb::parallel,没用过L1 optimize也没用过cpu affinity。编译后的程序在单cpu机器上多核较单核加速比不错,但在2路ylj、4路金牌上明明cpu占用率80% 了,测下来吞吐率加速比不高,原因可能是什么?
: 我是不是该补些姿势,从哪里学起?
--
FROM 218.83.119.*
高算主要基础课是计算机体系结构,编码只是技巧应用
【 在 Akyrum 的大作中提到: 】
: 平时抠代码基本凭心情套用tbb::pineline和tbb::parallel,没用过L1 optimize也没用过cpu affinity。编译后的程序在单cpu机器上多核较单核加速比不错,但在2路ylj、4路金牌上明明cpu占用率80% 了,测下来吞吐率加速比不高,原因可能是什么?
: 我是不是该补些姿势,从哪里学起?
- 来自「最水木 for iPhone Xs」
--
FROM 124.160.213.*
学过,但怎么指导底层搬砖等具体活呀,比如程序咋知道ccnuma信息,抠淀一般用啥库或框架?考虑将来会上网线联起来的numa集群,抠淀时应留意什么
【 在 dedeLotus 的大作中提到: 】
: 可能需要了解一下NUMA这个概念
:
--
FROM 123.150.181.*
国内教体系结构的学校本来就不多,公司一起码代码的兄弟们能把业务处理逻辑写顺就不错了....去学体系结构不现实
【 在 StephenLee 的大作中提到: 】
: 高算主要基础课是计算机体系结构,编码只是技巧应用
:
: - 来自「最水木 for iPhone Xs」
--
FROM 123.150.181.*
这是技巧不是技术吧
【 在 Akyrum 的大作中提到: 】
: 平时抠代码基本凭心情套用tbb::pineline和tbb::parallel,没用过L1 optimize也没用过cpu affinity。编译后的程序在单cpu机器上多核较单核加速比不错,但在2路ylj、4路金牌上明明cpu占用率80% 了,测下来吞吐率加速比不高,原因可能是什么?
: 我是不是该补些姿势,从哪里学起?
--
FROM 111.199.218.*
找本介绍openmp的书,上面一般都会介绍些技巧的。
【 在 Akyrum 的大作中提到: 】
: 学过,但怎么指导底层搬砖等具体活呀,比如程序咋知道ccnuma信息,抠淀一般用啥库或框架?考虑将来会上网线联起来的numa集群,抠淀时应留意什么
: :
--
FROM 120.244.156.*
给高校做的一个课题,64核4路金牌比32核3970x(降频180w)慢4%,前几天内部初验时老师提了意见,既要提高加速比又要支持集群还要支持国产化啥的。
年底结题,我感觉可以再优化下。现实问题是cpu接近满占用了,3970x也是4个numa,为啥3970x能加速30多倍,而4路5218也只加速30多倍,加速比不上去的原因没弄清楚,这是1个待解决问题。
听说设affinity可提高加速比,要改起来程序框架变动不小,除了要设亲和性,还哪些优化技巧?这是第2个问题
【 在 dormouseBHU 的大作中提到: 】
: 找本介绍openmp的书,上面一般都会介绍些技巧的。
--
FROM 123.150.181.*
先想办法找瓶颈点在哪里吧。。。
是不是数据搬运一类的操作太多了
【 在 Akyrum 的大作中提到: 】
: 给高校做的一个课题,64核4路金牌比32核3970x(降频180w)慢4%,前几天内部初验时老师提了意见,既要提高加速比又要支持集群还要支持国产化啥的。
: 年底结题,我感觉可以再优化下。现实问题是cpu接近满占用了,3970x也是4个numa,为啥3970x能加速30多倍,而4路5218也只加速30多倍,加速比不上去的原因没弄清楚,这是1个待解决问题。
: 听说设affinity可提高加速比,要改起来程序框架变动不小,除了要设亲和性,还哪些优化技巧?这是第2个问题
--
FROM 120.244.156.*
拿 intel vtune 入手可能是个不错的选择,可以先看下瓶颈在哪里。计算,访存,硬盘,网络都有可能,你要是一个个优化方法试过去,实在太低效
【 在 Akyrum 的大作中提到: 】
: 国内教体系结构的学校本来就不多,公司一起码代码的兄弟们能把业务处理逻辑写顺就不错了....去学体系结构不现实
: 【 在 StephenLee 的大作中提到: 】
: : 高算主要基础课是计算机体系结构,编码只是技巧应用
: ....................
- 来自「最水木 for iPhone Xs」
--
FROM 124.160.212.*