【 在 finlab 的大作中提到: 】
: 9字头的epyc太贵了。 7字头的便宜非常多。
: 视频也说cpu占用只有1/3， 主要是内存。 不过7字头的内存通道8个，9字头的有12个。
: 可以考虑双路7字头。
: ...................


是的，几百GB的训练好的参数都加载到内存/显存里面调用，而实际上推理运算的计算量只是访存数据N的o(N^2)左右

有内存厂商已经在想内存侧运算加速卡的主意了，因为推理运算量不大，计算模式非常单一，完全可以把简单运算单元装在内存上完成——访存、运算都由内存模块实现
--
FROM 101.82.209.*