按上述配置做出来看看。
k80自己没风扇,需要其他风扇散热,供电接口和一般电源不同,
k80构架比较老,算力有限,在大语言模型的量化等步骤上可能有限制。
显存要大是一方面,但计算力也不能太缺少。用六张4G显存的显卡能否超过3090运行大
模型的速度?
网上也有用纯cpu配大内存运行大语言模型的视频,和显卡的运行结果也有差异,价格差
异是有原因的。当然懂得多可以省钱或者挣钱。
主贴这个主机当时就是为了能用较少的钱来跑AI才买的,考察各种配置以后的决定。当
然见识可能不如版上的网友更多吧。
我还是希望大家能有更多的实测结果来交流。这样也能让别人少走点弯路。谢谢了。
【 在 do 的大作中提到: 】
: 我以前也被迷惑了,以为E5不错的,后来查询各种CPU跑分、价格、支持内存频率和通道数等,才明白E5真的是垃圾。而且E5不支持AVX512等对AI很有用的指令集。
: 我现在是双志强6138,64G的内存,才1400元。速度估计是楼主速度的4倍,省下钱可以买块K80 24GB推理卡,还不到300元,再把内存配满,轻松跑DS 70B。别看K80架构老,推理不慢的,关键是显存大。就算3090做推理,GPU占用率很低,所以用速度更快的GPU意义不大,不如显存重要。
: [upload=1][/upload]
: ...................
--
FROM 222.131.247.*