- 主题:怎么低成本搞一台能满血R1的洋垃圾
我自己用笔记本搞了个32b的蒸馏,问了几个问题,耗时半个小时,电量直接从100%降到70,可见要是完全体,功耗不低。
【 在 Auguster (阳高) 的大作中提到: 】
: 四川有很多小水电,没有上网资格,电价很便宜的
:
: 【 在 zhyulily 的大作中提到: 】
: : 电费都用不起。
--
FROM 117.114.192.*
5卡、6卡要到400G显存,单卡得80G, 只有H100支持,这个价格就上天了;
所以现在跑Deepseek 671b模型的最廉价方案,只有10卡RTX8000, PCI-E3.0太慢也没办
法,好歹能带得动
【 在 LYMing1986 的大作中提到: 】
: 10卡肯定吵
: 且消费级机箱,比如追风者高塔 都放不了10卡。
: 理论6卡,实际4-5卡
: ...................
--
FROM 14.153.159.*
是时候研究下KTransformer的方案了
【 在 mazz 的大作中提到: 】
: 5卡、6卡要到400G显存,单卡得80G, 只有H100支持,这个价格就上天了;
: 所以现在跑Deepseek 671b模型的最廉价方案,只有10卡RTX8000, PCI-E3.0太慢也没办
: 法,好歹能带得动
: ...................
--
FROM 115.171.216.*