- 主题:怎么低成本搞一台能满血R1的洋垃圾
就是说不用买Nvidia的那个小电脑了
用AMD CPU 自己加内存256G就可以跑70B的模型很快了？
【 在 LYMing1986 的大作中提到: 】
: amd核显有npu
: 性能还可以的，带宽还行
: 尤其最新的ai max380，395，都有256g的内存带宽
: ...................
--
FROM 1.119.200.*
感觉再贵也贵不过苹果的Mac和Nvidia
有苹果Mac这个锚
在这个基础上打个7-8折，肯定抢疯了，可以掀起一波装机换机热潮
【 在 LYMing1986 的大作中提到: 】
: 很快不至于，但能凑合跑
: AMD APU的NPU有几档
: 从16Tflops 到50Tflops
: ...................
--
修改:Auguster FROM 1.119.200.*
FROM 1.119.200.*
专用的加速卡?
难道不是Nvidia和Amd两家的现在在做的事吗？
【 在 Bruce12 的大作中提到: 】
: 同意
: 另外，专用的加速卡应该今年会出来
: 这样成本会进一步的降低
: ...................
--
FROM 1.119.200.*
HF有不到140G的R1 671B的DeepSeek模型了
1-2bit
【 在 LYMing1986 的大作中提到: 】
: 10卡rtx8000 48G，合显存480G，可以部署q4模型
: 提高点速度，可以用4090 48G
: 所以10卡机可以
: ...................
--
FROM 1.119.200.*
走专用的交换机
【 在 omelet 的大作中提到: 】
: N卡要搞万卡集群的话，是怎么个玩法？
:
--
FROM 1.119.200.*
换个方向，清华有个 KTransformers ，
可以实现运行 DeepSeek-R1 提升28倍
用4090D 24Gvram 跑4bit 671B 的DeepSeek R1，是每秒27.29t
【 在 LYMing1986 的大作中提到: 】
: 指导，1.x bit到2.x bit有好几档
: 没必要啊，效果差不少，这么折腾还不如买api
:
--
FROM 1.119.200.*
四川有很多小水电，没有上网资格，电价很便宜的
【 在 zhyulily 的大作中提到: 】
: 电费都用不起。
--
FROM 1.119.200.*