- 主题:怎么低成本搞一台能满血R1的洋垃圾
哈哈
--
FROM 58.246.240.*
4090只能14B，再往上成本有点高了
【 在 forthehorde 的大作中提到: 】
: 放弃这种想法
--
FROM 58.246.240.*
确实基本不行，只能等技术进步
【 在 LYMing1986 的大作中提到: 】
: 放弃这种想法
: 或者cpu推理
--
FROM 124.79.118.*
现在看MAC成本最低，因为显存和内存共用
30000多的机器能跑70B
【 在 mindcontrol 的大作中提到: 】
: mac可能是一条出路
--
FROM 58.246.240.*
主要吃显存，消费级显存小
4090也就比魔改2070强一点
【 在 LYMing1986 的大作中提到: 】
: 671b原版模型最小也是Q4_K_M
: 8卡4090 48G都不够，单机多消费级显卡没戏
--
FROM 58.246.240.*
核显不行的
没有独立显存。用内存速度很慢，cpu大量参与运算
【 在 LYMing1986 的大作中提到: 】
: 3000多的机器也能显卡跑70B
: 比如
: AMD 8845小主机，核显780M能跑ROCm
: ...................
--
FROM 124.79.118.*