最新的配置,服务器主板加512内存加4090单卡就可以跑671B的4bit量化版,成本十万以下,速度10左右,相当可以了,个人开发者都能在家布设了。
【 在 lvsoft (Lv(The Last Guardian)) 的大作中提到: 】
: 买好显卡也没用。想跑deepseek?80G显卡*8是它的标准配置,其他方案要么是弱智,要么就是超级蜗牛。
: 80G显存的显卡*8对任何普通人来说都是不可能的。
: 最多4bit量化打个对折勉强凑合下,再少就没法用了。
:
--
FROM 110.87.89.*