单机全部上目前最顶级的配置都搞不定，还想要二手？

【 在 jamwswallace 的大作中提到: 】
: 标  题: 求助，能跑大模型的最低配置或者二手
: 发信站: 水木社区 (Wed Mar 13 10:13:13 2024), 站内
:
: 想自己弄个单机，跑跑大模型，处理私有数据集。请推荐最低配置的显卡及系统配置。或者哪有组装好的二手机。
: 多谢
:
:
: --
:
: ※ 来源:·水木社区 http://www.mysmth.net·[FROM: 221.219.64.*]
--
FROM 114.252.106.*

1b模型太少，大多数开源模型都是6b 7b起步

真要最低配，4代以上i7 或者amd zen2以上，再低的cpu缺指令集 或性能太差
显卡有tensorcore，16G以上显存
b85+1230v3（1245v3） + 32G 内存+ 2070 16G 是能不量化跑6b开源模型下限，大约2500元

正常点的机器，
12400+32G x 2 + 3090 靠谱些，1w以内能搞定
--
修改:LYMing1986 FROM 120.244.234.*
FROM 120.244.234.*

3090是不是太奢侈了？
光这个都好几千了吧

【 在 LYMing1986 的大作中提到: 】
: 1b模型太少，大多数开源模型都是6b 7b起步
: 真要最低配，4代以上i7 或者amd zen2以上，再低的cpu缺指令集 或性能太差
: 显卡有tensorcore，16G以上显存
: ...................
--
FROM 39.155.175.*

现在大家往往都量化跑，12G显存大概跑4bit量化的13/14B比较稳，现在也有k/v cache的部分量化了；然后12G勉强跑34B的iq2_xxs的gguf量化也是能运行的。

6~7B有openchat-3.5系列和Yi/Qwen等系列，QK5_M之类量化效果比4bit更好。
9B的Yi刚出来，相关的微调不够多，12G 按说也能跑QK5_M。

24G可以比较舒服的跑34B的4bit量化。

选新显卡，基本上12G显存就是一个下限，3060起，16G的4060ti也是个可以的选择，24G的3090/4090D就是比较舒服的了。
二手卡自己很折腾可以考虑P40 24G的，但是原装没风扇（装在服务器有风道机箱的），需要自己折腾风扇散热。
也有改装的2080ti 11G升22G的卡，就看运气了。
--
修改:haili FROM 119.57.72.*
FROM 119.57.72.*

俺不推荐3060，而4060ti不是5k的配置啊
前者才12G显存，算力和显存都非常不够用

4060ti 8G显存太小，肯定不能用；16G要3500元以上。

13400f要一千多，主板大几百，硬盘大几百，机箱电源键鼠又要几百，俩32G ddr4加起来的七八百，如果上128G更要一千五
所以13400f+4060ti的整机就要6000-8000。

这么算下来，4060ti对比3090节省的两千多块，或许不太有意义了

【 在 adhere 的大作中提到: 】
: 3060 和4060ti的配置差不多5k
: 你呼啦一下子从2千五到1万了，中间少了一个配置，我看后面有人补充上了
:
--
修改:LYMing1986 FROM 120.244.235.*
FROM 120.244.235.*