我觉得吧，个人买这种，便宜最重要，超过1万，还不如让公司配
个人不在乎多跑1分钟时间

给个人用户，阶梯型价格配置比较好，反正都是业余玩家

【 在 LYMing1986 的大作中提到: 】
: 俺不推荐3060，而4060ti不是5k的配置啊
: 前者才12G显存，算力和显存都非常不够用
: 4060ti 8G显存太小，肯定不能用；16G要3500元以上。
: ...................
--
FROM 111.201.133.*

非常感谢
【 在 haili 的大作中提到: 】
: 现在大家往往都量化跑，12G显存大概跑4bit量化的13/14B比较稳，现在也有k/v cache的部分量化了；然后12G勉强跑34B的iq2_xxs的gguf量化也是能运行的。
: 6~7B有openchat-3.5系列和Yi/Qwen等系列，QK5_M之类量化效果比4bit更好。
: 9B的Yi刚出来，相关的微调不够多，12G 按说也能跑QK5_M。
: ...................
--
FROM 221.219.79.*