不需要200万，十卡RTX8000的二手4U服务器，15万应该能拿下，勉强能跑671b模型
【 在 epiphany2024 的大作中提到: 】
: 取决于你想怎么玩吧：
: 要是想部署个主流全量大模型（不是量化阉割版），最低两百万RMB就够，不贵。
: 要是想部署个最小的蒸馏模型（1.5b）玩，就买台显存4G以上的游戏本，大几千到一两万RMB，有点小贵哈。
: ...................
--
FROM 112.97.80.*