- 主题:想搞个机器玩ai
有什么建议？
--
FROM 39.149.15.*
放弃吧，买机器的钱用来买token 能用好几年了
【 在 upndown (每天锻炼2小时为祖国健康工作100年) 的大作中提到: 】
: 有什么建议？
:
: --
: 嗯，那是十二月头，天气冷得像巫婆的奶头。 ----塞林格《麦田里的守望者》
--
FROM 119.166.113.*
买不如租
--
FROM 120.229.31.*
30000多的MAC STUDIO 最好。但别的用途不是很好
--
FROM 58.246.240.*
取决于你想跑多少个参数的模型，模型大小决定了需要的显存大小。
1、买个好显卡
2、统一内存架构的机器好，内存能当显存用。也就是apple m4系列，mini的便宜点。
3、AMD的EYPC也可以
--
修改:z16166 FROM 222.129.204.*
FROM 222.129.204.*
貌似8台mac mini能跑满血版？
--
FROM 180.167.100.*
取决于你想怎么玩吧：
要是想部署个主流全量大模型（不是量化阉割版），最低两百万RMB就够，不贵。
要是想部署个最小的蒸馏模型（1.5b）玩，就买台显存4G以上的游戏本，大几千到一两万RMB，有点小贵哈。
要是只想用大模型的问答能力开发自己的应用，最低成本方式也得调api，以阿里云百炼问deepseek-distill-qwen7b模型为例，每千token收费0.001元，相当贵了。
--
FROM 218.17.50.*
看预算吧，按照deepseek官方文件，显卡最少需要3060以上，是能用的基础。
如果是低端应用，1-5个人使用，模型规模比较小，推荐的是4070ti显卡+7600x的cpu，16G显存，能力最大能支持到14b，实际跑不会太爽。可以看看联想或者惠普的台式机，现在补贴减2000，1.2万能拿下。
如果是中端一点的应用，30人以下的使用规模，推荐是4090或者5090的显卡，24G显存，能力最大能支持32b，也就是有还可以的逻辑推理能力了，会卡。但能爽跑14b，基本只能攒机，显卡得抢，很难买到原价的。讲道理2万多能拿下，但实际现在可能得3.5万。
如果是稍微舒服一点的小规模应用，50人-100人的使用规模，那就是H100的显卡，也就是专门的gpu电脑，能爽跑32b。最便宜讲道理18万能拿下，但实际就不好说了，我不了解，不知道。
给你回答这个，是因为我也有这个想法，我问的deepseek。。。
--
修改:knann FROM 223.72.208.*
FROM 223.72.208.*
不需要200万，十卡RTX8000的二手4U服务器，15万应该能拿下，勉强能跑671b模型
【 在 epiphany2024 的大作中提到: 】
: 取决于你想怎么玩吧：
: 要是想部署个主流全量大模型（不是量化阉割版），最低两百万RMB就够，不贵。
: 要是想部署个最小的蒸馏模型（1.5b）玩，就买台显存4G以上的游戏本，大几千到一两万RMB，有点小贵哈。
: ...................
--
FROM 112.97.80.*
你们这都太贵了，闲鱼上买个二手台式机，4060显卡（8G），不会超过6000元
跑32B没问题的，就是稍微慢点，14B很顺畅，8B非常快了
24G的内存支持更大的模型了
【 在 knann 的大作中提到: 】
: 看预算吧，按照deepseek官方文件，显卡最少需要3060以上，是能用的基础。
: 如果是低端应用，1-5个人使用，模型规模比较小，推荐的是4070ti显卡+7600x的cpu，16G显存，能力最大能支持到14b，实际跑不会太爽。可以看看联想或者惠普的台式机，现在补贴减2000，1.2万能拿下。
: 如果是中端一点的应用，30人以下的使用规模，推荐是4090或者5090的显卡，24G显存，能力最大能支持32b，也就是有还可以的逻辑推理能力了，会卡。但能爽跑14b，基本只能攒机，显卡得抢，很难买到原价的。讲道理2万多能拿下，但实际现在可能得3.5万。
: ...................
--
FROM 39.155.175.*