- 主题:想搞个机器玩ai
这个可以么？我是问的ai，同时有一个高校老师也说过差不多的，我真不清楚。4060显卡的新机器，国补优惠百分之二十完了也就6000多点点，不用二手了
【 在 adhere 的大作中提到: 】
: 你们这都太贵了，闲鱼上买个二手台式机，4060显卡（8G），不会超过6000元
: 跑32B没问题的，就是稍微慢点，14B很顺畅，8B非常快了
: 24G的内存支持更大的模型了
: ...................
--
FROM 223.104.39.*
自己家玩没前途，除非准备花几十~上百万
【 在 upndown 的大作中提到: 】
: 有什么建议？
--
FROM 116.237.244.*
RTX800卡这么便宜了？？？ 15万怕不是不含显卡的价格...
【 在 mazz 的大作中提到: 】
: 不需要200万，十卡RTX8000的二手4U服务器，15万应该能拿下，勉强能跑671b模型
--
FROM 120.235.173.*
当然可以啊，我现在的配置就是4060TI+32G内存，跑32B的慢点，但是我可以忍受，大概是1秒2个字
8B的模型，一秒100字
【 在 knann 的大作中提到: 】
: 这个可以么？我是问的ai，同时有一个高校老师也说过差不多的，我真不清楚。4060显卡的新机器，国补优惠百分之二十完了也就6000多点点，不用二手了
--
FROM 111.201.129.*
你大概弄混了H800和RTX8000, 当然十卡RTX4090 48GB魔改版更强，B站有人放出视频，涡轮卡就像开飞机一样
【 在 epiphany2024 的大作中提到: 】
: RTX800卡这么便宜了？？？ 15万怕不是不含显卡 ...
--
FROM 112.97.66.*
tx云v100的实例一个星期59
【 在 z16166 (Netguy) 的大作中提到: 】
: 取决于你想跑多少个参数的模型，模型大小决定了需要的显存大小。
:
: 1、买个好显卡
:
--
FROM 112.97.87.*
建议是不要搞。直接买token就行了。
即使你能稳定的，24x7的，以上百万token的规模消耗。也依然没有买token划算。
【 在 upndown 的大作中提到: 】
: 有什么建议？
--
FROM 222.68.51.*
32g的模型，买个jetson xavier只要2k出头，满载功耗30w，跑32B一秒都能有3个token呢。
用自己机器跑这个毫无意义
【 在 adhere 的大作中提到: 】
: 当然可以啊，我现在的配置就是4060TI+32G内存，跑32B的慢点，但是我可以忍受，大概是1秒2个字
: 8B的模型，一秒100字
:
--
FROM 222.68.51.*
目前清华的开源方案一块24显存的显卡+512G内存，可以跑满血DS-R1
每秒好像是8tokens，不支持并发，个人可用
【 在 upndown 的大作中提到: 】
: 有什么建议？
--
FROM 171.213.18.*
Q4量化的吧？应该不算完全满血吧……
【 在 gofly 的大作中提到: 】
: 目前清华的开源方案一块24显存的显卡+512G内存，可以跑满血DS-R1
: 每秒好像是8tokens，不支持并发，个人可用
--
FROM 223.70.232.*