下载了ds 14b压根就跑不动了 (转载)

水木社区手机版

主题:下载了ds 14b压根就跑不动了 (转载)
10楼|xishanzhuren|2025-03-04 21:35:50|只看此ID
正在考虑本地部署，主流品牌都已经推出各种配置的产品了
--
FROM 117.129.2.*
11楼|FangGuan|2025-03-05 18:21:07|只看此ID
是说联想、华为这些卖电脑的推出专门的AI机了吗？

【在 xishanzhuren 的大作中提到: 】
: 标题: Re: 下载了ds 14b压根就跑不动了 (转载)
: 发信站: 水木社区 (Tue Mar 4 21:35:50 2025), 站内
:
: 正在考虑本地部署，主流品牌都已经推出各种配置的产品了
: --
:
: ※ 来源:·水木社区 http://www.mysmth.net·[FROM: 117.129.2.*]
--
FROM 104.207.148.*
12楼|adhere|2025-03-06 09:03:49|只看此ID
那老的macpro 64G内存岂不是可以跑70B？

【在 johnbird 的大作中提到: 】
: 我用3年前的mbp m1pro款，32b模型本地推理无压力，还支持metal加速
--
FROM 39.155.175.*
13楼|johnbird|2025-03-06 09:34:26|只看此ID
应该可以不会爆内存，但没有metal加速，速度可能难以忍受

【在 adhere (黍离君) 的大作中提到: 】
:  那老的macpro 64G内存岂不是可以跑70B？
:
:  【在 johnbird 的大作中提到: 】
:  : 我用3年前的mbp m1pro款，32b模型本地推理无压力，还支持metal加速
--
FROM 39.144.103.*
14楼|darkpain|2025-03-06 12:20:52|只看此ID
速度应该不快吧，16g跑14b也就是个正常偏慢的速度，
32b再慢一倍？
【在 johnbird 的大作中提到: 】
: 我用3年前的mbp m1pro款，32b模型本地推理无压力，还支持metal加速
--
FROM 220.196.193.*
15楼|dreamr|2025-03-06 14:15:19|只看此ID
电脑配置不行，我的苹果笔记本都能跑32b模型
--
FROM 111.206.96.*
16楼|ztz|2025-03-06 14:19:26|只看此ID
啥配置？我的只能跑14b。32b的差不多1t/m
【在 dreamr 的大作中提到: 】
: 电脑配置不行，我的苹果笔记本都能跑32b模型
--
FROM 113.118.184.*
17楼|dreamr|2025-03-06 14:26:37|只看此ID
M4 pro + 48G内存

【在 ztz 的大作中提到: 】
: 啥配置？我的只能跑14b。32b的差不多1t/m
--
FROM 111.206.96.*
18楼|ztz|2025-03-06 14:28:40|只看此ID
...你怎么不整个M4 max
【在 dreamr 的大作中提到: 】
: M4 pro + 48G内存
:
--
FROM 113.118.184.*
19楼|huzq|2025-03-06 16:24:15|只看此ID
我64G内存的笔记本勉强能跑8b:-)

【在 FangGuan 的大作中提到: 】
: 【以下文字转载自 NewExpress 讨论区】发信人: FangGuan (vidrira.雯杜莉娜.芳官.耶律雄奴.金星玻璃), 信区: NewExpress标题: 下载了ds 14b压根...

- 来自水木说
--
FROM 112.67.190.*