水木社区手机版
首页
|版面-人工智能(AI)|
新版wap站已上线
展开
|
楼主
|
同主题展开
|
溯源
|
返回
上一篇
|
下一篇
|
同主题上篇
|
同主题下篇
主题:Re: mac跑大模型怎么样呢?
omelet
|
2023-11-07 14:15:23
|
估算的话,干脆直接记 1就好了,也就是 7B-BF 就是 7 * 2 = 14 GB 的显存,因为除了参数,推理还需要另外的显存,溢出一点没坏处。
【 在 artech51 的大作中提到: 】
: 4090的话是不是跑不了34B?
--
FROM 222.129.3.*
上一篇
|
下一篇
|
同主题上篇
|
同主题下篇
选择讨论区
首页
|
分区
|
热推
BYR-Team
©
2010.
KBS Dev-Team
©
2011
登录完整版