水木社区手机版
首页
|版面-人工智能(AI)|
新版wap站已上线
展开
|
楼主
|
同主题展开
|
溯源
|
返回
上一篇
|
下一篇
|
同主题上篇
|
同主题下篇
主题:Re: 本地部署一个“小”模型,能玩啥呢?
heideggerr
|
2025-02-03 17:46:42
|
我对比过很多问题,本地部署的7b、14b和deepseek官网的差别没那么大。小模型时代的特点就是模型体积越来越小,三四个月前要用双卡4090,5万块钱服务器才能达到的效果,现在不到2000块钱配个单卡3060,改用14B模型,大概也能跑出来个9成。
【 在 poocp 的大作中提到: 】
: 我说的是671b的正式版本,不是像个智障一样的70b,或者连弱智都不如的更低参数版本。
: 目前的地球科技还做不到把671b装在手机上并且完成推理。
:
--
FROM 113.233.201.*
上一篇
|
下一篇
|
同主题上篇
|
同主题下篇
选择讨论区
首页
|
分区
|
热推
BYR-Team
©
2010.
KBS Dev-Team
©
2011
登录完整版