水木社区手机版
首页
|版面-人工智能(AI)|
新版wap站已上线
返回
1/1
|
转到
主题:本地部署一个“小”模型,能玩啥呢?
1楼
|
poocp
|
2025-01-28 15:00:46
|
展开
7B的Qwen2.5做普通网页翻译够用了,我现在对每个英语页面都默认开启双语显示,看起来省力,万一中文版不准确,以还有原文可以确认。
--
修改:poocp FROM 171.221.52.*
FROM 171.221.52.*
3楼
|
poocp
|
2025-01-28 17:26:31
|
展开
在浏览器插件商店搜“沉浸式翻译”,支持很多在线翻译引擎和在线AI引擎,也可以手动添加本地AI小模型,用LM Studio跑服务方式,或者ollama(需要配置环境变量支持)。
【 在 chunhui @ [AI] 的大作中提到: 】
:
: 这还需要个浏览器插件之类的吧?让这个插件或翻译程序连本地的大模型?
: 【 在 poocp 的大作中提到: 】
: : 7B的Qwen2.5做普通网页翻译够用了,我现在对每个英语页面都默认开启双语显示,看起来省力,万一中文版不准确,以还有原文可以确认。
:
--
FROM 117.139.226.*
22楼
|
poocp
|
2025-02-03 10:14:31
|
展开
成本再降10倍,能安装在手机上,就是能离线工作的个人智脑雏形了。不知道还有用几年时间能够达成。
【 在 qgg 的大作中提到: 】
: 有人试过了,不用显卡,把内存弄到768G,可以跑完整版的DeepSeek-r1。成本只要6000美元,不到显卡版本的1/10。当然速度要慢很多,每秒6-8tokens,但个人用应该是足够了。
: 类似的思路,弄个64G内存跑70B的肯定也可以,不用昂贵的显卡了。
--
FROM 171.221.52.*
26楼
|
poocp
|
2025-02-03 14:39:37
|
展开
我说的是671b的正式版本,不是像个智障一样的70b,或者连弱智都不如的更低参数版本。
目前的地球科技还做不到把671b装在手机上并且完成推理。
【 在 JJason 的大作中提到: 】
: 现在已经有人安装到手机上了
--
FROM 171.221.52.*
1/1
|
转到
选择讨论区
首页
|
分区
|
热推
BYR-Team
©
2010.
KBS Dev-Team
©
2011
登录完整版