水木社区手机版
- 主题:本地部署一个“小”模型，能玩啥呢？
- 各位你们在本地部署了大模型的。都用来干啥？ 我在想：别专门买个硬件。就用现有的，部署一个能跑起来的 小 点的模型。但不知道干啥。。。
--
FROM 114.241.2.* - 7B的Qwen2.5做普通网页翻译够用了，我现在对每个英语页面都默认开启双语显示，看起来省力，万一中文版不准确，以还有原文可以确认。
--
修改:poocp FROM 171.221.52.*
FROM 171.221.52.* - 这还需要个浏览器插件之类的吧？让这个插件或翻译程序连本地的大模型？
【 在 poocp 的大作中提到: 】
: 7B的Qwen2.5做普通网页翻译够用了，我现在对每个英语页面都默认开启双语显示，看起来省力，万一中文版不准确，以还有原文可以确认。
--
FROM 114.241.2.* - 在浏览器插件商店搜“沉浸式翻译”，支持很多在线翻译引擎和在线AI引擎，也可以手动添加本地AI小模型，用LM Studio跑服务方式，或者ollama（需要配置环境变量支持）。
【 在 chunhui @ [AI] 的大作中提到: 】
:
: 这还需要个浏览器插件之类的吧？让这个插件或翻译程序连本地的大模型？
: 【 在 poocp 的大作中提到: 】
: : 7B的Qwen2.5做普通网页翻译够用了，我现在对每个英语页面都默认开启双语显示，看起来省力，万一中文版不准确，以还有原文可以确认。
:
--
FROM 117.139.226.* - ok 多谢
【 在 poocp 的大作中提到: 】
: 在浏览器插件商店搜“沉浸式翻译”，支持很多在线翻译引擎和在线AI引擎，也可以手动添加本地AI小模型，用LM Studio跑服务方式，或者ollama（需要配置环境变量支持）。
--
FROM 114.241.2.* - 翻译.
简单的代码.
7b 8b能做的有限.
【 在 chunhui 的大作中提到: 】
: 各位你们在本地部署了大模型的。都用来干啥？ 我在想：别专门买个硬件。就用现有的，部署一个能跑起来的 小 点的模型。但不知道干啥。。。
--
FROM 123.232.238.* - 这个其实需求非常大，我们现在有很多企业和BM单位的文件处理不能上网。
国外AI公司已经能够从世界500强这类大型企业收费，为他们定制内部的文档工具和设计工具。
就不用上网这一个好处，就能衍生出大量的应用。
--
FROM 221.217.25.* - 翻译凑合一下可以。代码如果不好使还不够跟它废话的。好使的模型本地部署不了。所以确实没想到搞什么有意思的
【 在 isxb2 的大作中提到: 】
: 翻译.
: 简单的代码.
: 7b 8b能做的有限.
--
FROM 114.241.2.* - 这是企业应用。估计需要很多资源 至少单机小模型估计不行
个人本地弄个小模型可以搞这个么？
【 在 sthgot2give 的大作中提到: 】
: 这个其实需求非常大，我们现在有很多企业和BM单位的文件处理不能上网。
: 国外AI公司已经能够从世界500强这类大型企业收费，为他们定制内部的文档工具和设计工具。
: 就不用上网这一个好处，就能衍生出大量的应用。
--
FROM 114.241.2.* - 地老我没事干，昨天试了一下本地部署，用一块4090可以跑Deepseek r1:32B，长篇大论的大段推理整屏输出，输出很流畅，每秒几十字，能有完整模型80%左右的能力。如果再加一块4090应该能跑Deepseek r1:70B，效果能更好一些。
企业内部共享，如果100个用户以下应该用不了多少资源，有个8卡服务器应该差不多能对付着用，很多人就是套模板写个报告翻译几篇文章。如果给100个程序员在内部提供编程辅助，可能需要部署几台这种服务器，成本和提升的效率节省下来的码农工资比也应该能接受。
【 在 chunhui 的大作中提到: 】
: 这是企业应用。估计需要很多资源 至少单机小模型估计不行
: 个人本地弄个小模型可以搞这个么？
--
FROM 221.217.25.*