这还需要个浏览器插件之类的吧？让这个插件或翻译程序连本地的大模型？
【 在 poocp 的大作中提到: 】
: 7B的Qwen2.5做普通网页翻译够用了，我现在对每个英语页面都默认开启双语显示，看起来省力，万一中文版不准确，以还有原文可以确认。
--
FROM 114.241.2.*

翻译凑合一下可以。代码如果不好使还不够跟它废话的。好使的模型本地部署不了。所以确实没想到搞什么有意思的
【 在 isxb2 的大作中提到: 】
: 翻译.
: 简单的代码.
: 7b 8b能做的有限.
--
FROM 114.241.2.*

我没有4090。我只有mac mini。只是想自己玩。

不过你说这种企业内部部署的情况还有一个问题，如果只是翻译，和生成文档。那问题不大。如果给程序员用，还涉及到一个和编辑器整合的问题。cursor 自定义接入deepseek只支持chat，不支持自动修改文件。就类似这样的事也挺麻烦的。
【 在 sthgot2give 的大作中提到: 】
: 地老我没事干，昨天试了一下本地部署，用一块4090可以跑Deepseek r1:32B，长篇大论的大段推理整屏输出，输出很流畅，每秒几十字，能有完整模型80%左右的能力。如果再加一块4090应该能跑Deepseek r1:70B，效果能更好一些。
: 企业内部共享，如果100个用户以下应该用不了多少资源，有个8卡服务器应该差不多能对付着用，很多人就是套模板写个报告翻译几篇文章。如果给100个程序员在内部提供编程辅助，可能需要部署几台这种服务器，成本和提升的效率节省下来的码农工资比也应该能接受。
--
FROM 114.241.2.*

是的。所以我不知道玩啥。如果只是聊天，那web端用就可以了。

本地ai+嵌入式不知道能不能跑起来，如果可以的话，可以做个毛绒玩具？现在貌似已经有这种卖的了。
【 在 sthgot2give 的大作中提到: 】
: 玩了几天，发现问题不是语言模型能干什么，而是工程化的集成。
: 在用户实际需求和语言模型之间，缺一个逻辑层，整合语言模型和业务逻辑。目前挺火的Agent和RAG就是做这个的，还需要集成一堆工具，包括网络内容提取、文件分析和矢量化、矢量数据库、视觉模型等等，最后整合一个工作流，才能真的干点实事。
: 但是这些都还在实验室状态，能用的几个工具，比如ChatBox和AnythingLLM都还简陋的很。
: ...................
--
FROM 114.241.2.*