- 主题:本地部署一个“小”模型，能玩啥呢？
这个其实需求非常大，我们现在有很多企业和BM单位的文件处理不能上网。
国外AI公司已经能够从世界500强这类大型企业收费，为他们定制内部的文档工具和设计工具。
就不用上网这一个好处，就能衍生出大量的应用。
--
FROM 221.217.25.*
地老我没事干，昨天试了一下本地部署，用一块4090可以跑Deepseek r1:32B，长篇大论的大段推理整屏输出，输出很流畅，每秒几十字，能有完整模型80%左右的能力。如果再加一块4090应该能跑Deepseek r1:70B，效果能更好一些。
企业内部共享，如果100个用户以下应该用不了多少资源，有个8卡服务器应该差不多能对付着用，很多人就是套模板写个报告翻译几篇文章。如果给100个程序员在内部提供编程辅助，可能需要部署几台这种服务器，成本和提升的效率节省下来的码农工资比也应该能接受。
【 在 chunhui 的大作中提到: 】
: 这是企业应用。估计需要很多资源 至少单机小模型估计不行
: 个人本地弄个小模型可以搞这个么？
--
FROM 221.217.25.*
那个Deepseek r1:70B需要40多G显存，正好能跑。
然后就可以用现成工具基于这个模型做一个Agent，做成网页形式的应用，在本地发布。
比如对话式的剧本/小说/邮件/公文撰写工具，自动化翻译工具，房价股价跟踪分析工具、旅游计划制订工具、跨平台商品比价推荐工具等等。基本上还是语言类的应用。我也还没试，这两天准备试试看。
【 在 upndown 的大作中提到: 】
: 两块4090加上64G内存能干点啥？
:
:
--
FROM 221.217.25.*
玩了几天，发现问题不是语言模型能干什么，而是工程化的集成。
在用户实际需求和语言模型之间，缺一个逻辑层，整合语言模型和业务逻辑。目前挺火的Agent和RAG就是做这个的，还需要集成一堆工具，包括网络内容提取、文件分析和矢量化、矢量数据库、视觉模型等等，最后整合一个工作流，才能真的干点实事。
但是这些都还在实验室状态，能用的几个工具，比如ChatBox和AnythingLLM都还简陋的很。
没有这些，就只能尬聊。
--
FROM 221.217.25.*