水木社区手机版
- 主题:本地部署一个“小”模型，能玩啥呢？
- 这几天我用了下AnythingLLM，简单的问题还行，复杂的、需要关联很多问题的完全不行，deepseek通用模型完全不了解本地资料中的信息，所以无法将一个问题拆分成几个合理的小问题然后到本地资料库中去寻找，要想彻底解决这个问题，就必须要进行本地模型的训练，但是这样成本就上去了，如果哪个公司能解决这个问题，必将会引爆一波AI的私有部署热潮。
【 在 sthgot2give 的大作中提到: 】
: 玩了几天，发现问题不是语言模型能干什么，而是工程化的集成。
: 在用户实际需求和语言模型之间，缺一个逻辑层，整合语言模型和业务逻辑。目前挺火的Agent和RAG就是做这个的，还需要集成一堆工具，包括网络内容提取、文件分析和矢量化、矢量数据库、视觉模型等等，最后整合一个工作流，才能真的干点实事。
: 但是这些都还在实验室状态，能用的几个工具，比如ChatBox和AnythingLLM都还简陋的很。
: ...................
--
FROM 113.233.201.* - 我对比过很多问题，本地部署的7b、14b和deepseek官网的差别没那么大。小模型时代的特点就是模型体积越来越小，三四个月前要用双卡4090，5万块钱服务器才能达到的效果，现在不到2000块钱配个单卡3060，改用14B模型，大概也能跑出来个9成。
【 在 poocp 的大作中提到: 】
: 我说的是671b的正式版本，不是像个智障一样的70b，或者连弱智都不如的更低参数版本。
: 目前的地球科技还做不到把671b装在手机上并且完成推理。
:
--
FROM 113.233.201.*