水木社区手机版
- 主题:本地部署一个“小”模型，能玩啥呢？
- 这个我知道，但不知道玩啥。
【 在 x97 的大作中提到: 】
: 1.5B也能用
: 正确的提问很重要
--
FROM 114.241.2.* - 是的。所以我不知道玩啥。如果只是聊天，那web端用就可以了。
本地ai+嵌入式不知道能不能跑起来，如果可以的话，可以做个毛绒玩具？现在貌似已经有这种卖的了。
【 在 sthgot2give 的大作中提到: 】
: 玩了几天，发现问题不是语言模型能干什么，而是工程化的集成。
: 在用户实际需求和语言模型之间，缺一个逻辑层，整合语言模型和业务逻辑。目前挺火的Agent和RAG就是做这个的，还需要集成一堆工具，包括网络内容提取、文件分析和矢量化、矢量数据库、视觉模型等等，最后整合一个工作流，才能真的干点实事。
: 但是这些都还在实验室状态，能用的几个工具，比如ChatBox和AnythingLLM都还简陋的很。
: ...................
--
FROM 114.241.2.* - 成本再降10倍，能安装在手机上，就是能离线工作的个人智脑雏形了。不知道还有用几年时间能够达成。
【 在 qgg 的大作中提到: 】
: 有人试过了，不用显卡，把内存弄到768G，可以跑完整版的DeepSeek-r1。成本只要6000美元，不到显卡版本的1/10。当然速度要慢很多，每秒6-8tokens，但个人用应该是足够了。
: 类似的思路，弄个64G内存跑70B的肯定也可以，不用昂贵的显卡了。
--
FROM 171.221.52.* - 现在已经有人安装到手机上了
【 在 poocp 的大作中提到: 】
: 成本再降10倍，能安装在手机上，就是能离线工作的个人智脑雏形了。不知道还有用几年时间能够达成。
--
FROM 111.196.215.* - 这几天我用了下AnythingLLM，简单的问题还行，复杂的、需要关联很多问题的完全不行，deepseek通用模型完全不了解本地资料中的信息，所以无法将一个问题拆分成几个合理的小问题然后到本地资料库中去寻找，要想彻底解决这个问题，就必须要进行本地模型的训练，但是这样成本就上去了，如果哪个公司能解决这个问题，必将会引爆一波AI的私有部署热潮。
【 在 sthgot2give 的大作中提到: 】
: 玩了几天，发现问题不是语言模型能干什么，而是工程化的集成。
: 在用户实际需求和语言模型之间，缺一个逻辑层，整合语言模型和业务逻辑。目前挺火的Agent和RAG就是做这个的，还需要集成一堆工具，包括网络内容提取、文件分析和矢量化、矢量数据库、视觉模型等等，最后整合一个工作流，才能真的干点实事。
: 但是这些都还在实验室状态，能用的几个工具，比如ChatBox和AnythingLLM都还简陋的很。
: ...................
--
FROM 113.233.201.* - 最小的可以在浏览器里跑。
【 在 JJason 的大作中提到: 】
: 现在已经有人安装到手机上了
--
FROM 114.241.2.* - 我说的是671b的正式版本，不是像个智障一样的70b，或者连弱智都不如的更低参数版本。
目前的地球科技还做不到把671b装在手机上并且完成推理。
【 在 JJason 的大作中提到: 】
: 现在已经有人安装到手机上了
--
FROM 171.221.52.* - 我对比过很多问题，本地部署的7b、14b和deepseek官网的差别没那么大。小模型时代的特点就是模型体积越来越小，三四个月前要用双卡4090，5万块钱服务器才能达到的效果，现在不到2000块钱配个单卡3060，改用14B模型，大概也能跑出来个9成。
【 在 poocp 的大作中提到: 】
: 我说的是671b的正式版本，不是像个智障一样的70b，或者连弱智都不如的更低参数版本。
: 目前的地球科技还做不到把671b装在手机上并且完成推理。
:
--
FROM 113.233.201.* - 可以按摩尔定律类比一下。估计3-5年就行了吧
【 在 poocp 的大作中提到: 】
: 成本再降10倍，能安装在手机上，就是能离线工作的个人智脑雏形了。不知道还有用几年时间能够达成。
--
FROM 39.149.15.*