- 主题:本地部署Deepseek，买什么配置电脑？
所有RAG类产品都不太行，你得使用模型微调技术，网上资料很多的。
【 在 wangstone 的大作中提到: 】
: 那用什么好？准备换RAGFLOW
:
--
FROM 60.16.232.*
同意你的观点，很多大公司的数据都放弃云服务改为本地私有化了，AI领域一个道理，我更看好个人消费端的市场
啥时候国内公司把4090显卡的价格卷到2000元，英伟达必然崩盘
【 在 heideggerr 的大作中提到: 】
: 本地部署的最大优势是，可以利用本地数据对通用模型进行微调训练，得到适合自己需要的本地大模型，云服务是不可能提供这些信息的，未来大模型的发展方向 将会从通用大模型转向 面向企业、甚至是个人用户的私有模型。
:
:
--
FROM 39.155.175.*
所以，这就像当年的大型机、小型机时代，巨头一开始看不起微型个人计算机，然后不久就被个人计算机、PC操作系统厂商和PC软件开发商 扫到了历史垃圾堆一样。
【 在 adhere 的大作中提到: 】
: 同意你的观点，很多大公司的数据都放弃云服务改为本地私有化了，AI领域一个道理，我更看好个人消费端的市场
: 啥时候国内公司把4090显卡的价格卷到2000元，英伟达必然崩盘
:
--
FROM 175.164.31.*
差不多的路子，人民战争的汪洋大海无所不能，小米手机、电动车都是一样的套路，手机价格降到1000元，汽车价格降到10万元，必然是全球爆款
【 在 heideggerr 的大作中提到: 】
: 所以，这就像当年的大型机、小型机时代，巨头一开始看不起微型个人计算机，然后不久就被个人计算机、PC操作系统厂商和PC软件开发商 扫到了历史垃圾堆一样。
:
--
FROM 39.155.175.*
本地部署的话，Deepseek的小尺寸模型，不太理想。
还是他的全尺寸模型671B的性能更好。
【 在 icome 的大作中提到: 】
: rt
--
FROM 124.126.161.*
多大模型、多少并发、速度要求、预算多少，有这些参数才能说买什么配置电脑。
--
FROM 182.151.102.*
其实真没必要本地部署。本地部署只有 671B 才是满血，然而需要 600 多G显存，官方给的配置是 4 个 A100部署量化版的，大概 80 多万人民币。虽然普通电脑利用虚拟内存也能部署，但是运行超级慢，没法做生产力。真不如直接买云服务商的。
--
修改:coldmoon FROM 111.193.88.*
FROM 111.193.88.*
对中文不行
喂英文资料，用中文提问，貌似还行
你现在改进了吗？
我也是用这个方案
【 在 wangstone 的大作中提到: 】
: 主要看显存大小 其他都次要
: 7B跑RAG能行吗？我用anythingllm
: 喂的自己记的笔记，提问的时候牛头不对马嘴
--
FROM 120.229.145.*
改进了
Embeding换了nomic模型
LLM改用14B 16FP的DS或者千问
效果好了不少
但是还是不能满足需求
比如多个资料时间序列对比什么的基本不行
同类资料要分区管理
感觉比较适合一问一答形式的QA客服 哈哈
【 在 LeonTang 的大作中提到: 】
: 对中文不行
: 喂英文资料，用中文提问，貌似还行
: 你现在改进了吗？
: ...................
--
FROM 58.246.240.*
RAG只能对局部问题做出回答，对于需要综合、推理的问题是完全没用的。我最近也在苦恼这个事情，对LLM进行微调是一个路子，但是需要对语料进行标注，标注为（Q，think，A）这样的三元组，这是完全不可行的。另外一个路子是GraphRAG，据说能够利用大模型把语料变成知识图谱，我对比表示谨慎的怀疑（我2012年开始搞语义网，那时还没有大模型，一切都需要靠手搓，实体识别和关系提取就是一个天坑）。所以，搞不好，本地化信息融入到大模型这件事可能还有很长的路要走。
【 在 wangstone 的大作中提到: 】
: 改进了
: Embeding换了nomic模型
: LLM改用14B 16FP的DS或者千问
: ...................
--
FROM 175.169.211.*