- 主题:本地部署Deepseek，买什么配置电脑？
目前貌似苹果的 studio效率最高，顶配能勉强70B
--
修改:wangstone FROM 58.246.240.*
FROM 58.246.240.*
主要看显存大小 其他都次要
7B跑RAG能行吗？我用anythingllm
喂的自己记的笔记，提问的时候牛头不对马嘴
【 在 f801 的大作中提到: 】
: 2月5日上班第一天，在双志强E-2690V3，华南主板，普通最次显卡，机器内存64G,C盘SSD 500G上装上了deepseek r1:7b，所有软件都装在C盘上。用着还可以，速度也挺快！
:
--
FROM 58.246.240.*
那用什么好？准备换RAGFLOW
【 在 heideggerr 的大作中提到: 】
: AnythingLLM效果很差，因为模型对本地文档中的语言实体以及之间的关系完全没有理解，为了解决这个问题，必须使用本地文档对模型进行微调训练。
:
--
修改:wangstone FROM 58.246.240.*
FROM 58.246.240.*
改进了
Embeding换了nomic模型
LLM改用14B 16FP的DS或者千问
效果好了不少
但是还是不能满足需求
比如多个资料时间序列对比什么的基本不行
同类资料要分区管理
感觉比较适合一问一答形式的QA客服 哈哈
【 在 LeonTang 的大作中提到: 】
: 对中文不行
: 喂英文资料，用中文提问，貌似还行
: 你现在改进了吗？
: ...................
--
FROM 58.246.240.*
大佬有好的方案了给大家分享下
【 在 heideggerr 的大作中提到: 】
: RAG只能对局部问题做出回答，对于需要综合、推理的问题是完全没用的。我最近也在苦恼这个事情，对LLM进行微调是一个路子，但是需要对语料进行标注，标注为（Q，think，A）这样的三元组，这是完全不可行的。另外一个路子是GraphRAG，据说能够利用大模型把语料变成知识图谱，我对比表示谨慎的怀疑（我2012年开始搞语义网，那时还没有大模型，一切都需要靠手搓，实体识别和关系提取就是一个天坑）。所以，搞不好，本地化信息融入到大模型这件事可能还有很长的路要走。
:
--
FROM 58.246.240.*
中文也支持啊
【 在 tgfbeta 的大作中提到: 】
: 这个模型只支持英文吗？
: ～～～～～～～～～
--
FROM 58.246.240.*