- 主题:本地部署Deepseek，买什么配置电脑？
大佬有好的方案了给大家分享下
【 在 heideggerr 的大作中提到: 】
: RAG只能对局部问题做出回答，对于需要综合、推理的问题是完全没用的。我最近也在苦恼这个事情，对LLM进行微调是一个路子，但是需要对语料进行标注，标注为（Q，think，A）这样的三元组，这是完全不可行的。另外一个路子是GraphRAG，据说能够利用大模型把语料变成知识图谱，我对比表示谨慎的怀疑（我2012年开始搞语义网，那时还没有大模型，一切都需要靠手搓，实体识别和关系提取就是一个天坑）。所以，搞不好，本地化信息融入到大模型这件事可能还有很长的路要走。
:
--
FROM 58.246.240.*
本地部署应该不是考虑性价比。
本地部署的优势是数据的私密性。
【 在 Engelberger 的大作中提到: 】
: 显存越大越好，内存越大越好
: 个人感觉本地部署目前很难平衡性能和价格，部署大点的模型需要加显存内存，但与此同时云服务的api价格又在不断下降，买显卡的钱比用api贵多了...
: 我目前的计划是先用api和云服务，观望一下，等时机成熟再搞端侧
: ...................
--
FROM 180.167.100.*
这个模型只支持英文吗？
【 在 wangstone 的大作中提到: 】
: 改进了
: Embeding换了nomic模型
～～～～～～～～～
: LLM改用14B 16FP的DS或者千问
: ...................
--
FROM 221.198.65.*
中文也支持啊
【 在 tgfbeta 的大作中提到: 】
: 这个模型只支持英文吗？
: ～～～～～～～～～
--
FROM 58.246.240.*
【 在 f801 的大作中提到: 】
: 2月5日上班第一天，在双志强E-2690V3，华南主板，普通最次显卡，机器内存64G,C盘SSD 500G上装上了deepseek r1:7b，所有软件都装在C盘上。用着还可以，速度也挺快！
:
7b就是个玩具。
和671b比， 好比70亿个脑细胞和6710亿个脑细胞， 差的可不是几百倍，
智商就是一个蛤蟆的脑袋和人脑的区别。
--
FROM 124.126.2.*
牛，有什么好的实现思路吗？毕竟用上这些工具肯定比没有强
【 在 heideggerr 的大作中提到: 】
: RAG只能对局部问题做出回答，对于需要综合、推理的问题是完全没用的。我最近也在苦恼这个事情，对LLM进行微调是一个路子，但是需要对语料进行标注，标注为（Q，think，A）这样的三元组，这是完全不可行的。另外一个路子是GraphRAG，据说能够利用大模型把语料变成知识图谱，我对比表示谨慎的怀疑（我2012年开始搞语义网，那时还没有大模型，一切都需要靠手搓，实体识别和关系提取就是一个天坑）。所以，搞不好，本地化信息融入到大模型这件事可能还有很长的路要走。
:
--
FROM 211.157.132.*
还没有，我也是在学习、摸索中。
【 在 orientodd 的大作中提到: 】
: 牛，有什么好的实现思路吗？毕竟用上这些工具肯定比没有强
--
FROM 175.164.15.*
大概200w的硬件投入。
--
FROM 222.240.155.*
2W左右的EPYC工作站也可以凑合
【 在 kingrush 的大作中提到: 】
: 大概200w的硬件投入。
--
FROM 221.198.65.*
比如:要在个人照片集找出某年某地跟谁谁谁的合影
这个需求其实就不少
【 在 zjheric 的大作中提到: 】
: 本地部署应该不是考虑性价比。
: 本地部署的优势是数据的私密性。
--
FROM 39.174.145.*