水木社区手机版
- 主题:本地部署Deepseek，买什么配置电脑？
- 私密数据咋整？
【 在 Engelberger 的大作中提到: 】
: 显存越大越好，内存越大越好
: 个人感觉本地部署目前很难平衡性能和价格，部署大点的模型需要加显存内存，但与此同时云服务的api价格又在不断下降，买显卡的钱比用api贵多了...
: 我目前的计划是先用api和云服务，观望一下，等时机成熟再搞端侧
: ...................
--
FROM 222.160.178.* - 首先，大部分本地化的大模型，也是带安全机制的，嗯嗯。
其次，模型缩减到7b，8b后，质量下降挺大的，r1这种带长链思考的下降更大，家庭预算能买得起的显卡，多花几千少一万对生成质量改善微乎其微（目前好用的大模型需要上百G显存推理，自己家的显卡12G，16G，24G杯水车薪，没啥区别）。只能拿来做个人知识库管理，rag。家用电脑拿来做微调训练也不够，还是要租云服务器。
如果是涉及工作的私密数据，可以申请买大点的显卡，那就好用了。
但这确实是一个需求，希望以后能有人做好用的小模型。
【 在 caozao 的大作中提到: 】
: 私密数据咋整？
:
--
FROM 117.176.187.* - 2月5日上班第一天，在双志强E-2690V3，华南主板，普通最次显卡，机器内存64G,C盘SSD 500G上装上了deepseek r1:7b，所有软件都装在C盘上。用着还可以，速度也挺快！
【 在 icome 的大作中提到: 】
: rt
--
FROM 61.48.133.* 
【 在 Engelberger 的大作中提到: 】
: 首先，大部分本地化的大模型，也是带安全机制的，嗯嗯。
: 其次，模型缩减到7b，8b后，质量下降挺大的，r1这种带长链思考的下降更大，家庭预算能买得起的显卡，多花几千少一万对生成质量改善微乎其微（目前好用的大模型需要上百G显存推理，自己家的显卡12G，16G，24G杯水车薪，没啥区别）。只能拿来做个人知识库管理，rag。家用电脑拿来做微调训练也不够，还是要租云服务器。
: 如果是涉及工作的私密数据，可以申请买大点的显卡，那就好用了。
: ...................
--
FROM 222.160.178.*- 能让它学什么?喂什么数据？
【 在 f801 的大作中提到: 】
: 2月5日上班第一天，在双志强E-2690V3，华南主板，普通最次显卡，机器内存64G,C盘SSD 500G上装上了deepseek r1:7b，所有软件都装在C盘上。用着还可以，速度也挺快！
--
FROM 222.67.138.* - tw 同求推荐笔记本
本地信息安全性好
【 在 icome 的大作中提到: 】
: rt
: --
:
发自「今日水木 on iPhone 15 Pro Max」
--
FROM 114.246.237.* - 主要看显存大小 其他都次要
7B跑RAG能行吗？我用anythingllm
喂的自己记的笔记，提问的时候牛头不对马嘴
【 在 f801 的大作中提到: 】
: 2月5日上班第一天，在双志强E-2690V3，华南主板，普通最次显卡，机器内存64G,C盘SSD 500G上装上了deepseek r1:7b，所有软件都装在C盘上。用着还可以，速度也挺快！
:
--
FROM 58.246.240.* - AnythingLLM效果很差，因为模型对本地文档中的语言实体以及之间的关系完全没有理解，为了解决这个问题，必须使用本地文档对模型进行微调训练。
【 在 wangstone 的大作中提到: 】
: 主要看显存大小 其他都次要
: 7B跑RAG能行吗？我用anythingllm
: 喂的自己记的笔记，提问的时候牛头不对马嘴
: ...................
--
FROM 60.16.232.* - 那用什么好？准备换RAGFLOW
【 在 heideggerr 的大作中提到: 】
: AnythingLLM效果很差，因为模型对本地文档中的语言实体以及之间的关系完全没有理解，为了解决这个问题，必须使用本地文档对模型进行微调训练。
:
--
修改:wangstone FROM 58.246.240.*
FROM 58.246.240.* - 早上刚看到个视频，b站 BV1REPqeFE6d
【 在 icome 的大作中提到: 】
: rt
--
FROM 116.232.18.*