- 主题:本地部署Deepseek，买什么配置电脑？
显存越大越好，内存越大越好
个人感觉本地部署目前很难平衡性能和价格，部署大点的模型需要加显存内存，但与此同时云服务的api价格又在不断下降，买显卡的钱比用api贵多了...
我目前的计划是先用api和云服务，观望一下，等时机成熟再搞端侧
Ai这波可能会对云计算产业影响更大，云计算的商业模型立起来了。
【 在 icome 的大作中提到: 】
: rt
--
FROM 111.55.145.*
可以租赁私有云。
以后有些本地化的场景:1.某些机器不能联网；2.个人想训练不受约束的模型（云服务商可能会ban掉）；3.更长远的，手机上的端侧模型保护隐私；4.企业想要保护自己的商业秘密。
目前就我个人的需要而言，本地化的机器成本偏高，性能不足（尤其是联网搜索整合不好）
【 在 heideggerr 的大作中提到: 】
: 本地部署的最大优势是，可以利用本地数据对通用模型进行微调训练，得到适合自己需要的本地大模型，云服务是不可能提供这些信息的，未来大模型的发展方向 将会从通用大模型转向 面向企业、甚至是个人用户的私有大模型。
:
:
--
FROM 111.55.145.*
开源加速了模型和服务的拆分，云计算降低了购置硬件的成本，门槛大幅降低了
几百块就能蒸馏出一流的模型了，真是神奇
【 在 heideggerr 的大作中提到: 】
: 总之，这是一次模式革新，从少数几个大厂垄断模型的训练，转变到众多企业用户可以参与的领域模型的训练。虽然，现在本地模型训练的成本还是有点高，但是毕竟已经降到一个够得着的水平了，我相信会有大量的行业软件开发者已经蠢蠢欲动了！甚至，搞得我这样的个人用户都开始蠢蠢欲动了。
:
--
FROM 111.55.145.*
首先，大部分本地化的大模型，也是带安全机制的，嗯嗯。
其次，模型缩减到7b，8b后，质量下降挺大的，r1这种带长链思考的下降更大，家庭预算能买得起的显卡，多花几千少一万对生成质量改善微乎其微（目前好用的大模型需要上百G显存推理，自己家的显卡12G，16G，24G杯水车薪，没啥区别）。只能拿来做个人知识库管理，rag。家用电脑拿来做微调训练也不够，还是要租云服务器。
如果是涉及工作的私密数据，可以申请买大点的显卡，那就好用了。
但这确实是一个需求，希望以后能有人做好用的小模型。
【 在 caozao 的大作中提到: 】
: 私密数据咋整？
:
--
FROM 117.176.187.*