首先，大部分本地化的大模型，也是带安全机制的，嗯嗯。
其次，模型缩减到7b，8b后，质量下降挺大的，r1这种带长链思考的下降更大，家庭预算能买得起的显卡，多花几千少一万对生成质量改善微乎其微（目前好用的大模型需要上百G显存推理，自己家的显卡12G，16G，24G杯水车薪，没啥区别）。只能拿来做个人知识库管理，rag。家用电脑拿来做微调训练也不够，还是要租云服务器。
如果是涉及工作的私密数据，可以申请买大点的显卡，那就好用了。

但这确实是一个需求，希望以后能有人做好用的小模型。
【 在 caozao 的大作中提到: 】
: 私密数据咋整？
:
--
FROM 117.176.187.*