我没有4090。我只有mac mini。只是想自己玩。
不过你说这种企业内部部署的情况还有一个问题,如果只是翻译,和生成文档。那问题不大。如果给程序员用,还涉及到一个和编辑器整合的问题。cursor 自定义接入deepseek只支持chat,不支持自动修改文件。就类似这样的事也挺麻烦的。
【 在 sthgot2give 的大作中提到: 】
: 地老我没事干,昨天试了一下本地部署,用一块4090可以跑Deepseek r1:32B,长篇大论的大段推理整屏输出,输出很流畅,每秒几十字,能有完整模型80%左右的能力。如果再加一块4090应该能跑Deepseek r1:70B,效果能更好一些。
: 企业内部共享,如果100个用户以下应该用不了多少资源,有个8卡服务器应该差不多能对付着用,很多人就是套模板写个报告翻译几篇文章。如果给100个程序员在内部提供编程辅助,可能需要部署几台这种服务器,成本和提升的效率节省下来的码农工资比也应该能接受。
--
FROM 114.241.2.*