两块4090加上64G内存能干点啥？



【 在 sthgot2give 的大作中提到: 】
: 地老我没事干，昨天试了一下本地部署，用一块4090可以跑Deepseek r1:32B，长篇大论的大段推理整屏输出，输出很流畅，每秒几十字，能有完整模型80%左右的能力。如果再加一块4090应该能跑Deepseek r1:70B，效果能更好一些。
: 企业内部共享，如果100个用户以下应该用不了多少资源，有个8卡服务器应该差不多能对付着用，很多人就是套模板写个报告翻译几篇文章。如果给100个程序员在内部提供编程辅助，可能需要部署几台这种服务器，成本和提升的效率节省下来的码农工资比也应该能接受。
--
FROM 39.149.15.*