清华团队突破算力难题：4090显卡单枪匹马就能跑“满血版”DeepSeek-R1！有用户称整套方案成本不到7万元，直降95%以上

　　随着大规模语言模型（LLMs）的不断发展，模型规模和复杂性急剧提升，其部署和推理常常需要巨大的计算资源，这对个人研究者和小型团队带来了挑战。

　　2月10日，清华大学KVCache.AI团队联合趋境科技发布的KTransformers开源项目公布更新：一块24G显存的4090D就可以在本地运行DeepSeek-R1、V3的671B“满血版”。预处理速度最高达到286 tokens/s，推理生成速度最高能达到14 tokens/s。

　　KTransformers通过优化本地机器上的LLM部署，帮助解决资源限制问题。该框架采用了异构计算、先进量化技术、稀疏注意力机制等多种创新手段，提升了模型的计算效率，并具备处理长上下文序列的能力。

　　KTransformers的更新发布后，不少开发者也纷纷用自己的设备进行测试。他们惊喜地发现，本地运行完全没有问题，甚至显存消耗比github里的技术文档中提到的显存消耗还要少，实际内存占用约380G，显存占用约14G。

　　另外，有用户对方案成本进行分项分析后称，只要不到7万元就能实现R1模型的本地运行，与A100/H100服务器动辄200万元的价格相比，便宜了95%以上。

清华团队突破算力难题：24G显存即可运行R1和V3的671B“满血版”

　　之前，671B参数的MoE架构大模型DeepSeek-R1经常出现推理服务器高负荷宕机的现象，而如果选择其他云服务商提供的专属版云服务器则需按GPU小时计费。这一高昂成本让中小团队无力承担，而市面上的“本地部署”方案多为参数量大幅缩水的蒸馏版。

　　但KTransformers开源项目近期的更新，成功打破了大模型推理算力门槛：支持24G显存在本地运行DeepSeek-R1、V3的671B“满血版”。

　　早在DeepSeek-V2时代，这一项目就因“专家卸载”技术出名了，因为它支持236B参数的大模型在仅有24GB显存的消费级显卡上流畅运行，把显存需求砍到十分之一。

　　KTransformers开源项目重点关注的就是在资源有限的情况下进行大模型的本地部署。一名Ktransformers开发团队成员表示：“项目在创始之初就已经讨论过项目的场景和目标，我们所针对的是中小型用户的场景，用领域的话讲，就是低并发+超低显存的场景。而显存目前的成本已经和CPU的内存不是一个数量级了，对于中小用户内存可能完全不缺，但是找一个显存很大的显卡却很难。”
--
FROM 42.86.201.*

不要纠结细节
4090也不是必须的，可以找相似替代

关键是硬件成本可以很低的情况下
可以跑起来模型

【 在 far 的大作中提到: 】
: 4090买得到吗？
--
FROM 42.86.201.*