水木社区手机版
- 主题:玄武实验室：不到4万元的DeepSeek-R1-671B-Q8部署方案
--
FROM 123.117.79.*- 玄武实验室的博客上有细节
--
FROM 123.117.79.* - 还可以，
不过体积太庞大了
今年应该会出更多新的小的节能的
【 在 oneyuan 的大作中提到: 】
: [upload=1][/upload][upload=2][/upload]
--
FROM 36.20.50.* - 虽然但是……这可是670B啊！
【 在 Bruce12 的大作中提到: 】
: 还可以，
: 不过体积太庞大了
: 今年应该会出更多新的小的节能的
: ...................
--
FROM 123.117.79.* - 可能我对TX的期望比较高，至少得象阿里那样弄些平头哥类似的芯片出来
专用推理芯片，才是目前最有希望的，也是大家都在憋足了劲搞得
玄武实验室可能规模比较小...
【 在 oneyuan 的大作中提到: 】
: [upload=1][/upload][upload=2][/upload]
--
FROM 36.20.50.* - 你这都哪跟哪
玄武是专门做安全的
业内无人不晓
【 在 Bruce12 的大作中提到: 】
: 可能我对TX的期望比较高，至少得象阿里那样弄些平头哥类似的芯片出来
: 专用推理芯片，才是目前最有希望的，也是大家都在憋足了劲搞得
: 玄武实验室可能规模比较小...
: ...................
--
FROM 123.117.79.* - 感觉基本是之前6000美元的那个思路，就是主板档次低了一些，软件上优化了一些。过一阵应该有软硬件集成的方案。
【 在 oneyuan 的大作中提到: 】
: [upload=1][/upload][upload=2][/upload]
--
修改:qgg FROM 221.218.155.*
FROM 221.218.155.* - 完全不是一回事。玄武实验室的这套方案有hacker的意思，探索用低代价，平民硬件配置去运行尽可能大参数的模型。类似国外尝试用雷劈口并联mac主机跑大模型。打破的是英伟达的技术墙。
这类方案越多越成熟，英伟达就越不安。
另外玄武实验室是做安全研究的，这个方案估计大概率是他们搞大模型安全研究的副产品。
【 在 Bruce12 (Bruce12) 的大作中提到: 】
: 可能我对TX的期望比较高，至少得象阿里那样弄些平头哥类似的芯片出来
:
: 专用推理芯片，才是目前最有希望的，也是大家都在憋足了劲搞得
:
--
发自xsmth (iOS版)
--
※ 修改:·syssky 于 Mar 18 09:18:04 2025 修改本文·[FROM: 120.244.13.*]
※ 来源:·水木社区 http://www.mysmth.net·[FROM: 120.244.13.*]
修改:syssky FROM 120.244.13.*
FROM 120.244.13.* - 有没有对比下Q8和FP16效果差多少？
【 在 oneyuan 的大作中提到: 】
: [upload=1][/upload][upload=2][/upload]
--
FROM 111.222.75.* - 怎么hacker，类似的方案网上早就有了
另外，清华那套可能更加有创新
【 在 syssky 的大作中提到: 】
: 完全不是一回事。玄武实验室的这套方案有hacker的意思，探索用低代价，平民硬件配置去运行尽可能大参数的模型。类似国外尝试用雷劈口并联mac主机跑大模型。打破的是英伟达的技术墙。
: 这类方案越多越成熟，英伟达就越不安。
: 另外玄武实验室是做安全研究的，这个方案估计大概率是他们搞大模型安全研究的副产品。
: ...................
--
FROM 36.20.50.*