- 主题:[转载]中国如何用 14 纳米技术造 Exascale 级超算
如果需要证据证明不需要最先进工艺就能造出 Exascale 级超算,你只需要看看中国国家超级计算无锡中心的神威·“海洋之光”系统。阿里巴巴、清华大学、达摩院、浙江实验室和北京智源人工智能研究院发表的论文透露了关于“海洋之光”的架构细节,它们运行名为“八卦炉(BaGuaLu)”的预训练机器学习模型,有超过 3700 万个内核和 14.5 万亿个参数(大概为FP32 单精度),能扩展到 174 万亿个参数(接近“大脑规模”,即其参数数量接近人脑突触数量)。
“八卦炉”训练模型测试的总计 105 个机柜的系统及其 107,250 个 SW26010-Pro 处理器的峰值理论性能为 1.51 exaflops。我们喜欢基数为 2 的数字,认为“海洋之光”系统可能会扩展到 160 个机柜,即 163,840 个节点,峰值 FP64 和 FP32 性能略低于 2.3 exaflops。如果它只有 120 个机柜,“海洋之光”的峰值将是 1.72 exaflops。如果 160 机柜规模是“海洋之光”的最大值,那么中国可以超越美国橡树岭国家实验室正在调优的“Frontier”超算(性能为 1.5 exaflops),并能超越将于今年晚些时候进入美国劳伦斯利弗莫尔国家实验室的“Aurora”超算(理论峰值性能 2 exaflops)——甚至可能超过将于 2023 年进入劳伦斯利弗莫尔国家实验室的“El Capitan”超算,传言“El Capitan”超级计算机的理论峰值性能预计将达到 2.2 exaflops 到 2.3 exaflops。
我们很想看看“海洋之光”的发热量和成本。可以肯定 SW26010-Pro 芯片会很热,供电和冷却的电费很高,但如果中芯国际 14 纳米工艺产率不错的话,那么该芯片的制造成本可能会比 Nvidia、AMD或者 Intel 的大型 GPU 加速器便宜得多。不管怎样,对于中国的现在和未来来说,拥有本土零部件比能源效率更重要。想象一下,多年后中芯国际能实现 7 纳米工艺时候,中国可以用它做些什么。
https://www.nextplatform.com/2022/03/11/pondering-the-cpu-inside-chinas-sunway-oceanlight-supercomputer/
https://www.solidot.org/story?sid=70934
--
FROM 117.24.207.*
如何用超算烧锅炉
【 在 hgoldfish (老鱼) 的大作中提到: 】
: 如果需要证据证明不需要最先进工艺就能造出 Exascale 级超算,你只需要看看中国国家超级计算无锡中心的神威·“海洋之光”系统。阿里巴巴、清华大学、达摩院、浙江实验室和北京智源人工智能研究院发表的论文透露了关于“海洋之光”的架构细节,它们运行名为“八卦炉(Ba
: “八卦炉”训练模型测试的总计 105 个机柜的系统及其 107,250 个 SW26010-Pro 处理器的峰值理论性能为 1.51 exaflops。我们喜欢基数为 2 的数字,认为“海洋之光”系统可能会扩展到 160 个机柜,即 163,840 个节点,峰值 FP64 和 FP32 性能略低于 2.3 exaflops。如果它
: 我们很想看看“海洋之光”的发热量和成本。可以肯定 SW26010-Pro 芯片会很热,供电和冷却的电费很高,但如果中芯国际 14 纳米工艺产率不错的话,那么该芯片的制造成本可能会比 Nvidia、AMD或者 Intel 的大型 GPU 加速器便宜得多。不管怎样,对于中国的现在和未来来说,
: ...................
--
FROM 223.104.38.*
真应该用热泵输送能源,然后输送给有热能需求的工业
【 在 computec (刀傍) 的大作中提到: 】
: 如何用超算烧锅炉
--
FROM 120.244.230.*
1.5e的ai算力对于tesla dojo来说大概是160个披萨盒这么大的模块。
【 在 hgoldfish 的大作中提到: 】
: 如果需要证据证明不需要最先进工艺就能造出 Exascale 级超算,你只需要看看中国国家超级计算无锡中心的神威·“海洋之光”系统。阿里巴巴、清华大学、达摩院、浙江实验室和北京智源人工智能研究院发表的论文透露了关于“海洋之光”的架构细节,它们运行名为“八卦炉(BaGuaLu)”的预训练机器学习模型,有超过 3700 万个内核和 14.5 万亿个参数(大概为FP32 单精度),能扩展到 174 万亿个参数(接近“大脑规模”,即其参数数量接近人脑突触数量)。
: “八卦炉”训练模型测试的总计 105 个机柜的系统及其 107,250 个 SW26010-Pro 处理器的峰值理论性能为 1.51 exaflops。我们喜欢基数为 2 的数字,认为“海洋之光”系统可能会扩展到 160 个机柜,即 163,840 个节点,峰值 FP64 和 FP32 性能略低于 2.3 exaflops。如果它只有 120 个机柜,“海洋之光”的峰值将是 1.72 exaflops。如果 160 机柜规模是“海洋之光”的最大值,那么中国可以超越美国橡树岭国家实验室正在调优的“Frontier”超算(性能为 1.5 exaflops),并能超越将于今年晚些时候进入美国劳伦斯利弗莫尔国家实验室的“Aurora”超算(理论峰值性能 2 exaflops)——甚至可能超过将于 2023 年进入劳伦斯利弗莫尔国家实验室的“El Capitan”超算,传言“El Capitan”超级计算机的理论峰值性能预计将达到 2.2 exaflops 到 2.3 exaflops。
: 我们很想看看“海洋之光”的发热量和成本。可以肯定 SW26010-Pro 芯片会很热,供电和冷却的电费很高,但如果中芯国际 14 纳米工艺产率不错的话,那么该芯片的制造成本可能会比 Nvidia、AMD或者 Intel 的大型 GPU 加速器便宜得多。不管怎样,对于中国的现在和未来来说,拥有本土零部件比能源效率更重要。想象一下,多年后中芯国际能实现 7 纳米工艺时候,中国可以用它做些什么。
: ...................
--
FROM 180.109.232.*
【 在 mach3 的大作中提到: 】
: 真应该用热泵输送能源,然后输送给有热能需求的工业
:
:
热端为70度的低质热能,最多能满足北方冬季取暖,大棚取暖需求
--
FROM 117.181.146.*
没明白,凭啥14nm会便宜很多?
【 在 hgoldfish 的大作中提到: 】
:
: 如果需要证据证明不需要最先进工艺就能造出 Exascale 级超算,你只需要看看中国国家超级计算无锡中心的神威·“海洋之光”系统。阿里巴巴、清华大学、达摩院、浙江实验室和北京智源人工智能研究院发表的论文透露了关于“海洋之光”的架构细节,它们运行名为“八卦炉(BaGuaLu)”的预训练机器学习模型,有超过 3700 万个内核和 14.5 万亿个参数(大概为FP32 单精度),能扩展到 174 万亿个参数(接近“大脑规模”,即其参数数量接近人脑突触数量)。
:
: “八卦炉”训练模型测试的总计 105 个机柜的系统及其 107,250 个 SW26010-Pro 处理器的峰值理论性能为 1.51 exaflops。我们喜欢基数为 2 的数字,认为“海洋之光”系统可能会扩展到 160 个机柜,即 163,840 个节点,峰值 FP64 和 FP32 性能略低于 2.3 exaflops。如果它只有 120 个机柜,“海洋之光”的峰值将是 1.72 exaflops。如果 160 机柜规模是“海洋之光”的最大值,那么中国可以超越美国橡树岭国家实验室正在调优的“Frontier”超算(性能为 1.5 exaflops),并能超越将于今年晚些时候进入美国劳伦斯利弗莫尔国家实验室的“Aurora”超算(理论峰值性能 2 exaflops)——甚至可能超过将于 2023 年进入劳伦斯利弗莫尔国家实验室的“El Capitan”超算,传言“El Capitan”超级计算机的理论峰值性能预计将达到 2.2 exaflops 到 2.3 exaflops。
:
#发自zSMTH@Mi 10 Pro
--
FROM 111.193.226.*
芯片价格便宜
因为都是成熟的制造工艺而且没有溢价
但是电费和散热贵
【 在 titiday 的大作中提到: 】
: 没明白,凭啥14nm会便宜很多?
:
:
: ....................
--
FROM 113.234.14.*
NPF这篇文章没啥货
后面有留言说明白了
不谈存储互联光说理论算力一点意义没有
【 在 hgoldfish 的大作中提到: 】
: 如果需要证据证明不需要最先进工艺就能造出 Exascale 级超算,你只需要看看中国国家超级计算无锡中心的神威·“海洋之光”系统。阿里巴巴、清华大学、达摩院、浙江实验室和北京智源人工智能研究院发表的论文透露了关于“海洋之光”的架构细节,它们运行名为“八卦炉(BaGuaLu)”的预训练机器学习模型,有超过 3700 万个内核和 14.5 万亿个参数(大概为FP32 单精度),能扩展到 174 万亿个参数(接近“大脑规模”,即其参数数量接近人脑突触数量)。
: “八卦炉”训练模型测试的总计 105 个机柜的系统及其 107,250 个 SW26010-Pro 处理器的峰值理论性能为 1.51 exaflops。我们喜欢基数为 2 的数字,认为“海洋之光”系统可能会扩展到 160 个机柜,即 163,840 个节点,峰值 FP64 和 FP32 性能略低于 2.3 exaflops。如果它只有 120 个机柜,“海洋之光”的峰值将是 1.72 exaflops。如果 160 机柜规模是“海洋之光”的最大值,那么中国可以超越美国橡树岭国家实验室正在调优的“Frontier”超算(性能为 1.5 exaflops),并能超越将于今年晚些时候进入美国劳伦斯利弗莫尔国家实验室的“Aurora”超算(理论峰值性能 2 exaflops)——甚至可能超过将于 2023 年进入劳伦斯利弗莫尔国家实验室的“El Capitan”超算,传言“El Capitan”超级计算机的理论峰值性能预计将达到 2.2 exaflops 到 2.3 exaflops。
: 我们很想看看“海洋之光”的发热量和成本。可以肯定 SW26010-Pro 芯片会很热,供电和冷却的电费很高,但如果中芯国际 14 纳米工艺产率不错的话,那么该芯片的制造成本可能会比 Nvidia、AMD或者 Intel 的大型 GPU 加速器便宜得多。不管怎样,对于中国的现在和未来来说,拥有本土零部件比能源效率更重要。想象一下,多年后中芯国际能实现 7 纳米工艺时候,中国可以用它做些什么。
: ...................
--
FROM 58.218.213.*
训练好的系统叫火眼金睛,没训练好叫火焰山?
【 在 hgoldfish 的大作中提到: 】
: 如果需要证据证明不需要最先进工艺就能造出 Exascale 级超算,你只需要看看中国国家超级计算无锡中心的神威·“海洋之光”系统。阿里巴巴、清华大学、达摩院、浙江实验室和北京智源人工智能研究院发表的论文透露了关于“海洋之光”的架构细节,它们运行名为“八卦炉(BaGuaLu)”的预训练机器学习模型,有超过 3700 万个内核和 14.5 万亿个参数(大概为FP32 单精度),能扩展到 174 万亿个参数(接近“大脑规模”,即其参数数量接近人脑突触数量)。
: “八卦炉”训练模型测试的总计 105 个机柜的系统及其 107,250 个 SW26010-Pro 处理器的峰值理论性能为 1.51 exaflops。我们喜欢基数为 2 的数字,认为“海洋之光”系统可能会扩展到 160 个机柜,即 163,840 个节点,峰值 FP64 和 FP32 性能略低于 2.3 exaflops。如果它只有 120 个机柜,“海洋之光”的峰值将是 1.72 exaflops。如果 160 机柜规模是“海洋之光”的最大值,那么中国可以超越美国橡树岭国家实验室正在调优的“Frontier”超算(性能为 1.5 exaflops),并能超越将于今年晚些时候进入美国劳伦斯利弗莫尔国家实验室的“Aurora”超算(理论峰值性能 2 exaflops)——甚至可能超过将于 2023 年进入劳伦斯利弗莫尔国家实验室的“El Capitan”超算,传言“El Capitan”超级计算机的理论峰值性能预计将达到 2.2 exaflops 到 2.3 exaflops。
: 我们很想看看“海洋之光”的发热量和成本。可以肯定 SW26010-Pro 芯片会很热,供电和冷却的电费很高,但如果中芯国际 14 纳米工艺产率不错的话,那么该芯片的制造成本可能会比 Nvidia、AMD或者 Intel 的大型 GPU 加速器便宜得多。不管怎样,对于中国的现在和未来来说,拥有本土零部件比能源效率更重要。想象一下,多年后中芯国际能实现 7 纳米工艺时候,中国可以用它做些什么。
: ...................
--
FROM 180.141.115.*