12月15日,NVIDIA GTC 2020中国线上大会上,NVIDIA首席科学家Bill Dally发表主题演讲,重点介绍了他的团队在AI研究方面的进展,特别强调了以NVIDIA创始人兼CEO黄仁勋本人命名的“黄氏定律”(Huang's Law)。
众所周知,“摩尔定律”在过去半个世纪推动着CPU处理器的飞速发展,而近些年明显慢了下来,GPU则持续提升,同时担任的角色也越来越多,尤其是在这个无处不AI的世界。
Bill Dally拥有120多项专利,曾任斯坦福大学计算机科学系主任,2009年加入NVIDIA,负责AI、光线追踪、高速互连领域的相关研究。
本次大会上,Bill Dally以三个项目为例,讲述了自己带领的200人的研究团队,如何成功实现“黄氏定律”,并大胆预测,GPU将推动AI性能每一年都翻一倍。
他说:“如果我们真的想提高计算机性能,黄氏定律就是一项重要指标,且在可预见的未来都将一直适用。”
为实现这一突破,NVIDIA专门开发了一种名为MAGNet的工具,它生成的AI推理加速器在模拟测试中能够达到100TOPS/W(每瓦特100万亿次操作)的推理能力,比目前的商用芯片高出一个数量级。
MAGNet采用了一系列新技术,协调并控制通过设备的信息流,最大限度地减少数据传输,而数据传输正是当今芯片中能耗最大的环节。
另外,NVIDIA还研究了更快速的光链路,可取代现有系统内的电气链路,通过利用密集波分复用技术,有望在仅仅1毫米大小的芯片上,实现Tb/s级数据的传输,是如今互连密度的十倍以上。
Bill Dally还举例展示了一个新的NVIDIA DGX系统模型,借助光链路可集成160多颗GPU。
--
FROM 114.253.8.*