9篇分布式机器学习系统经典论文；深度学习硬件的黄金十年｜AI系统前沿动态...

 

这是OneFlow社区发布的第48期AI系统前沿动态，今天开始正式在OneFlow公众号更新。《AI系统前沿动态》主要推荐AI系统、编译器、大模型、硬件、最新活动等相关内容，每周一期。如果你想了解往期内容，请查看知乎链接：https://www.zhihu.com/org/oneflow-17

1. 英伟达首席科学家：深度学习硬件的过去、现在和未来

深度学习硬件究竟如何继续提升性能？英伟达首席科学家Bill Dally无疑是回答这一问题的权威，在H100 GPU发布前，他在一次演讲中回顾了深度学习硬件的现状，在他看来，其实我们手里的牌打得差不多了，这意味着必须开始研发新的技术。

以下是他认为值得关注的四个方向：首先，研究新的数字表示，比如对数（Log number），以及比EasyQuant更加巧妙的量化方案；其次，继续深入研究稀疏性；然后，研究存储电路和通信电路；最后，改良现有的工艺技术。

链接：https://mp.weixin.qq.com/s/ofWCgv-ksJjqGH0qlbW8nw

2. 大规模分布式深度神经网络（Large Scale Distributed Deep Networks）

链接：https://static.googleusercontent.com/media/research.google.com/en//archive/large_deep_networks_nips2012.pdf

作者：Jeffrey Dean, Greg Corrado, Rajat Monga, Kai Chen, Matthieu Devin, Mark Mao, Marc’aurelio Ranzato, Andrew Senior, Paul Tucker, Ke Yang, Quoc V. Le, Andrew Y. Ng

发表时间：2012

摘要：无监督特征学习和深度学习方面的近期研究进展显示，若能成功训练出大型模型，即可大幅提升性能。本文探讨如何利用数万CPU核心训练具有数十亿参数的深度神经网络。本文作者开发出DistBelief软件框架，该框架可利用含数千台机器的计算集群训练大型模型。

本文作者还为该框架开发出两种用于大型分布式训练的算法：(i) Downpour SGD——一种异步随机梯度下降方法，可支持大批量模型复制；(ii) Sandblaster——一种支持多种分布式批次（batch）优化程序（包括L-BFGS的分布式实现）的框架。Downpour SGD与Sandblaster L-BFGS均可扩大深度神经网络训练规模并提升训练速度。

本文作者使用上述方法成功训练出规模30倍于以往文献所述模型的深度神经网络，并在ImageNet物体识别任务中取得SOTA性能表现，该识别任务含1600万张图像，涉及21,000种物体。此外，本文作者将上述方法应用于商业语音识别服务，经实践证明，上述方法亦有助于更小规模深度神经网络的提速。尽管上述方法主要针对大型神经网络训练，但其底层算法适用于所有基于梯度的机器学习算法。

3. COTS HPC系统助力深度学习（Deep Learning with COTS HPC systems）

链接：http://proceedings.mlr.press/v28/coates13.pdf

作者：Adam Coates, Brody Huval, Tao Wang, David Wu, Bryan Catanzaro, Andrew Ng

发表时间：2013