Deep learning has led to unprecedented successes in solving some very difficult problems in domains such as computer vision, natural language processing, and general pattern recognition. These achievements are the culmination of decades-long research into better training techniques and deeper neural network models, as well as improvements in hardware platforms that are used to train and execute the deep neural network models. Many application-specific integrated circuit (ASIC) hardware accelerators for deep learning have garnered interest in recent years due to their improved performance and energy-efficiency over conventional CPU and GPU architectures. However, these accelerators are constrained by fundamental bottlenecks due to (1) the slowdown in CMOS scaling, which has limited computational and performance-per-watt capabilities of emerging electronic processors; and (2) the use of metallic interconnects for data movement, which do not scale well and are a major cause of bandwidth, latency, and energy inefficiencies in almost every contemporary processor. Silicon photonics has emerged as a promising CMOS-compatible alternative to realize a new generation of deep learning accelerators that can use light for both communication and computation. This article surveys the landscape of silicon photonics to accelerate deep learning, with a coverage of developments across design abstractions in a bottom-up manner, to convey both the capabilities and limitations of the silicon photonics paradigm in the context of deep learning acceleration.

中文翻译：

---

用于深度学习的硅光子学调查

深度学习在解决计算机视觉、自然语言处理和通用模式识别等领域的一些非常困难的问题方面取得了前所未有的成功。这些成就是数十年来对更好的训练技术和更深层次的神经网络模型的研究，以及用于训练和执行深度神经网络模型的硬件平台改进的结晶。近年来，许多用于深度学习的专用集成电路 (ASIC) 硬件加速器由于其性能和能效比传统 CPU 和 GPU 架构有所提高而引起了人们的兴趣。然而，由于 (1) CMOS 缩放速度放缓，这些加速器受到基本瓶颈的限制，新兴电子处理器的计算能力和每瓦性能有限；(2) 使用金属互连进行数据移动，这种互连不能很好地扩展，并且是几乎所有当代处理器中带宽、延迟和能源效率低下的主要原因。硅光子学已成为一种很有前途的 CMOS 兼容替代方案，可用于实现新一代深度学习加速器，该加速器可以使用光进行通信和计算。本文调查了硅光子学以加速深度学习的前景，并以自下而上的方式涵盖了设计抽象的发展，以传达硅光子学范式在深度学习加速背景下的能力和局限性。(2) 使用金属互连进行数据移动，这种互连不能很好地扩展，并且是几乎所有当代处理器中带宽、延迟和能源效率低下的主要原因。硅光子学已成为一种很有前途的 CMOS 兼容替代方案，可用于实现新一代深度学习加速器，该加速器可以使用光进行通信和计算。本文调查了硅光子学以加速深度学习的前景，并以自下而上的方式涵盖了设计抽象的发展，以传达硅光子学范式在深度学习加速背景下的能力和局限性。(2) 使用金属互连进行数据移动，这种互连不能很好地扩展，并且是几乎所有当代处理器中带宽、延迟和能源效率低下的主要原因。硅光子学已成为一种很有前途的 CMOS 兼容替代方案，可用于实现新一代深度学习加速器，该加速器可以使用光进行通信和计算。本文调查了硅光子学以加速深度学习的前景，并以自下而上的方式涵盖了设计抽象的发展，以传达硅光子学范式在深度学习加速背景下的能力和局限性。硅光子学已成为一种很有前途的 CMOS 兼容替代方案，可用于实现新一代深度学习加速器，该加速器可以使用光进行通信和计算。本文调查了硅光子学以加速深度学习的前景，并以自下而上的方式涵盖了设计抽象的发展，以传达硅光子学范式在深度学习加速背景下的能力和局限性。硅光子学已成为一种很有前途的 CMOS 兼容替代方案，可用于实现新一代深度学习加速器，该加速器可以使用光进行通信和计算。本文调查了硅光子学以加速深度学习的前景，并以自下而上的方式涵盖了设计抽象的发展，以传达硅光子学范式在深度学习加速背景下的能力和局限性。