With the proliferation of ultra-high-speed mobile networks and internet-connected devices, along with the rise of artificial intelligence, the world is generating exponentially increasing amounts of data - data that needs to be processed in a fast, efficient and smart way. These developments are pushing the limits of existing computing paradigms, and highly parallelized, fast and scalable hardware concepts are becoming progressively more important. Here, we demonstrate a computational specific integrated photonic tensor core - the optical analog of an ASIC-capable of operating at Tera-Multiply-Accumulate per second (TMAC/s) speeds. The photonic core achieves parallelized photonic in-memory computing using phase-change memory arrays and photonic chip-based optical frequency combs (soliton microcombs). The computation is reduced to measuring the optical transmission of reconfigurable and non-resonant passive components and can operate at a bandwidth exceeding 14 GHz, limited only by the speed of the modulators and photodetectors. Given recent advances in hybrid integration of soliton microcombs at microwave line rates, ultra-low loss silicon nitride waveguides, and high speed on-chip detectors and modulators, our approach provides a path towards full CMOS wafer-scale integration of the photonic tensor core. While we focus on convolution processing, more generally our results indicate the major potential of integrated photonics for parallel, fast, and efficient computational hardware in demanding AI applications such as autonomous driving, live video processing, and next generation cloud computing services.

中文翻译：

---

使用集成光子张量核的并行卷积处理

随着超高速移动网络和互联网连接设备的激增，以及人工智能的兴起，世界正在生成呈指数级增长的数据量——需要以快速、高效和智能的方式处理的数据。这些发展正在推动现有计算范式的极限，高度并行化、快速和可扩展的硬件概念正变得越来越重要。在这里，我们展示了一个计算特定的集成光子张量核心 - ASIC 的光学模拟，能够以每秒万亿次乘法累加 (TMAC/s) 的速度运行。光子核心使用相变存储器阵列和基于光子芯片的光频梳（孤子微梳）实现并行光子内存计算。计算被简化为测量可重构和非谐振无源元件的光传输，并且可以在超过 14 GHz 的带宽下运行，仅受调制器和光电探测器速度的限制。鉴于微波线速孤子微梳混合集成、超低损耗氮化硅波导以及高速片上检测器和调制器的最新进展，我们的方法提供了实现光子张量核心全 CMOS 晶圆级集成的途径。虽然我们专注于卷积处理，但更一般地说，我们的结果表明集成光子学在要求苛刻的 AI 应用程序（如自动驾驶、实时视频处理和下一代云计算服务）中并行、快速和高效计算硬件的主要潜力。仅受调制器和光电探测器速度的限制。鉴于微波线速孤子微梳、超低损耗氮化硅波导以及高速片上检测器和调制器的混合集成的最新进展，我们的方法为光子张量核心的全 CMOS 晶圆级集成提供了一条途径。虽然我们专注于卷积处理，但更一般地说，我们的结果表明集成光子学在要求苛刻的 AI 应用程序（如自动驾驶、实时视频处理和下一代云计算服务）中并行、快速和高效计算硬件的主要潜力。仅受调制器和光电探测器速度的限制。鉴于微波线速孤子微梳混合集成、超低损耗氮化硅波导以及高速片上检测器和调制器的最新进展，我们的方法提供了实现光子张量核心全 CMOS 晶圆级集成的途径。虽然我们专注于卷积处理，但更一般地说，我们的结果表明，集成光子学在要求苛刻的 AI 应用程序（如自动驾驶、实时视频处理和下一代云计算服务）中具有并行、快速和高效计算硬件的巨大潜力。以及高速片上检测器和调制器，我们的方法为光子张量核心的全 CMOS 晶圆级集成提供了一条途径。虽然我们专注于卷积处理，但更一般地说，我们的结果表明，集成光子学在要求苛刻的 AI 应用程序（如自动驾驶、实时视频处理和下一代云计算服务）中具有并行、快速和高效计算硬件的巨大潜力。以及高速片上检测器和调制器，我们的方法为光子张量核心的全 CMOS 晶圆级集成提供了一条途径。虽然我们专注于卷积处理，但更一般地说，我们的结果表明，集成光子学在要求苛刻的 AI 应用程序（如自动驾驶、实时视频处理和下一代云计算服务）中具有并行、快速和高效计算硬件的巨大潜力。