Integrated programmable optoelectronics is emerging as a promising platform of neural network accelerator, which affords efficient in-memory computing and high bandwidth interconnectivity. The analog nature of optical computing and the inherent optoelectronic noises, however, make the systems error-prone in practical implementations such as classification by discriminative neural networks. It is thus imperative to devise strategies to mitigate and, if possible, harness optical and electrical noises in photonic computing systems. Here, we demonstrate a prototypical photonic generative adversarial network (GAN) that generates handwritten numbers using a photonic core consisting of an array of programable phase-change optical memory cells. We harness optoelectronic noises in the photonic GAN by realizing an optical random number generator derived from the amplified spontaneous emission noise, applying noise-aware training by injecting additional noise to the network, and implementing the trained network with resilience to hardware non-idealities. Surprisingly, the photonic GAN with hardware noises and inaccuracies can generate images of even higher quality than the noiseless software baseline. Our results suggest the resilience and potential of more complex photonic generative networks based on large-scale, non-ideal photonic hardware. The demonstrated GAN architecture and the proposed noise-aware training approach are generic and thus applicable to various types of optoelectronic neuromorphic computing hardware.

中文翻译：

---

在光子生成对抗网络 (GAN) 中利用光电噪声

集成可编程光电子学正在成为神经网络加速器的一个有前途的平台，它提供高效的内存计算和高带宽互连。然而，光学计算的模拟性质和固有的光电噪声使系统在实际实现中容易出错，例如通过判别神经网络进行分类。因此，必须制定策略来减轻并在可能的情况下利用光子计算系统中的光和电噪声。在这里，我们展示了一个原型光子生成对抗网络 (GAN)，它使用由一组可编程相变光学存储单元组成的光子核心生成手写数字。我们通过实现源自放大的自发发射噪声的光学随机数发生器，通过向网络注入额外噪声来应用噪声感知训练，以及实现具有硬件非理想性弹性的训练网络，来利用光子 GAN 中的光电噪声。令人惊讶的是，具有硬件噪声和不准确性的光子 GAN 可以生成比无噪声软件基线质量更高的图像。我们的结果表明，基于大规模、非理想光子硬件的更复杂的光子生成网络具有弹性和潜力。演示的 GAN 架构和提出的噪声感知训练方法是通用的，因此适用于各种类型的光电神经形态计算硬件。通过向网络注入额外的噪声来应用噪声感知训练，并实现对硬件非理想情况具有弹性的训练网络。令人惊讶的是，具有硬件噪声和不准确性的光子 GAN 可以生成比无噪声软件基线质量更高的图像。我们的结果表明，基于大规模、非理想光子硬件的更复杂的光子生成网络具有弹性和潜力。演示的 GAN 架构和提出的噪声感知训练方法是通用的，因此适用于各种类型的光电神经形态计算硬件。通过向网络注入额外的噪声来应用噪声感知训练，并实现对硬件非理想情况具有弹性的训练网络。令人惊讶的是，具有硬件噪声和不准确性的光子 GAN 可以生成比无噪声软件基线质量更高的图像。我们的结果表明，基于大规模、非理想光子硬件的更复杂的光子生成网络具有弹性和潜力。演示的 GAN 架构和提出的噪声感知训练方法是通用的，因此适用于各种类型的光电神经形态计算硬件。具有硬件噪声和不准确性的光子 GAN 可以生成比无噪声软件基线质量更高的图像。我们的结果表明，基于大规模、非理想光子硬件的更复杂的光子生成网络具有弹性和潜力。演示的 GAN 架构和提出的噪声感知训练方法是通用的，因此适用于各种类型的光电神经形态计算硬件。具有硬件噪声和不准确性的光子 GAN 可以生成比无噪声软件基线质量更高的图像。我们的结果表明，基于大规模、非理想光子硬件的更复杂的光子生成网络具有弹性和潜力。演示的 GAN 架构和提出的噪声感知训练方法是通用的，因此适用于各种类型的光电神经形态计算硬件。