Photonics is among the most promising emerging technologies for providing fast and energy-efficient Deep Learning (DL) implementations. Despite their advantages, these photonic DL accelerators also come with certain important limitations. For example, the majority of existing photonic accelerators do not currently support many of the activation functions that are commonly used in DL, such as the ReLU activation function. Instead, sinusoidal and sigmoidal nonlinearities are usually employed, rendering the training process unstable and difficult to tune, mainly due to vanishing gradient phenomena. Thus, photonic DL models usually require carefully fine-tuning all their training hyper-parameters in order to ensure that the training process will proceed smoothly. Despite the recent advances in initialization schemes, as well as in optimization algorithms, training photonic DL models is still especially challenging. To overcome these limitations, we propose a novel adaptive initialization method that employs auxiliary tasks to estimate the optimal initialization variance for each layer of a network. The effectiveness of the proposed approach is demonstrated using two different datasets, as well as two recently proposed photonic activation functions and three different initialization methods. Apart from significantly increasing the stability of the training process, the proposed method can be directly used with any photonic activation function, without further requiring any other kind of fine-tuning, as also demonstrated through the conducted experiments.

光子学是用于提供快速且节能的深度学习（DL）实现的最有前途的新兴技术之一。尽管具有这些优点，但这些光子DL加速器也具有某些重要限制。例如，大多数现有的光子加速器当前不支持DL中常用的许多激活功能，例如ReLU激活功能。取而代之的是，通常采用正弦和S形非线性，这主要是由于梯度现象消失而使训练过程不稳定且难以调整。因此，光子DL模型通常需要仔细地微调其所有训练超参数，以确保训练过程将顺利进行。尽管最近在初始化方案方面取得了进步，在优化算法中，训练光子DL模型仍然特别具有挑战性。为了克服这些限制，我们提出了一种新颖的自适应初始化方法，该方法采用辅助任务来估计网络每一层的最佳初始化方差。使用两个不同的数据集，以及两个最近提出的光子激活函数和三种不同的初始化方法，证明了该方法的有效性。除了显着提高训练过程的稳定性外，所提出的方法还可以直接用于任何光子激活功能，而无需进一步进行任何其他类型的微调，这也通过进行的实验得到了证明。我们提出了一种新颖的自适应初始化方法，该方法采用辅助任务来估计网络每一层的最佳初始化方差。使用两个不同的数据集，以及两个最近提出的光子激活函数和三种不同的初始化方法，证明了该方法的有效性。除了显着提高训练过程的稳定性外，所提出的方法还可以直接用于任何光子激活功能，而无需进一步进行任何其他类型的微调，这也通过进行的实验得到了证明。我们提出了一种新颖的自适应初始化方法，该方法采用辅助任务来估计网络每一层的最佳初始化方差。使用两个不同的数据集，以及两个最近提出的光子激活函数和三种不同的初始化方法，证明了该方法的有效性。除了显着提高训练过程的稳定性外，所提出的方法还可以直接用于任何光子激活功能，而无需进一步进行任何其他类型的微调，这也通过进行的实验得到了证明。以及最近提出的两个光子激活函数和三种不同的初始化方法。除了可以显着提高训练过程的稳定性外，所提出的方法还可以直接用于任何光子激活功能，而无需进一步进行任何其他类型的微调，这也可以通过进行的实验证明。以及两个最近提出的光子激活函数和三种不同的初始化方法。除了显着提高训练过程的稳定性外，所提出的方法还可以直接用于任何光子激活功能，而无需进一步进行任何其他类型的微调，这也通过进行的实验得到了证明。