Applications of machine learning (ML) models in optical communications and networks have been extensively investigated. For an optical wavelength-division-multiplexing (WDM) system, the quality of transmission (QoT) estimation generally depends on many parameters including the number and arrangement of WDM channels; launch power of each channel; number and distribution of fiber spans; attenuation, dispersion, and nonlinearity parameters and length of each fiber span; noise figure; gain and gain tilt of erbium-doped fiber amplifiers; transceiver noise; digital signal processing (DSP) performance; and so on. In recent years, ML-based QoT estimation schemes have gained significant attention. However, nearly all relevant works are conducted through simulations because it is difficult to obtain sufficient and high-quality datasets for training ML models. In this paper, we demonstrate completely automated generation and collection of an ultra-large-scale experimental training dataset for ML-model-based QoT estimation by automation of transceivers and optical link parameters, as well as data transfer and DSP. Implementation details and key codes of automation are presented. Artificial neural network models with one and two hidden layers are trained by the collected dataset, and brief QoT estimation results are evaluated and discussed to verify the performance and stability of the established automated system.

中文翻译：

---

用于光网络中机器学习应用的自动训练数据集收集系统设计：传输质量估计示例

机器学习 (ML) 模型在光通信和网络中的应用已得到广泛研究。对于光波分复用 (WDM) 系统，传输质量 (QoT) 估计通常取决于许多参数，包括 WDM 信道的数量和排列；每个通道的发射功率；光纤跨度的数量和分布；每个光纤跨距的衰减、色散和非线性参数和长度；噪声系数；掺铒光纤放大器的增益和增益倾斜；收发器噪声；数字信号处理 (DSP) 性能；等等。近年来，基于 ML 的 QoT 估计方案受到了极大的关注。然而，几乎所有相关工作都是通过模拟进行的，因为很难获得足够高质量的数据集来训练 ML 模型。在本文中，我们展示了通过收发器和光链路参数以及数据传输和 DSP 的自动化，完全自动生成和收集基于 ML 模型的 QoT 估计的超大规模实验训练数据集。介绍了自动化的实现细节和关键代码。通过收集的数据集训练具有一、二个隐藏层的人工神经网络模型，并评估和讨论简要的 QoT 估计结果，以验证所建立的自动化系统的性能和稳定性。我们展示了通过收发器和光链路参数以及数据传输和 DSP 的自动化，完全自动生成和收集基于 ML 模型的 QoT 估计的超大规模实验训练数据集。介绍了自动化的实现细节和关键代码。通过收集的数据集训练具有一、二个隐藏层的人工神经网络模型，并评估和讨论简要的 QoT 估计结果，以验证所建立的自动化系统的性能和稳定性。我们展示了通过收发器和光链路参数以及数据传输和 DSP 的自动化，完全自动生成和收集基于 ML 模型的 QoT 估计的超大规模实验训练数据集。介绍了自动化的实现细节和关键代码。通过收集的数据集训练具有一、二个隐藏层的人工神经网络模型，并评估和讨论简要的 QoT 估计结果，以验证所建立的自动化系统的性能和稳定性。