Abstract This paper presents an innovative digital twin to monitor and control complex manufacturing processes by integrating deep learning which offers strong feature extraction and analysis abilities. Taking welding manufacturing as a case study, a deep learning-empowered digital twin is developed as the visualized digital replica of the physical welding for joint growth monitoring and penetration control. In such a system, the information available directly from sensors including weld pool images, arc images, welding current and arc voltage is collected in pulsed gas tungsten arc welding (GTAW-P). Then, the undirect information charactering the weld joint geometry and determining the welding quality, including the weld joint top-side bead width (TSBW) and back-side bead width (BSBW), is computed/estimated by traditional image processing methods and deep convolutional neural networks (CNNs) respectively. Compared with single image source, weld pool image or arc image, the CNN model performs better when taking the 2-channel composite image combined by both as the input and the state-of-the-art accuracy in BSBW prediction with mean square error (MSE) as 0.047 mm2 is obtained. Then, a decision-making strategy is developed to control the welding penetration to meet the quality requirement and applied successfully in various welding conditions. By modeling the weld joint cross section as an ellipse, the developed digital twin is visualized to offer a graphical user interface (GUI) for users perceiving the weld joint growth intuitively and effectively.

中文翻译：

---

深度学习赋能的数字孪生，用于可视化焊缝生长监测和渗透控制

摘要 本文提出了一种创新的数字孪生，通过集成具有强大特征提取和分析能力的深度学习来监控和控制复杂的制造过程。以焊接制造为案例研究，开发了一个深度学习赋能的数字孪生作为物理焊接的可视化数字复制品，用于接头生长监测和渗透控制。在这样的系统中，可直接从传感器获得的信息，包括熔池图像、电弧图像、焊接电流和电弧电压，在脉冲气体钨极电弧焊 (GTAW-P) 中收集。然后，表征焊缝几何形状和确定焊接质量的非直接信息，包括焊缝顶部焊道宽度 (TSBW) 和背面焊道宽度 (BSBW)，分别由传统图像处理方法和深度卷积神经网络 (CNN) 计算/估计。与单一图像源、熔池图像或电弧图像相比，CNN 模型在以两者结合的 2 通道合成图像作为输入时表现更好，并且在具有均方误差的 BSBW 预测中具有最新的精度（ MSE) 为 0.047 mm2。然后，制定决策策略来控制焊接熔深以满足质量要求，并在各种焊接条件下成功应用。通过将焊缝横截面建模为椭圆形，开发的数字孪生被可视化，为用户提供图形用户界面 (GUI)，让用户直观有效地感知焊缝增长。与单一图像源、熔池图像或电弧图像相比，CNN 模型在以两者结合的 2 通道合成图像作为输入时表现更好，并且在具有均方误差的 BSBW 预测中具有最新的精度（ MSE) 为 0.047 mm2。然后，制定决策策略来控制焊接熔深以满足质量要求，并在各种焊接条件下成功应用。通过将焊缝横截面建模为椭圆形，开发的数字孪生被可视化，为用户提供图形用户界面 (GUI)，让用户直观有效地感知焊缝增长。与单一图像源、熔池图像或电弧图像相比，CNN 模型在以两者结合的 2 通道合成图像作为输入时表现更好，并且在具有均方误差的 BSBW 预测中具有最新的精度（ MSE) 为 0.047 mm2。然后，制定决策策略来控制焊接熔深以满足质量要求，并在各种焊接条件下成功应用。通过将焊缝横截面建模为椭圆形，开发的数字孪生被可视化，为用户提供图形用户界面 (GUI)，让用户直观有效地感知焊缝增长。CNN 模型在将两者结合的 2 通道合成图像作为输入时表现更好，并且获得了均方误差 (MSE) 为 0.047 mm2 的 BSBW 预测的最新精度。然后，制定决策策略来控制焊接熔深以满足质量要求，并在各种焊接条件下成功应用。通过将焊缝横截面建模为椭圆形，开发的数字孪生被可视化，为用户提供图形用户界面 (GUI)，让用户直观有效地感知焊缝增长。CNN 模型在将两者结合的 2 通道合成图像作为输入时表现更好，并且获得了均方误差 (MSE) 为 0.047 mm2 的 BSBW 预测的最新精度。然后，制定决策策略来控制焊接熔深以满足质量要求，并在各种焊接条件下成功应用。通过将焊缝横截面建模为椭圆形，开发的数字孪生被可视化，为用户提供图形用户界面 (GUI)，让用户直观有效地感知焊缝增长。