Structural bolts are critical components used in different structural elements, such as beam-column connections and friction damping devices. The clamping force in structural bolts is highly influenced by the bolt rotation. Much of the existing vision-based research about bolt rotation estimation relies on traditional computer vision algorithms such as Hough transform to assess static images of bolts. This requires careful image preprocessing, and it may not perform well in the situation of complicated bolt assemblies, or in the presence of surrounding objects and background noise, thus hindering their real-world applications. In this study, an integrated real-time detect-track method, namely, RTDT-bolt, is proposed to monitor the bolt rotation angle. First, a real-time convolutional-neural-networks-based object detector, named YOLOv3-tiny, is established and trained to localize structural bolts. Then, the target-free object tracking algorithm based on optical flow is implemented to continuously monitor and quantify the rotation of structural bolts. In order to enhance the tracking performance against background noise and potential illumination changes during tracking, the YOLOv3-tiny is integrated with the optical flow tracking algorithm to re-detect the bolts when the tracking gets lost. Extensive parameter studies were conducted to identify optimal tracking performance and examine the potential limitations. The results indicate that the RTDT-bolt method can greatly enhance the tracking performance of bolt rotation, which can achieve over 90% accuracy using the recommended range for the parameters.

中文翻译：

---

通过基于深度学习的集成检测和跟踪基于图像的螺栓松动监测

结构螺栓是用于不同结构元件的关键部件，例如梁柱连接和摩擦阻尼装置。结构螺栓的夹紧力受螺栓旋转的影响很大。许多现有的基于视觉的螺栓旋转估计研究依赖于传统的计算机视觉算法，如霍夫变换来评估螺栓的静态图像。这需要仔细的图像预处理，并且在复杂的螺栓组件的情况下，或者在存在周围物体和背景噪声的情况下可能表现不佳，从而阻碍了它们的实际应用。在这项研究中，提出了一种集成的实时检测跟踪方法，即 RTDT-bolt，用于监测螺栓旋转角度。首先，一个基于实时卷积神经网络的目标检测器，命名为 YOLOv3-tiny，已建立并接受培训以定位结构螺栓。然后，实现了基于光流的无目标目标跟踪算法，对结构螺栓的旋转进行连续监测和量化。为了提高跟踪过程中对背景噪声和潜在光照变化的跟踪性能，YOLOv3-tiny 与光流跟踪算法集成，以在跟踪丢失时重新检测螺栓。进行了广泛的参数研究以确定最佳跟踪性能并检查潜在的限制。结果表明，RTDT-bolt方法可以大大提高螺栓旋转的跟踪性能，使用推荐的参数范围可以达到90%以上的精度。实现了基于光流的无目标目标跟踪算法，对结构螺栓的旋转进行连续监测和量化。为了提高跟踪过程中对背景噪声和潜在光照变化的跟踪性能，YOLOv3-tiny 与光流跟踪算法集成，以在跟踪丢失时重新检测螺栓。进行了广泛的参数研究以确定最佳跟踪性能并检查潜在的限制。结果表明，RTDT-bolt方法可以大大提高螺栓旋转的跟踪性能，使用推荐的参数范围可以达到90%以上的精度。实现了基于光流的无目标目标跟踪算法，对结构螺栓的旋转进行连续监测和量化。为了提高跟踪过程中对背景噪声和潜在光照变化的跟踪性能，YOLOv3-tiny 与光流跟踪算法集成，以在跟踪丢失时重新检测螺栓。进行了广泛的参数研究以确定最佳跟踪性能并检查潜在的限制。结果表明，RTDT-bolt方法可以大大提高螺栓旋转的跟踪性能，使用推荐的参数范围可以达到90%以上的精度。为了提高跟踪过程中对背景噪声和潜在光照变化的跟踪性能，YOLOv3-tiny 与光流跟踪算法集成，以在跟踪丢失时重新检测螺栓。进行了广泛的参数研究以确定最佳跟踪性能并检查潜在的限制。结果表明，RTDT-bolt方法可以大大提高螺栓旋转的跟踪性能，使用推荐的参数范围可以达到90%以上的精度。为了提高跟踪过程中对背景噪声和潜在光照变化的跟踪性能，YOLOv3-tiny 与光流跟踪算法集成，以在跟踪丢失时重新检测螺栓。进行了广泛的参数研究以确定最佳跟踪性能并检查潜在的限制。结果表明，RTDT-bolt方法可以大大提高螺栓旋转的跟踪性能，使用推荐的参数范围可以达到90%以上的精度。进行了广泛的参数研究以确定最佳跟踪性能并检查潜在的限制。结果表明，RTDT-bolt方法可以大大提高螺栓旋转的跟踪性能，使用推荐的参数范围可以达到90%以上的精度。进行了广泛的参数研究以确定最佳跟踪性能并检查潜在的限制。结果表明，RTDT-bolt方法可以大大提高螺栓旋转的跟踪性能，使用推荐的参数范围可以达到90%以上的精度。