Recent advances in visual sensing technology and unmanned aerial vehicle (UAV) provide an effective tool to capture the as-is conditions of infrastructure and thus have gained their popularity in infrastructure inspection and documentation. To facilitate this process, several recent studies have proposed automated methods for detecting concrete cracks from UAV-based images. This study is aimed at proposing a new method for automating both the detection and quantification of concrete cracks. The proposed method advances state-of-the-art image-based concrete crack detection methods by integrating the RGB images with the lidar data collected by UAV. The key innovations focus on two aspects: (1) by recognizing objects of interest in the lidar data, regions of interest can be extracted automatically from the images; (2) by retrieving the depth information through the lidar data, the actual pixel sizes can be estimated to facilitate both the detection and quantification of concrete cracks. In order to validate the proposed method, a customized UAV platform that was equipped with a high-resolution camera and a Velodyne VLP-16 lidar scanner was developed to scan the substructure elements of an in-service bridge where multiple concrete cracks can be observed. The effectiveness of the proposed method in recognizing and quantifying concrete cracks is validated quantitively against manually annotated images and physical measurements. The results indicate that the proposed approach can recognize crack pixels with an accuracy of 85% on average as well as quantify the recognized concrete cracks with an error less than 10%.

中文翻译：

---

使用来自无人机的集成图像和激光雷达数据实现混凝土裂缝的自动检测和量化

视觉传感技术和无人机 (UAV) 的最新进展提供了一种有效的工具来捕获基础设施的现状，因此在基础设施检查和文件记录中广受欢迎。为了促进这一过程，最近的几项研究提出了从基于无人机的图像中检测混凝土裂缝的自动化方法。本研究旨在提出一种自动化检测和量化混凝土裂缝的新方法。所提出的方法通过将 RGB 图像与无人机收集的激光雷达数据相结合，推进了最先进的基于图像的混凝土裂缝检测方法。关键创新集中在两个方面：（1）通过识别激光雷达数据中的感兴趣对象，自动从图像中提取感兴趣区域；(2) 通过激光雷达数据检索深度信息，可以估计实际像素大小，以促进混凝土裂缝的检测和量化。为了验证所提出的方法，开发了一个配备高分辨率相机和 Velodyne VLP-16 激光雷达扫描仪的定制无人机平台，用于扫描在役桥梁的下部结构元素，可以观察到多个混凝土裂缝。所提出的方法在识别和量化混凝土裂缝方面的有效性已针对手动注释的图像和物理测量进行了量化验证。结果表明，所提出的方法能够以平均 85% 的准确率识别裂缝像素，并以小于 10% 的误差对识别的混凝土裂缝进行量化。可以估计实际像素大小以促进混凝土裂缝的检测和量化。为了验证所提出的方法，开发了一个配备高分辨率相机和 Velodyne VLP-16 激光雷达扫描仪的定制无人机平台，用于扫描在役桥梁的下部结构元素，可以观察到多个混凝土裂缝。所提出的方法在识别和量化混凝土裂缝方面的有效性已针对手动注释的图像和物理测量进行了量化验证。结果表明，所提出的方法能够以平均 85% 的准确率识别裂缝像素，并以小于 10% 的误差对识别的混凝土裂缝进行量化。可以估计实际像素大小以促进混凝土裂缝的检测和量化。为了验证所提出的方法，开发了一个配备高分辨率相机和 Velodyne VLP-16 激光雷达扫描仪的定制无人机平台，用于扫描在役桥梁的下部结构元素，可以观察到多个混凝土裂缝。所提出的方法在识别和量化混凝土裂缝方面的有效性已针对手动注释的图像和物理测量进行了量化验证。结果表明，所提出的方法能够以平均 85% 的准确率识别裂缝像素，并以小于 10% 的误差对识别的混凝土裂缝进行量化。为了验证所提出的方法，开发了一个配备高分辨率相机和 Velodyne VLP-16 激光雷达扫描仪的定制无人机平台，用于扫描在役桥梁的下部结构元素，可以观察到多个混凝土裂缝。所提出的方法在识别和量化混凝土裂缝方面的有效性已针对手动注释的图像和物理测量进行了量化验证。结果表明，所提出的方法能够以平均 85% 的准确率识别裂缝像素，并以小于 10% 的误差对识别的混凝土裂缝进行量化。为了验证所提出的方法，开发了一个配备高分辨率相机和 Velodyne VLP-16 激光雷达扫描仪的定制无人机平台，用于扫描在役桥梁的下部结构元素，可以观察到多个混凝土裂缝。所提出的方法在识别和量化混凝土裂缝方面的有效性已针对手动注释的图像和物理测量进行了量化验证。结果表明，所提出的方法能够以平均 85% 的准确率识别裂缝像素，并以小于 10% 的误差对识别的混凝土裂缝进行量化。定制的无人机平台配备了高分辨率相机和 Velodyne VLP-16 激光雷达扫描仪，用于扫描在役桥梁的下部结构元素，可以观察到多个混凝土裂缝。所提出的方法在识别和量化混凝土裂缝方面的有效性已针对手动注释的图像和物理测量进行了量化验证。结果表明，所提出的方法能够以平均 85% 的准确率识别裂缝像素，并以小于 10% 的误差对识别的混凝土裂缝进行量化。定制的无人机平台配备了高分辨率相机和 Velodyne VLP-16 激光雷达扫描仪，用于扫描在役桥梁的下部结构元素，可以观察到多个混凝土裂缝。所提出的方法在识别和量化混凝土裂缝方面的有效性已针对手动注释的图像和物理测量进行了量化验证。结果表明，所提出的方法能够以平均 85% 的准确率识别裂缝像素，并以小于 10% 的误差对识别的混凝土裂缝进行量化。