In this article, we report system and algorithmic developments for a sensing suite comprising a camera and a ground penetrating radar (GPR) with a wheel encoder designed for both surface and subsurface infrastructure inspection, which is a multimodal mapping task. To fuse different sensor modalities properly, we solve a novel GPR-camera calibration problem and a synchronization-challenged sensor fusion problem. First, we design a calibration rig, model the GPR imaging process, introduce a mirror to obtain the joint coverage between the camera and the GPR, and employ the maximum-likelihood estimator to estimate the relative pose between the camera and the GPR with error analysis. Second, we propose a data collection scheme using the customized artificial landmarks to synchronize camera images (temporally evenly spaced) and GPR/encoder data (spatially evenly spaced). We also employ pose graph optimization with location discrepancy as penalty functions to perform data fusion for 3-D reconstruction. We have tested our system in physical experiments. The results show that our system successfully fuses encoder–camera–GPR sensory data and accomplishes a metric 3-D reconstruction. Moreover, our sensor fusion approach reduces the end-to-end distance error from 6.4 to 0.7 cm in a real bridge inspection experiment if comparing to the counterpart that only uses encoder measurements.

中文翻译：

---

编码器-相机-探地雷达传感器融合：双峰校准和地下测绘

在本文中，我们报告了传感套件的系统和算法开发，该套件包括一个摄像头和一个带轮编码器的探地雷达 (GPR)，专为地表和地下基础设施检查而设计，这是一项多模式测绘任务。为了正确融合不同的传感器模式，我们解决了一个新的 GPR 相机校准问题和一个同步挑战的传感器融合问题。首先，我们设计了一个校准装置，对 GPR 成像过程进行建模，引入镜子以获得相机和 GPR 之间的联合覆盖，并采用最大似然估计器通过误差分析估计相机和 GPR 之间的相对位姿. 第二，我们提出了一种数据收集方案，使用定制的人工地标来同步相机图像（时间均匀间隔）和 GPR/编码器数据（空间均匀间隔）。我们还使用位置差异作为惩罚函数的姿势图优化来执行 3-D 重建的数据融合。我们已经在物理实验中测试了我们的系统。结果表明，我们的系统成功地融合了编码器-相机-GPR 传感数据并完成了度量 3-D 重建。此外，与仅使用编码器测量的对应方法相比，我们的传感器融合方法在实际桥梁检测实验中将端到端距离误差从 6.4 厘米降低到 0.7 厘米。我们已经在物理实验中测试了我们的系统。结果表明，我们的系统成功地融合了编码器-相机-GPR 传感数据并完成了度量 3-D 重建。此外，与仅使用编码器测量的对应方法相比，我们的传感器融合方法在实际桥梁检测实验中将端到端距离误差从 6.4 厘米降低到 0.7 厘米。我们已经在物理实验中测试了我们的系统。结果表明，我们的系统成功地融合了编码器-相机-GPR 传感数据并完成了度量 3-D 重建。此外，与仅使用编码器测量的对应方法相比，我们的传感器融合方法在实际桥梁检测实验中将端到端距离误差从 6.4 厘米降低到 0.7 厘米。