As cameras and inertial sensors are becoming ubiquitous in mobile devices and robots, it holds great potential to design visual-inertial navigation systems (VINS) for efficient versatile 3D motion tracking which utilize any (multiple) available cameras and inertial measurement units (IMUs) and are resilient to sensor failures or measurement depletion. To this end, rather than the standard VINS paradigm using a minimal sensing suite of a single camera and IMU, in this paper we design a real-time consistent multi-IMU multi-camera (MIMC)-VINS estimator that is able to seamlessly fuse multi-modal information from an arbitrary number of uncalibrated cameras and IMUs. Within an efficient multi-state constraint Kalman filter (MSCKF) framework, the proposed MIMC-VINS algorithm optimally fuses asynchronous measurements from all sensors, while providing smooth, uninterrupted, and accurate 3D motion tracking even if some sensors fail. The key idea of the proposed MIMC-VINS is to perform high-order on-manifold state interpolation to efficiently process all available visual measurements without increasing the computational burden due to estimating additional sensors' poses at asynchronous imaging times. In order to fuse the information from multiple IMUs, we propagate a joint system consisting of all IMU states while enforcing rigid-body constraints between the IMUs during the filter update stage. Lastly, we estimate online both spatiotemporal extrinsic and visual intrinsic parameters to make our system robust to errors in prior sensor calibration. The proposed system is extensively validated in both Monte-Carlo simulations and real-world experiments.

中文翻译：

---

MIMC-VINS：多功能且有弹性的多 IMU 多相机视觉惯性导航系统

随着相机和惯性传感器在移动设备和机器人中变得无处不在，设计视觉惯性导航系统 (VINS) 以实现高效的多功能 3D 运动跟踪具有巨大的潜力，该系统利用任何（多个）可用的相机和惯性测量单元 (IMU) 和对传感器故障或测量损耗具有弹性。为此，在本文中，我们设计了一个实时一致的多 IMU 多相机 (MIMC)-VINS 估计器，它能够无缝融合，而不是使用单个相机和 IMU 的最小传感套件的标准 VINS 范式来自任意数量的未校准相机和 IMU 的多模态信息。在高效的多状态约束卡尔曼滤波器 (MSCKF) 框架内，所提出的 MIMC-VINS 算法最佳地融合了来自所有传感器的异步测量，同时即使某些传感器出现故障，也能提供流畅、不间断和准确的 3D 运动跟踪。所提出的 MIMC-VINS 的关键思想是执行高阶流形状态插值以有效处理所有可用的视觉测量，而不会由于在异步成像时间估计额外传感器的姿态而增加计算负担。为了融合来自多个 IMU 的信息，我们传播了一个由所有 IMU 状态组成的联合系统，同时在过滤器更新阶段强制执行 IMU 之间的刚体约束。最后，我们在线估计时空外在和视觉内在参数，以使我们的系统对先前传感器校准中的错误具有鲁棒性。所提出的系统在蒙特卡洛模拟和现实世界的实验中得到了广泛的验证。即使某些传感器出现故障，也能进行准确的 3D 运动跟踪。所提出的 MIMC-VINS 的关键思想是执行高阶流形状态插值以有效处理所有可用的视觉测量，而不会由于在异步成像时间估计额外传感器的姿态而增加计算负担。为了融合来自多个 IMU 的信息，我们传播了一个由所有 IMU 状态组成的联合系统，同时在过滤器更新阶段强制执行 IMU 之间的刚体约束。最后，我们在线估计时空外在和视觉内在参数，以使我们的系统对先前传感器校准中的错误具有鲁棒性。所提出的系统在蒙特卡罗模拟和现实世界的实验中都得到了广泛的验证。即使某些传感器出现故障，也能进行准确的 3D 运动跟踪。所提出的 MIMC-VINS 的关键思想是执行高阶流形状态插值以有效处理所有可用的视觉测量，而不会由于在异步成像时间估计额外传感器的姿态而增加计算负担。为了融合来自多个 IMU 的信息，我们传播了一个由所有 IMU 状态组成的联合系统，同时在过滤器更新阶段强制执行 IMU 之间的刚体约束。最后，我们在线估计时空外在和视觉内在参数，以使我们的系统对先前传感器校准中的错误具有鲁棒性。所提出的系统在蒙特卡罗模拟和现实世界的实验中都得到了广泛的验证。所提出的 MIMC-VINS 的关键思想是执行高阶流形状态插值以有效处理所有可用的视觉测量，而不会由于在异步成像时间估计额外传感器的姿态而增加计算负担。为了融合来自多个 IMU 的信息，我们传播了一个由所有 IMU 状态组成的联合系统，同时在过滤器更新阶段强制执行 IMU 之间的刚体约束。最后，我们在线估计时空外在和视觉内在参数，以使我们的系统对先前传感器校准中的错误具有鲁棒性。所提出的系统在蒙特卡罗模拟和现实世界的实验中都得到了广泛的验证。所提出的 MIMC-VINS 的关键思想是执行高阶流形状态插值以有效处理所有可用的视觉测量，而不会由于在异步成像时间估计额外传感器的姿态而增加计算负担。为了融合来自多个 IMU 的信息，我们传播了一个由所有 IMU 状态组成的联合系统，同时在过滤器更新阶段强制执行 IMU 之间的刚体约束。最后，我们在线估计时空外在和视觉内在参数，以使我们的系统对先前传感器校准中的错误具有鲁棒性。所提出的系统在蒙特卡罗模拟和现实世界的实验中都得到了广泛的验证。为了融合来自多个 IMU 的信息，我们传播了一个由所有 IMU 状态组成的联合系统，同时在过滤器更新阶段强制执行 IMU 之间的刚体约束。最后，我们在线估计时空外在和视觉内在参数，以使我们的系统对先前传感器校准中的错误具有鲁棒性。所提出的系统在蒙特卡罗模拟和现实世界的实验中都得到了广泛的验证。为了融合来自多个 IMU 的信息，我们传播了一个由所有 IMU 状态组成的联合系统，同时在过滤器更新阶段强制执行 IMU 之间的刚体约束。最后，我们在线估计时空外在和视觉内在参数，以使我们的系统对先前传感器校准中的错误具有鲁棒性。所提出的系统在蒙特卡洛模拟和现实世界的实验中得到了广泛的验证。