This paper introduces a new algorithm for estimating the relative pose of a moving camera using consecutive frames of a video sequence. State-of-the-art algorithms for calculating the relative pose between two images use matching features to estimate the essential matrix. The essential matrix is then decomposed into the relative rotation and normalized translation between frames. To be robust to noise and feature match outliers, these methods generate a large number of essential matrix hypotheses from randomly selected minimal subsets of feature pairs, and then score these hypotheses on all feature pairs. Alternatively, the algorithm introduced in this paper calculates relative pose hypotheses by directly optimizing the rotation and normalized translation between frames, rather than calculating the essential matrix and then performing the decomposition. The resulting algorithm improves computation time by an order of magnitude. If an inertial measurement unit ( IMU ) is available, it is used to seed the optimizer, and in addition, we reuse the best hypothesis at each iteration to seed the optimizer thereby reducing the number of relative pose hypotheses that must be generated and scored. These advantages greatly speed up performance and enable the algorithm to run in real-time on low cost embedded hardware. We show application of our algorithm to visual multi-target tracking ( MTT ) in the presence of parallax and demonstrate its real-time performance on a 640 × 480 video sequence captured on a UAV.

中文翻译：

---

基于对极几何的迭代姿态估计算法及其在多目标跟踪中的应用

本文介绍了一种使用视频序列的连续帧来估算运动相机相对姿态的新算法。用于计算两个图像之间相对姿势的最新算法使用匹配功能来估计基本矩阵。然后将基本矩阵分解为帧之间的相对旋转和归一化平移。为了对噪声和特征匹配离群值具有鲁棒性，这些方法从随机选择的特征对的最小子集生成大量基本矩阵假设，然后在所有特征对上对这些假设进行评分。另外，本文介绍的算法通过直接优化帧之间的旋转和归一化平移来计算相对姿态假设，而不是计算基本矩阵，然后执行分解。所得算法将计算时间缩短了一个数量级。如果有惯性测量单位（IMU），则将其用作优化器的种子，此外，我们在每次迭代时都重复使用最佳假设以播发优化器，从而减少了必须生成和评分的相对姿势假设的数量。这些优势极大地提高了性能，并使算法能够在低成本嵌入式硬件上实时运行。我们展示了我们的算法在存在视差的情况下在视觉多目标跟踪（MTT）中的应用，并展示了其在无人机上捕获的640×480视频序列上的实时性能。如果有惯性测量单位（IMU），则将其用作优化器的种子，此外，我们在每次迭代时都重复使用最佳假设以播发优化器，从而减少了必须生成和评分的相对姿势假设的数量。这些优势极大地提高了性能，并使算法能够在低成本嵌入式硬件上实时运行。我们展示了我们的算法在存在视差的情况下在视觉多目标跟踪（MTT）中的应用，并展示了其在无人机上捕获的640×480视频序列上的实时性能。如果有惯性测量单位（IMU），则将其用作优化器的种子，此外，我们在每次迭代时都重复使用最佳假设以播发优化器，从而减少了必须生成和评分的相对姿势假设的数量。这些优势极大地提高了性能，并使算法能够在低成本嵌入式硬件上实时运行。我们展示了我们的算法在存在视差的情况下在视觉多目标跟踪（MTT）中的应用，并展示了其在无人机上捕获的640×480视频序列上的实时性能。这些优势极大地提高了性能，并使算法能够在低成本嵌入式硬件上实时运行。我们展示了我们的算法在存在视差的情况下在视觉多目标跟踪（MTT）中的应用，并展示了其在无人机上捕获的640×480视频序列上的实时性能。这些优势极大地提高了性能，并使算法能够在低成本嵌入式硬件上实时运行。我们展示了我们的算法在存在视差的情况下在视觉多目标跟踪（MTT）中的应用，并展示了其在无人机上捕获的640×480视频序列上的实时性能。