Event cameras are bio-inspired vision sensors that output pixel-level brightness changes instead of standard intensity frames. They offer significant advantages over standard cameras, namely a very high dynamic range, no motion blur, and a latency in the order of microseconds. However, because the output is composed of a sequence of asynchronous events rather than actual intensity images, traditional vision algorithms cannot be applied, so that a paradigm shift is needed. We introduce the problem of event-based multi-view stereo (EMVS) for event cameras and propose a solution to it. Unlike traditional MVS methods, which address the problem of estimating dense 3D structure from a set of known viewpoints, EMVS estimates semi-dense 3D structure from an event camera with known trajectory. Our EMVS solution elegantly exploits two inherent properties of an event camera: (1) its ability to respond to scene edges—which naturally provide semi-dense geometric information without any pre-processing operation—and (2) the fact that it provides continuous measurements as the sensor moves. Despite its simplicity (it can be implemented in a few lines of code), our algorithm is able to produce accurate, semi-dense depth maps, without requiring any explicit data association or intensity estimation. We successfully validate our method on both synthetic and real data. Our method is computationally very efficient and runs in real-time on a CPU.

中文翻译：

---

EMVS：基于事件的多视图立体——使用事件摄像机实时进行 3D 重建

事件相机是仿生视觉传感器，可输出像素级亮度变化而不是标准强度帧。与标准相机相比，它们具有显着的优势，即非常高的动态范围、无运动模糊以及微秒级的延迟。但是，由于输出是由一系列异步事件而不是实际强度图像组成，因此无法应用传统的视觉算法，因此需要进行范式转换。我们介绍了用于事件相机的基于事件的多视图立体 (EMVS) 问题并提出了解决方案。与解决从一组已知视点估计密集 3D 结构问题的传统 MVS 方法不同，EMVS 从具有已知轨迹的事件相机估计半密集 3D 结构。我们的 EMVS 解决方案巧妙地利用了事件相机的两个固有属性：(1) 其响应场景边缘的能力——无需任何预处理操作即可自然地提供半密集几何信息——以及 (2) 它提供连续测量的事实随着传感器的移动。尽管它很简单（它可以用几行代码实现），但我们的算法能够生成准确的半密集深度图，而无需任何明确的数据关联或强度估计。我们成功地在合成数据和真实数据上验证了我们的方法。我们的方法在计算上非常高效，并且在 CPU 上实时运行。(1) 其响应场景边缘的能力——自然地提供半密集几何信息而无需任何预处理操作——以及 (2) 它在传感器移动时提供连续测量的事实。尽管它很简单（它可以用几行代码实现），但我们的算法能够生成准确的半密集深度图，而无需任何明确的数据关联或强度估计。我们成功地在合成数据和真实数据上验证了我们的方法。我们的方法在计算上非常高效，并且在 CPU 上实时运行。(1) 其响应场景边缘的能力——自然地提供半密集几何信息而无需任何预处理操作——以及 (2) 它在传感器移动时提供连续测量的事实。尽管它很简单（它可以用几行代码实现），但我们的算法能够生成准确的半密集深度图，而无需任何明确的数据关联或强度估计。我们成功地在合成数据和真实数据上验证了我们的方法。我们的方法在计算上非常高效，并且在 CPU 上实时运行。我们成功地在合成数据和真实数据上验证了我们的方法。我们的方法在计算上非常高效，并且在 CPU 上实时运行。我们成功地在合成数据和真实数据上验证了我们的方法。我们的方法在计算上非常高效，并且在 CPU 上实时运行。