Many visual and robotics tasks in real-world scenarios rely on robust handling of high speed motion and high dynamic range (HDR) with effectively high spatial resolution and low noise. Such stringent requirements, however, cannot be directly satisfied by a single imager or imaging modality, rather by multi-modal sensors with complementary advantages. In this paper, we address high performance imaging by exploring the synergy between traditional frame-based sensors with high spatial resolution and low sensor noise, and emerging event-based sensors with high speed and high dynamic range. We introduce a novel computational framework, termed Guided Event Filtering (GEF), to process these two streams of input data and output a stream of super-resolved yet noise-reduced events. To generate high quality events, GEF first registers the captured noisy events onto the guidance image plane according to our flow model. it then performs joint image filtering that inherits the mutual structure from both inputs. Lastly, GEF re-distributes the filtered event frame in the space-time volume while preserving the statistical characteristics of the original events. When the guidance images under-perform, GEF incorporates an event self-guiding mechanism that resorts to neighbor events for guidance. We demonstrate the benefits of GEF by applying the output high quality events to existing event-based algorithms across diverse application categories, including high speed object tracking, depth estimation, high frame-rate video synthesis, and super resolution/HDR/color image restoration.

中文翻译：

---

引导事件过滤：强度图像和神经形态事件之间的协同作用以实现高性能成像。

现实世界场景中的许多视觉和机器人任务依赖于对高速运动和高动态范围 (HDR) 的稳健处理，以及有效的高空间分辨率和低噪声。然而，这种严格的要求并不能直接通过单一的成像器或成像模态来满足，而是通过具有互补优势的多模态传感器来满足。在本文中，我们通过探索具有高空间分辨率和低传感器噪声的传统基于帧的传感器与具有高速和高动态范围的新兴基于事件的传感器之间的协同作用来解决高性能成像问题。我们引入了一种新的计算框架，称为引导事件过滤 (GEF)，以处理这两个输入数据流并输出超分辨率但降噪的事件流。为了产生高质量的事件，GEF 首先根据我们的流模型将捕获的噪声事件注册到引导图像平面上。然后它执行从两个输入继承相互结构的联合图像过滤。最后，GEF 在时空体积中重新分配过滤后的事件框架，同时保留原始事件的统计特征。当引导图像表现不佳时，GEF 会采用一种事件自我引导机制，该机制借助相邻事件进行引导。我们通过将输出的高质量事件应用于不同应用类别的现有基于事件的算法来展示 GEF 的优势，包括高速对象跟踪、深度估计、高帧率视频合成和超分辨率/HDR/彩色图像恢复。然后它执行从两个输入继承相互结构的联合图像过滤。最后，GEF 在时空体积中重新分配过滤后的事件框架，同时保留原始事件的统计特征。当引导图像表现不佳时，GEF 会采用一种事件自我引导机制，该机制借助相邻事件进行引导。我们通过将输出的高质量事件应用于不同应用类别的现有基于事件的算法来展示 GEF 的优势，包括高速对象跟踪、深度估计、高帧率视频合成和超分辨率/HDR/彩色图像恢复。然后它执行从两个输入继承相互结构的联合图像过滤。最后，GEF 在时空体积中重新分配过滤后的事件框架，同时保留原始事件的统计特征。当引导图像表现不佳时，GEF 会采用一种事件自我引导机制，该机制借助相邻事件进行引导。我们通过将输出的高质量事件应用于不同应用类别的现有基于事件的算法来展示 GEF 的优势，包括高速对象跟踪、深度估计、高帧率视频合成和超分辨率/HDR/彩色图像恢复。GEF 在时空体积中重新分配过滤后的事件框架，同时保留原始事件的统计特征。当引导图像表现不佳时，GEF 会采用一种事件自我引导机制，该机制借助相邻事件进行引导。我们通过将输出的高质量事件应用于不同应用类别的现有基于事件的算法来展示 GEF 的优势，包括高速对象跟踪、深度估计、高帧率视频合成和超分辨率/HDR/彩色图像恢复。GEF 在时空体积中重新分配过滤后的事件框架，同时保留原始事件的统计特征。当引导图像表现不佳时，GEF 会采用一种事件自我引导机制，该机制借助相邻事件进行引导。我们通过将输出的高质量事件应用于不同应用类别的现有基于事件的算法来展示 GEF 的优势，包括高速对象跟踪、深度估计、高帧率视频合成和超分辨率/HDR/彩色图像恢复。