The development of multi-spectrum image sensing technology has brought great interest in exploiting the information of multiple modalities (e.g., RGB and infrared modalities) for solving computer vision problems. In this article, we investigate how to exploit information from RGB and infrared modalities to address two important issues in visual tracking: robustness and object re-detection. Although various algorithms that attempt to exploit multi-modality information in appearance modeling have been developed, they still face challenges that mainly come from the following aspects: (1) the lack of robustness to deal with large appearance changes and dynamic background, (2) failure in re-capturing the object when tracking loss happens, and (3) difficulty in determining the reliability of different modalities. To address these issues and perform effective integration of multiple modalities, we propose a new tracking-by-detection algorithm called Adaptive Spatial-temporal Regulated Multi-Modality Correlation Filter. Particularly, an adaptive spatial-temporal regularization is imposed into the correlation filter framework in which the spatial regularization can help to suppress effect from the cluttered background while the temporal regularization enables the adaptive incorporation of historical appearance cues to deal with appearance changes. In addition, a dynamic modality weight learning algorithm is integrated into the correlation filter training, which ensures that more reliable modalities gain more importance in target tracking. Experimental results demonstrate the effectiveness of the proposed method.

中文翻译：

---

用于重新检测跟踪的时空正则化多模态相关滤波器

多光谱图像传感技术的发展引起了人们对利用多模态（例如，RGB 和红外模态）信息解决计算机视觉问题的兴趣。在本文中，我们研究如何利用来自 RGB 和红外模式的信息来解决视觉跟踪中的两个重要问题：鲁棒性和对象重新检测。尽管已经开发了各种尝试在外观建模中利用多模态信息的算法，但它们仍然面临主要来自以下几个方面的挑战：（1）缺乏应对大的外观变化和动态背景的鲁棒性，（2）发生跟踪丢失时无法重新捕获对象，以及 (3) 难以确定不同模式的可靠性。为了解决这些问题并有效整合多种模态，我们提出了一种新的检测跟踪算法，称为自适应时空调节多模态相关滤波器。特别是，在相关滤波器框架中加入了自适应时空正则化，其中空间正则化有助于抑制杂乱背景的影响，而时间正则化能够自适应地结合历史外观线索来处理外观变化。此外，将动态模态权重学习算法集成到相关滤波器训练中，确保更可靠的模态在目标跟踪中获得更大的重要性。实验结果证明了所提方法的有效性。我们提出了一种新的检测跟踪算法，称为自适应时空调节多模态相关滤波器。特别是，在相关滤波器框架中加入了自适应时空正则化，其中空间正则化有助于抑制杂乱背景的影响，而时间正则化能够自适应地结合历史外观线索来处理外观变化。此外，将动态模态权重学习算法集成到相关滤波器训练中，确保更可靠的模态在目标跟踪中获得更大的重要性。实验结果证明了所提方法的有效性。我们提出了一种新的检测跟踪算法，称为自适应时空调节多模态相关滤波器。特别是，在相关滤波器框架中加入了自适应时空正则化，其中空间正则化有助于抑制杂乱背景的影响，而时间正则化能够自适应地结合历史外观线索来处理外观变化。此外，将动态模态权重学习算法集成到相关滤波器训练中，确保更可靠的模态在目标跟踪中获得更大的重要性。实验结果证明了所提方法的有效性。特别是，在相关滤波器框架中加入了自适应时空正则化，其中空间正则化有助于抑制杂乱背景的影响，而时间正则化能够自适应地结合历史外观线索来处理外观变化。此外，将动态模态权重学习算法集成到相关滤波器训练中，确保更可靠的模态在目标跟踪中获得更大的重要性。实验结果证明了所提方法的有效性。特别是，在相关滤波器框架中加入了自适应时空正则化，其中空间正则化有助于抑制杂乱背景的影响，而时间正则化能够自适应地结合历史外观线索来处理外观变化。此外，将动态模态权重学习算法集成到相关滤波器训练中，确保更可靠的模态在目标跟踪中获得更大的重要性。实验结果证明了所提方法的有效性。在相关滤波器框架中加入了自适应时空正则化，其中空间正则化有助于抑制杂乱背景的影响，而时间正则化能够自适应地结合历史外观线索来处理外观变化。此外，将动态模态权重学习算法集成到相关滤波器训练中，确保更可靠的模态在目标跟踪中获得更大的重要性。实验结果证明了所提方法的有效性。在相关滤波器框架中加入了自适应时空正则化，其中空间正则化有助于抑制杂乱背景的影响，而时间正则化能够自适应地结合历史外观线索来处理外观变化。此外，将动态模态权重学习算法集成到相关滤波器训练中，确保更可靠的模态在目标跟踪中获得更大的重要性。实验结果证明了所提方法的有效性。