Abstract. Infrared-visible cross-modality person re-identification (IV-ReID) is a challenging task that aims to match infrared person images with visible person images of same identity. The person images of two modalities are captured by visible cameras and infrared cameras, respectively. Due to the variation between two modalities, most existing methods tend to extract common features of different modalities by shared network. However, on account of ignoring the effect of single-modality features, the way of merely extracting common features loses part of single-modality information. To address this problem, we propose an end-to-end model, multi-complement feature network (MFN), to complement common features with single-modality features. We divide MFN into two modules, feature extracting module (FEM) and feature complementing module (FCM). At the stage of FEM, we employ a two-stream network with architecture of multiple granularities to extract single-modality features and common features. Afterward, at the stage of FCM, we utilize the characteristic of graph convolution network (GCN) to associate multiple features of different modalities. In FCM, we design a concise but effective graph structure that takes the features extracted by FEM as input of GCN. Compared with previous methods, our method reserves single-modality features and makes them work with common features. Extensive experiments implemented on two mainstream datasets of IV-ReID, SYSU-MM01, and RegDB demonstrate that our method achieves state-of-the-art performance.

中文翻译：

---

红外可见跨模态行人重识别的多补特征网络

摘要。红外可见跨模态人员重新识别（IV-ReID）是一项具有挑战性的任务，旨在将红外人员图像与相同身份的可见人员图像进行匹配。两种模态的人物图像分别由可见光摄像机和红外摄像机捕获。由于两种模态之间的差异，大多数现有方法倾向于通过共享网络提取不同模态的共同特征。然而，由于忽略了单模态特征的影响，仅仅提取共同特征的方式丢失了部分单模态信息。为了解决这个问题，我们提出了一种端到端模型，多补充特征网络（MFN），用单模态特征补充共同特征。我们将MFN分为两个模块，特征提取模块（FEM）和特征补充模块（FCM）。在 FEM 阶段，我们采用具有多粒度架构的双流网络来提取单模态特征和共同特征。之后，在FCM阶段，我们利用图卷积网络（GCN）的特性来关联不同模态的多个特征。在 FCM 中，我们设计了一个简洁但有效的图结构，将 FEM 提取的特征作为 GCN 的输入。与以前的方法相比，我们的方法保留了单模态特征并使它们与共同特征一起工作。在 IV-ReID、SYSU-MM01 和 RegDB 的两个主流数据集上实施的大量实验表明，我们的方法实现了最先进的性能。在FCM阶段，我们利用图卷积网络（GCN）的特性来关联不同模态的多个特征。在 FCM 中，我们设计了一个简洁但有效的图结构，将 FEM 提取的特征作为 GCN 的输入。与以前的方法相比，我们的方法保留了单模态特征并使它们与共同特征一起工作。在 IV-ReID、SYSU-MM01 和 RegDB 的两个主流数据集上实施的大量实验表明，我们的方法实现了最先进的性能。在FCM阶段，我们利用图卷积网络（GCN）的特性来关联不同模态的多个特征。在 FCM 中，我们设计了一个简洁但有效的图结构，将 FEM 提取的特征作为 GCN 的输入。与以前的方法相比，我们的方法保留了单模态特征并使它们与共同特征一起工作。在 IV-ReID、SYSU-MM01 和 RegDB 的两个主流数据集上实施的大量实验表明，我们的方法实现了最先进的性能。我们的方法保留单模态特征并使它们与共同特征一起工作。在 IV-ReID、SYSU-MM01 和 RegDB 的两个主流数据集上实施的大量实验表明，我们的方法实现了最先进的性能。我们的方法保留单模态特征并使它们与共同特征一起工作。在 IV-ReID、SYSU-MM01 和 RegDB 的两个主流数据集上实施的大量实验表明，我们的方法实现了最先进的性能。