Abstract Recently, finger-based multimodal biometrics, due to its high security and stability, has received considerable attention compared with unimodal biometrics. However, existing multimodal finger feature extraction approaches separately extract the features of different modalities, at the same time ignoring correlations among these different modalities. Furthermore, most of the conventional finger feature representation approaches are hand-crafted by design, which require strong prior knowledge. It is therefore very important to explore and develop a suitable feature representation and fusion strategy for multimodal biometrics recognition. In this paper, we proposed a joint discriminative feature learning (JDFL) framework for multimodal finger recognition by combining finger vein (FV) and finger knuckle print (FKP) patterns. For the FV and FKP images, we first established the informative dominant direction vector by convoluting a bank of Gabor filters and the original finger image. Then, we developed a simple yet effective feature learning algorithm, which simultaneously maximized the distance of between-class samples and minimized the distance of within-class samples, as well as maximized the correlation among inter-modality samples of the within-class. Finally, we integrated the block-wise histograms of the learned feature maps together for multimodal finger fusion recognition. Experimental results demonstrated that the proposed approach has a better recognition performance than state-of-the-art finger recognition methods.

中文翻译：

---

多模态手指识别的联合判别特征学习

摘要 近年来，与单模态生物特征相​​比，基于手指的多模态生物特征识别由于其高度的安全性和稳定性而受到了广泛的关注。然而，现有的多模态手指特征提取方法分别提取不同模态的特征，同时忽略了这些不同模态之间的相关性。此外，大多数传统的手指特征表示方法都是手工设计的，需要很强的先验知识。因此，探索和开发适用于多模态生物特征识别的特征表示和融合策略非常重要。在本文中，我们通过结合手指静脉 (FV) 和指节纹 (FKP) 模式，提出了一种用于多模态手指识别的联合判别特征学习 (JDFL) 框架。对于 FV 和 FKP 图像，我们首先通过对一组 Gabor 滤波器和原始手指图像进行卷积来建立信息丰富的主导方向向量。然后，我们开发了一种简单而有效的特征学习算法，该算法同时最大化类间样本的距离和最小化类内样本的距离，以及最大化类内模态间样本之间的相关性。最后，我们将学习到的特征图的逐块直方图集成在一起，用于多模态手指融合识别。实验结果表明，所提出的方法比最先进的手指识别方法具有更好的识别性能。然后，我们开发了一种简单而有效的特征学习算法，该算法同时最大化类间样本的距离和最小化类内样本的距离，以及最大化类内模态间样本之间的相关性。最后，我们将学习到的特征图的逐块直方图集成在一起，用于多模态手指融合识别。实验结果表明，所提出的方法比最先进的手指识别方法具有更好的识别性能。然后，我们开发了一种简单而有效的特征学习算法，该算法同时最大化类间样本的距离和最小化类内样本的距离，以及最大化类内模态间样本之间的相关性。最后，我们将学习到的特征图的逐块直方图集成在一起，用于多模态手指融合识别。实验结果表明，所提出的方法比最先进的手指识别方法具有更好的识别性能。我们将学习到的特征图的逐块直方图集成在一起，用于多模态手指融合识别。实验结果表明，所提出的方法比最先进的手指识别方法具有更好的识别性能。我们将学习到的特征图的逐块直方图集成在一起，用于多模态手指融合识别。实验结果表明，所提出的方法比最先进的手指识别方法具有更好的识别性能。