Facial recognition for surveillance applications still remains challenging in uncontrolled environments, especially with the appearances of masks/veils and different ethnicities effects. Multimodal facial biometrics recognition becomes one of the major studies to overcome such scenarios. However, to cooperate with multimodal facial biometrics, many existing deep learning networks rely on feature concatenation or weight combination to construct a representation layer to perform its desired recognition task. This concatenation is often inefficient, as it does not effectively cooperate with the multimodal data to improve on recognition performance. Therefore, this paper proposes using multi-feature fusion layers for multimodal facial biometrics, thereby leading to significant and informative data learning in dual-stream convolutional neural networks. Specifically, this network consists of two progressive parts with distinct fusion strategies to aggregate RGB data and texture descriptors for multimodal facial biometrics. We demonstrate that the proposed network offers a discriminative feature representation and benefits from the multi-feature fusion layers for an accuracy-performance gain. We also introduce and share a new dataset for multimodal facial biometric data, namely the Ethnic-facial dataset for benchmarking. In addition, four publicly accessible datasets, namely AR, FaceScrub, IMDB_WIKI, and YouTube Face datasets are used to evaluate the proposed network. Through our experimental analysis, the proposed network outperformed several competing networks on these datasets for both recognition and verification tasks.

在不受控制的环境中，尤其是随着口罩/面纱的出现以及不同种族的影响，用于监视应用的面部识别仍然面临挑战。多模式面部生物特征识别成为克服此类情况的主要研究之一。但是，为了与多模式面部生物识别技术协作，许多现有的深度学习网络都依赖于特征级联或权重组合来构建表示层，以执行其所需的识别任务。这种串联通常效率低下，因为它无法有效地与多峰数据配合以提高识别性能。因此，本文提出将多特征融合层用于多模式面部生物特征识别，从而在双流卷积神经网络中带来有意义的信息学习。具体而言，该网络由两个具有不同融合策略的渐进部分组成，以融合RGB数据和纹理描述符以用于多模式面部生物识别。我们证明了所提出的网络提供了可区分的特征表示，并从多特征融合层中受益，从而获得了精确的性能。我们还将介绍并共享一个用于多模式面部生物特征数据的新数据集，即用于基准化的“种族-面部”数据集。此外，使用四个可公开访问的数据集，即AR，FaceScrub，IMDB_WIKI和YouTube Face数据集来评估拟议的网络。通过我们的实验分析，在识别和验证任务上，拟议的网络在这些数据集上的表现优于多个竞争网络。该网络由两个具有不同融合策略的渐进部分组成，以聚合RGB数据和纹理描述符以用于多模式面部生物识别。我们证明了所提出的网络提供了可区分的特征表示，并从多特征融合层中受益，从而获得了精确的性能。我们还将介绍并共享一种用于多模式面部生物识别数据的新数据集，即用于基准化的“种族面部数据集”。此外，使用四个可公开访问的数据集，即AR，FaceScrub，IMDB_WIKI和YouTube Face数据集来评估拟议的网络。通过我们的实验分析，在识别和验证任务上，拟议的网络在这些数据集上的表现优于多个竞争网络。该网络由两个具有不同融合策略的渐进部分组成，以聚合RGB数据和纹理描述符以用于多模式面部生物识别。我们证明了所提出的网络提供了可区分的特征表示，并从多特征融合层中受益，从而获得了精确的性能。我们还将介绍并共享一个用于多模式面部生物特征数据的新数据集，即用于基准化的“种族-面部”数据集。此外，使用四个可公开访问的数据集，即AR，FaceScrub，IMDB_WIKI和YouTube Face数据集来评估拟议的网络。通过我们的实验分析，在识别和验证任务上，拟议的网络在这些数据集上的表现优于多个竞争网络。