当前位置: X-MOL 学术Comput. Vis. Image Underst. › 论文详情
Our official English website, www.x-mol.net, welcomes your feedback! (Note: you will need to create a separate account there.)
Deep learning-based single image face depth data enhancement
Computer Vision and Image Understanding ( IF 4.5 ) Pub Date : 2021-07-19 , DOI: 10.1016/j.cviu.2021.103247
Torsten Schlett 1 , Christian Rathgeb 1 , Christoph Busch 1
Affiliation  

Face recognition can benefit from the utilization of depth data captured using low-cost cameras, in particular for presentation attack detection purposes. Depth video output from these capture devices can however contain defects such as holes or general depth inaccuracies. This work proposes a deep learning face depth enhancement method in this context of facial biometrics, which adds a security aspect to the topic. U-Net-like architectures are utilized, and the networks are compared against hand-crafted enhancer types, as well as a similar depth enhancer network from related work trained for an adjacent application scenario. All tested enhancer types exclusively use depth data as input, which differs from methods that enhance depth based on additional input data such as visible light color images. Synthetic face depth ground truth images and degraded forms thereof are created with help of PRNet, to train multiple deep learning enhancer models with different network sizes and training configurations. Evaluations are carried out on the synthetic data, on Kinect v1 images from the KinectFaceDB, and on in-house RealSense D435 images. These evaluations include an assessment of the falsification for occluded face depth input, which is relevant to biometric security. The proposed deep learning enhancers yield noticeably better results than the tested preexisting enhancers, without overly falsifying depth data when non-face input is provided, and are shown to reduce the error of a simple landmark-based PAD method.



中文翻译:

基于深度学习的单幅图像人脸深度数据增强

人脸识别可以受益于使用低成本相机捕获的深度数据,特别是用于演示攻击检测目的。然而,这些捕获设备的深度视频输出可能包含缺陷,例如孔洞或一般深度不准确。这项工作在面部生物识别的背景下提出了一种深度学习面部深度增强方法,为该主题增加了安全方面。使用类似 U-Net 的体系结构,并将网络与手工制作的增强器类型以及来自为相邻应用场景训练的相关工作的类似深度增强器网络进行比较。所有测试的增强器类型都专门使用深度数据作为输入,这与基于额外输入数据(如可见光彩色图像)增强深度的方法不同。在 PRNet 的帮助下创建合成人脸深度地面实况图像及其退化形式,以训练具有不同网络大小和训练配置的多个深度学习增强器模型。对合成数据、来自 KinectFaceDB 的 Kinect v1 图像和内部实感 D435 图像进行评估。这些评估包括对被遮挡面部深度输入的伪造评估,这与生物识别安全相关。所提出的深度学习增强器产生的结果明显优于测试的预先存在的增强器,在提供非面部输入时不会过度伪造深度数据,并且可以减少简单的基于地标的 PAD 方法的错误。训练多个具有不同网络大小和训练配置的深度学习增强器模型。对合成数据、来自 KinectFaceDB 的 Kinect v1 图像和内部实感 D435 图像进行评估。这些评估包括对被遮挡面部深度输入的伪造评估,这与生物识别安全相关。所提出的深度学习增强器产生的结果明显优于测试的预先存在的增强器,在提供非面部输入时不会过度伪造深度数据,并且可以减少简单的基于地标的 PAD 方法的错误。训练多个具有不同网络大小和训练配置的深度学习增强器模型。对合成数据、来自 KinectFaceDB 的 Kinect v1 图像和内部实感 D435 图像进行评估。这些评估包括对被遮挡面部深度输入的伪造评估,这与生物识别安全相关。所提出的深度学习增强器产生的结果明显优于测试的预先存在的增强器,在提供非面部输入时不会过度伪造深度数据,并且可以减少简单的基于地标的 PAD 方法的错误。这些评估包括对被遮挡面部深度输入的伪造评估,这与生物识别安全相关。所提出的深度学习增强器产生的结果明显优于测试的预先存在的增强器,在提供非面部输入时不会过度伪造深度数据,并且可以减少简单的基于地标的 PAD 方法的错误。这些评估包括对被遮挡面部深度输入的伪造评估,这与生物识别安全相关。所提出的深度学习增强器产生的结果明显优于测试的预先存在的增强器,在提供非面部输入时不会过度伪造深度数据,并且可以减少简单的基于地标的 PAD 方法的错误。

更新日期:2021-07-24
down
wechat
bug