Face recognition has attracted increasing attention due to its wide range of applications, but it is still challenging when facing large variations in the biometric data characteristics. Lenslet light field cameras have recently come into prominence to capture rich spatio-angular information, thus offering new possibilities for advanced biometric recognition systems. This paper proposes a double-deep spatio-angular learning framework for light field-based face recognition, which is able to model both the intra-view/spatial and inter-view/angular information using two deep networks in sequence. This is a novel recognition framework that has never been proposed in the literature for face recognition or any other visual recognition task. The proposed double-deep learning framework includes a long short-term memory (LSTM) recurrent network, whose inputs are VGG-Face descriptions, computed using a VGG-16 convolutional neural network (CNN). The VGG-Face spatial descriptions are extracted from a selected set of 2D sub-aperture (SA) images rendered from the light field image, corresponding to different observation angles. A sequence of the VGG-Face spatial descriptions is then analyzed by the LSTM network. A comprehensive set of experiments has been conducted using the IST-EURECOM light field face database, addressing varied and challenging recognition tasks. The results show that the proposed framework achieves superior face recognition performance when compared to the state of the art.

中文翻译：

---

基于光场的人脸识别的双深度空间角学习框架

人脸识别因其广泛的应用而受到越来越多的关注，但在面临生物特征数据特征的巨大变化时仍然具有挑战性。Lenslet 光场相机最近在捕捉丰富的空间角度信息方面崭露头角，从而为高级生物识别系统提供了新的可能性。本文提出了一种用于基于光场的人脸识别的双深度空间角度学习框架，该框架能够依次使用两个深度网络对视图内/空间和视图间/角度信息进行建模。这是一种新颖的识别框架，文献中从未提出过用于人脸识别或任何其他视觉识别任务。提出的双深度学习框架包括一个长短期记忆（LSTM）循环网络，其输入是 VGG-Face 描述，使用 VGG-16 卷积神经网络 (CNN) 计算。VGG-Face 空间描述是从光场图像渲染的一组选定的 2D 子孔径 (SA) 图像中提取的，对应于不同的观察角度。然后由 LSTM 网络分析 VGG-Face 空间描述序列。使用 IST-EURECOM 光场人脸数据库进行了一系列全面的实验，以解决各种具有挑战性的识别任务。结果表明，与现有技术相比，所提出的框架实现了卓越的人脸识别性能。VGG-Face 空间描述是从光场图像渲染的一组选定的 2D 子孔径 (SA) 图像中提取的，对应于不同的观察角度。然后由 LSTM 网络分析 VGG-Face 空间描述序列。使用 IST-EURECOM 光场人脸数据库进行了一系列全面的实验，以解决各种具有挑战性的识别任务。结果表明，与现有技术相比，所提出的框架实现了卓越的人脸识别性能。VGG-Face 空间描述是从光场图像渲染的一组选定的 2D 子孔径 (SA) 图像中提取的，对应于不同的观察角度。然后由 LSTM 网络分析 VGG-Face 空间描述序列。使用 IST-EURECOM 光场人脸数据库进行了一系列全面的实验，以解决各种具有挑战性的识别任务。结果表明，与现有技术相比，所提出的框架实现了卓越的人脸识别性能。解决各种具有挑战性的识别任务。结果表明，与现有技术相比，所提出的框架实现了卓越的人脸识别性能。解决各种具有挑战性的识别任务。结果表明，与现有技术相比，所提出的框架实现了卓越的人脸识别性能。