Facial affect analysis aims to create new types of human–computer interactions by enabling computers to better understand a person’s emotional state in order to provide ad hoc help and interactions. Since discrete emotional classes (such as anger, happiness, sadness and so on) are not representative of the full spectrum of emotions displayed by humans on a daily basis, psychologists typically rely on dimensional measures, namely valence (how positive the emotional display is) and arousal (how calming or exciting the emotional display looks like). However, while estimating these values from a face is natural for humans, it is extremely difficult for computer-based systems and automatic estimation of valence and arousal in naturalistic conditions is an open problem. Additionally, the subjectivity of these measures makes it hard to obtain good quality data. Here we introduce a novel deep neural network architecture to analyse facial affect in naturalistic conditions with a high level of accuracy. The proposed network integrates face alignment and jointly estimates both categorical and continuous emotions in a single pass, making it suitable for real-time applications. We test our method on three challenging datasets collected in naturalistic conditions and show that our approach outperforms all previous methods. We also discuss caveats regarding the use of this tool, and ethical aspects that must be considered in its application.

面部情感分析旨在通过使计算机能够更好地理解一个人的情绪状态以提供临时帮助和交互，从而创建新型的人机交互。由于离散的情绪类别（如愤怒、快乐、悲伤等）不能代表人类每天表现出的全部情绪，心理学家通常依赖维度测量，即效价（情绪表现的积极程度）和唤醒（情绪表现看起来多么平静或令人兴奋）。然而，虽然从面部估计这些值对人类来说是自然的，但对于基于计算机的系统来说却是极其困难的，并且在自然条件下自动估计效价和唤醒是一个悬而未决的问题。此外，这些措施的主观性使得很难获得高质量的数据。在这里，我们介绍了一种新颖的深度神经网络架构，以高精度分析自然条件下的面部影响。所提出的网络集成了人脸对齐，并在一次通过中联合估计分类和连续情绪，使其适用于实时应用。我们在自然条件下收集的三个具有挑战性的数据集上测试了我们的方法，并表明我们的方法优于所有以前的方法。我们还讨论了有关使用此工具的注意事项，以及在其应用中必须考虑的道德方面。所提出的网络集成了人脸对齐，并在一次通过中联合估计分类和连续情绪，使其适用于实时应用。我们在自然条件下收集的三个具有挑战性的数据集上测试了我们的方法，并表明我们的方法优于所有以前的方法。我们还讨论了有关使用此工具的注意事项，以及在其应用中必须考虑的道德方面。所提出的网络集成了人脸对齐，并在一次通过中联合估计分类和连续情绪，使其适用于实时应用。我们在自然条件下收集的三个具有挑战性的数据集上测试了我们的方法，并表明我们的方法优于所有以前的方法。我们还讨论了有关使用此工具的注意事项，以及在其应用中必须考虑的道德方面。