Facial action unit (AU) detection and face alignment are two highly correlated tasks, since facial landmarks can provide precise AU locations to facilitate the extraction of meaningful local features for AU detection. However, most existing AU detection works handle the two tasks independently by treating face alignment as a preprocessing, and often use landmarks to predefine a fixed region or attention for each AU. In this paper, we propose a novel end-to-end deep learning framework for joint AU detection and face alignment, which has not been explored before. In particular, multi-scale shared feature is learned firstly, and high-level feature of face alignment is fed into AU detection. Moreover, to extract precise local features, we propose an adaptive attention learning module to refine the attention map of each AU adaptively. Finally, the assembled local features are integrated with face alignment feature and global feature for AU detection. Extensive experiments demonstrate that our framework (i) significantly outperforms the state-of-the-art AU detection methods on the challenging BP4D, DISFA, GFT and BP4D+ benchmarks, (ii) can adaptively capture the irregular region of each AU, (iii) achieves competitive performance for face alignment, and (iv) also works well under partial occlusions and non-frontal poses. The code for our method is available at https://github.com/ZhiwenShao/PyTorch-JAANet .

中文翻译：

---

J$$\hat{\text {A}}$$A-Net：通过自适应注意进行联合面部动作单元检测和面部对齐

面部动作单元 (AU) 检测和面部对齐是两个高度相关的任务，因为面部标志可以提供精确的 AU 位置，以促进为 AU 检测提取有意义的局部特征。然而，大多数现有的 AU 检测工作通过将面部对齐视为预处理来独立处理这两个任务，并且经常使用地标来为每个 AU 预定义固定区域或注意力。在本文中，我们提出了一种新颖的端到端深度学习框架，用于联合 AU 检测和人脸对齐，这是以前从未探索过的。特别是首先学习多尺度共享特征，并将人脸对齐的高级特征输入到AU检测中。此外，为了提取精确的局部特征，我们提出了一个自适应注意力学习模块来自适应地细化每个 AU 的注意力图。最后，组装的局部特征与面部对齐特征和全局特征相结合，用于 AU 检测。大量实验表明，我们的框架 (i) 在具有挑战性的 BP4D、DISFA、GFT 和 BP4D+ 基准上显着优于最先进的 AU 检测方法，(ii) 可以自适应地捕获每个 AU 的不规则区域，(iii)在面部对齐方面取得了有竞争力的性能，并且 (iv) 在部分遮挡和非正面姿势下也能很好地工作。我们方法的代码可在 https://github.com/ZhiwenShao/PyTorch-JAANet 获得。(ii) 可以自适应地捕捉每个 AU 的不规则区域，(iii) 实现面部对齐的竞争性能，并且 (iv) 在部分遮挡和非正面姿势下也能很好地工作。我们方法的代码可在 https://github.com/ZhiwenShao/PyTorch-JAANet 获得。(ii) 可以自适应地捕捉每个 AU 的不规则区域，(iii) 实现面部对齐的竞争性能，并且 (iv) 在部分遮挡和非正面姿势下也能很好地工作。我们方法的代码可在 https://github.com/ZhiwenShao/PyTorch-JAANet 获得。