当前位置: X-MOL 学术IEEE Trans. Affect. Comput. › 论文详情
Our official English website, www.x-mol.net, welcomes your feedback! (Note: you will need to create a separate account there.)
Exploring Domain Knowledge for Facial Expression-Assisted Action Unit Activation Recognition
IEEE Transactions on Affective Computing ( IF 11.2 ) Pub Date : 2020-10-01 , DOI: 10.1109/taffc.2018.2822303
Shangfei Wang , Guozhu Peng , Qiang Ji

Current works on facial action unit (AU) activation recognition typically include supervised training using AU-annotated training images. Compared to facial expression labeling, AU annotation is a time-consuming, expensive, and error-prone process. Domain knowledge refers to the strong probabilistic dependencies between facial expressions and AUs, as well as dependencies among AUs. To take advantage of this, we avoid the time-consuming process of AU annotation and introduce a new AU activation recognition method that learns AU classifiers from domain knowledge, and requires only expression-annotated facial images. Specifically, we first generate pseudo AU labels according to the probabilistic dependencies between expressions and AUs as well as correlations among AUs summarized from domain knowledge. Then, we propose to use a Restricted Boltzmann Machine to model AU label prior distribution from the generated pseudo AU data. After that, we train AU classifiers from expression-annotated facial images and the learned prior model by maximizing the log likelihood of AU classifiers with regard to the learned AU label prior. The proposed AU activation recognition can also be extended to semi-supervised learning scenarios with partially AU-annotated facial images. Experimental results on four benchmark databases demonstrate the effectiveness of the proposed approach in learning AU classifiers from domain knowledge.

中文翻译:

探索面部表情辅助动作单元激活识别的领域知识

当前关于面部动作单元 (AU) 激活识别的工作通常包括使用 AU 注释训练图像的监督训练。与面部表情标注相比,AU 标注是一个耗时、昂贵且容易出错的过程。领域知识是指面部表情和 AU 之间的强概率依赖性,以及 AU 之间的依赖性。为了利用这一点,我们避免了耗时的 AU 注释过程,并引入了一种新的 AU 激活识别方法,该方法从领域知识中学习 AU 分类器,并且只需要表情注释的面部图像。具体来说,我们首先根据表达式和 AU 之间的概率依赖性以及从领域知识总结的 AU 之间的相关性来生成伪 AU 标签。然后,我们建议使用受限玻尔兹曼机从生成的伪 AU 数据中对 AU 标签先验分布进行建模。之后,我们通过最大化 AU 分类器相对于学习的 AU 标签先验的对数似然,从带有表情注释的面部图像和学习的先验模型训练 AU 分类器。所提出的 AU 激活识别也可以扩展到具有部分 AU 注释的面部图像的半监督学习场景。在四个基准数据库上的实验结果证明了所提出的方法在从领域知识中学习 AU 分类器的有效性。我们通过最大化 AU 分类器相对于学习的 AU 标签先验的对数似然,从带有表情注释的面部图像和学习的先验模型训练 AU 分类器。所提出的 AU 激活识别也可以扩展到具有部分 AU 注释的面部图像的半监督学习场景。在四个基准数据库上的实验结果证明了所提出的方法在从领域知识中学习 AU 分类器的有效性。我们通过最大化 AU 分类器相对于学习的 AU 标签先验的对数似然,从带有表情注释的面部图像和学习的先验模型训练 AU 分类器。所提出的 AU 激活识别也可以扩展到具有部分 AU 注释的面部图像的半监督学习场景。在四个基准数据库上的实验结果证明了所提出的方法在从领域知识中学习 AU 分类器的有效性。
更新日期:2020-10-01
down
wechat
bug