语音情感识别是一个至关重要的问题，体现在诸如人机交互和教育之类的众多应用中。尽管近年来已经取得了一些进步，特别是随着深度神经网络（DNN）的出现，但是文献中的大多数研究都没有考虑语音信号中的语义信息。在本文中，我们提出了一种新颖的框架，该框架可以捕获信号中的语义信息和副语言信息。特别地，我们的框架由捕获语义信息的语义特征提取器和捕获副语言信息的副语言特征提取器组成。然后，使用新颖的注意力机制将语义特征和副语言特征都组合为一个统一的表示形式。在最终预测之前，统一的特征向量通过LSTM捕获信号中的时间动态。为了验证我们框架的有效性，我们使用了AVEC挑战系列的流行SEWA数据集，并与三篇获奖论文进行了比较。我们的模型在化合价和喜好维度上提供了最新的结果。



"点击查看英文标题和摘要"