当前位置: X-MOL 学术IEEE J. Sel. Top. Signal Process. › 论文详情
Our official English website, www.x-mol.net, welcomes your feedback! (Note: you will need to create a separate account there.)
Automatic Assessment of Depression from Speech via a Hierarchical Attention Transfer Network and Attention Autoencoders
IEEE Journal of Selected Topics in Signal Processing ( IF 7.5 ) Pub Date : 2020-02-01 , DOI: 10.1109/jstsp.2019.2955012
Ziping Zhao , Zhongtian Bao , Zixing Zhang , Jun Deng , Nicholas Cummins , Haishuai Wang , Jianhua Tao , Bjorn Schuller

Early interventions in mental health conditions such as Major Depressive Disorder (MDD) are critical to improved health outcomes, as they can help reduce the burden of the disease. As the efficient diagnosis of depression severity is therefore highly desirable, the use of behavioural cues such as speech characteristics in diagnosis is attracting increasing interest in the field of quantitative mental health research. However, despite the widespread use of machine learning methods in the depression analysis community, the lack of adequate labelled data has become a bottleneck preventing the broader application of techniques such as deep learning. Accordingly, we herein describe a deep learning approach that combines unsupervised learning, knowledge transfer and hierarchical attention for the task of speech-based depression severity measurement. Our novel approach, a Hierarchical Attention Transfer Network (HATN), uses hierarchical attention autoencoders to learn attention from a source task, followed by speech recognition, and then transfers this knowledge into a depression analysis system. Experiments based on the depression sub-challenge dataset of the Audio/Visual Emotion Challenge (AVEC) 2017 demonstrate the effectiveness of our proposed model. On the test set, our technique outperformed other speech-based systems presented in the literature, achieving a Root Mean Square Error (RMSE) of 5.51 and a Mean Absolute Error (MAE) of 4.20 on a Patient Health Questionnaire (PHQ)-8 scale [0, 24]. To the best of our knowledge, these scores represent the best-known speech results on the AVEC 2017 depression corpus to date.

中文翻译:

通过分层注意力转移网络和注意力自动编码器从语音中自动评估抑郁症

对重度抑郁症 (MDD) 等精神健康状况的早期干预对于改善健康结果至关重要,因为它们可以帮助减轻疾病负担。由于抑郁严重程度的有效诊断是非常需要的,因此在诊断中使用行为线索(如言语特征)正在吸引越来越多的人对定量心理健康研究领域的兴趣。然而,尽管机器学习方法在抑郁症分析界得到广泛应用,但缺乏足够的标记数据已成为阻碍深度学习等技术更广泛应用的瓶颈。因此,我们在此描述了一种深度学习方法,该方法结合了无监督学习、知识转移和分层注意力,用于基于语音的抑郁严重程度测量任务。我们的新方法是分层注意力转移网络 (HATN),它使用分层注意力自动编码器从源任务中学习注意力,然后进行语音识别,然后将这些知识转移到抑郁症分析系统中。基于 2017 年音频/视觉情感挑战 (AVEC) 的抑郁子挑战数据集的实验证明了我们提出的模型的有效性。在测试集上,我们的技术优于文献中介绍的其他基于语音的系统,在患者健康问卷 (PHQ)-8 量表上实现了 5.51 的均方根误差 (RMSE) 和 4.20 的平均绝对误差 (MAE) [0, 24]。据我们所知,这些分数代表了迄今为止 AVEC 2017 抑郁语料库中最著名的语音结果。使用分层注意力自动编码器从源任务中学习注意力,然后进行语音识别,然后将这些知识转移到抑郁症分析系统中。基于 2017 年音频/视觉情感挑战 (AVEC) 的抑郁子挑战数据集的实验证明了我们提出的模型的有效性。在测试集上,我们的技术优于文献中介绍的其他基于语音的系统,在患者健康问卷 (PHQ)-8 量表上实现了 5.51 的均方根误差 (RMSE) 和 4.20 的平均绝对误差 (MAE) [0, 24]。据我们所知,这些分数代表了迄今为止 AVEC 2017 抑郁语料库中最著名的语音结果。使用分层注意力自动编码器从源任务中学习注意力,然后进行语音识别,然后将这些知识转移到抑郁症分析系统中。基于 2017 年音频/视觉情感挑战 (AVEC) 的抑郁子挑战数据集的实验证明了我们提出的模型的有效性。在测试集上,我们的技术优于文献中介绍的其他基于语音的系统,在患者健康问卷 (PHQ)-8 量表上实现了 5.51 的均方根误差 (RMSE) 和 4.20 的平均绝对误差 (MAE) [0, 24]。据我们所知,这些分数代表了迄今为止 AVEC 2017 抑郁语料库中最著名的语音结果。然后将这些知识转移到抑郁症分析系统中。基于 2017 年音频/视觉情感挑战 (AVEC) 的抑郁子挑战数据集的实验证明了我们提出的模型的有效性。在测试集上,我们的技术优于文献中介绍的其他基于语音的系统,在患者健康问卷 (PHQ)-8 量表上实现了 5.51 的均方根误差 (RMSE) 和 4.20 的平均绝对误差 (MAE) [0, 24]。据我们所知,这些分数代表了迄今为止 AVEC 2017 抑郁语料库中最著名的语音结果。然后将这些知识转移到抑郁症分析系统中。基于 2017 年音频/视觉情感挑战 (AVEC) 的抑郁子挑战数据集的实验证明了我们提出的模型的有效性。在测试集上,我们的技术优于文献中介绍的其他基于语音的系统,在患者健康问卷 (PHQ)-8 量表上实现了 5.51 的均方根误差 (RMSE) 和 4.20 的平均绝对误差 (MAE) [0, 24]。据我们所知,这些分数代表了迄今为止 AVEC 2017 抑郁语料库中最著名的语音结果。我们的技术优于文献中介绍的其他基于语音的系统,在患者健康问卷 (PHQ)-8 量表上实现了 5.51 的均方根误差 (RMSE) 和 4.20 的平均绝对误差 (MAE) [0, 24] . 据我们所知,这些分数代表了迄今为止 AVEC 2017 抑郁语料库中最著名的语音结果。我们的技术优于文献中介绍的其他基于语音的系统,在患者健康问卷 (PHQ)-8 量表上实现了 5.51 的均方根误差 (RMSE) 和 4.20 的平均绝对误差 (MAE) [0, 24] . 据我们所知,这些分数代表了迄今为止 AVEC 2017 抑郁语料库中最著名的语音结果。
更新日期:2020-02-01
down
wechat
bug