Human emotions using textual cues, speech patterns, and facial expressions can give insight into their mental state. Although there are several uni-modal datasets for emotion recognition, there are very few labeled datasets for multi-modal depression detection. Uni-modal emotion recognition datasets can be harnessed, using the technique of transfer learning, for multi-modal binary emotion detection through video, audio, and text. We propose emotion transfer for mood indication framework based on deep learning to address the task of binary classification of depression using a one-of-three scheme: If the prediction from the network for at least one modality is of the depressed class, we consider the final output as depressed. Such a scheme is beneficial since it will detect an abnormality in any of the modalities and will alert a user to seek help well in advance. Long short-term memory is used to combine the temporal aspects of the audio and the video modalities, and the context of the text. This is followed by fine-tuning the network on a binary dataset for depression detection that has been independently labeled by a standard questionnaire used by psychologists. Data augmentation techniques are used for the generalization of data and to resolve the class imbalance. Our experiments show that our method for binary depression classification (using an ensemble of three modalities) on the Distress Analysis Interview Corpus—Wizard of Oz dataset has higher accuracy in comparison with other benchmark methods.

使用文本提示、语音模式和面部表情的人类情感可以洞察他们的心理状态。尽管有多个用于情绪识别的单模态数据集，但用于多模态抑郁检测的标记数据集却很少。可以利用转移学习技术利用单模态情感识别数据集，通过视频、音频和文本进行多模态二元情感检测。我们提出了基于深度学习的情绪指示框架的情绪转移，以使用三选一方案解决抑郁症的二元分类任务：如果网络对至少一种模态的预测属于抑郁类，我们考虑最后输出一样郁闷。这种方案是有益的，因为它将检测任何模态中的异常并提醒用户提前寻求帮助。长短期记忆用于结合音频和视频形式的时间方面以及文本的上下文。然后在用于抑郁症检测的二进制数据集上对网络进行微调，该数据集已由心理学家使用的标准问卷独立标记。数据增强技术用于数据的泛化和解决类不平衡问题。我们的实验表明，与其他基准方法相比，我们在 Distress Analysis Interview Corpus-Wizard of Oz 数据集上进行二元抑郁症分类的方法（使用三种模态的集合）具有更高的准确性。长短期记忆用于结合音频和视频形式的时间方面以及文本的上下文。然后在用于抑郁症检测的二进制数据集上对网络进行微调，该数据集已由心理学家使用的标准问卷独立标记。数据增强技术用于数据的泛化和解决类不平衡问题。我们的实验表明，与其他基准方法相比，我们在 Distress Analysis Interview Corpus-Wizard of Oz 数据集上进行二元抑郁症分类的方法（使用三种模态的集合）具有更高的准确性。长短期记忆用于结合音频和视频形式的时间方面以及文本的上下文。然后在用于抑郁症检测的二进制数据集上对网络进行微调，该数据集已由心理学家使用的标准问卷独立标记。数据增强技术用于数据的泛化和解决类不平衡问题。我们的实验表明，与其他基准方法相比，我们在 Distress Analysis Interview Corpus-Wizard of Oz 数据集上进行二元抑郁症分类的方法（使用三种模态的集合）具有更高的准确性。然后在用于抑郁症检测的二进制数据集上对网络进行微调，该数据集已由心理学家使用的标准问卷独立标记。数据增强技术用于数据的泛化和解决类不平衡问题。我们的实验表明，与其他基准方法相比，我们在 Distress Analysis Interview Corpus-Wizard of Oz 数据集上进行二元抑郁症分类的方法（使用三种模态的集合）具有更高的准确性。然后在用于抑郁症检测的二进制数据集上对网络进行微调，该数据集已由心理学家使用的标准问卷独立标记。数据增强技术用于数据的泛化和解决类不平衡问题。我们的实验表明，与其他基准方法相比，我们在 Distress Analysis Interview Corpus-Wizard of Oz 数据集上进行二元抑郁症分类的方法（使用三种模态的集合）具有更高的准确性。