Recognizing emotional reactions of movie audiences to affective movie content is a challenging task in affective computing. Previous research on induced emotion recognition has mainly focused on using audio-visual movie content. Nevertheless, the relationship between the perceptions of the affective movie content (perceived emotions) and the emotions evoked in the audiences (induced emotions) is unexplored. In this work, we studied the relationship between perceived and induced emotions of movie audiences. Moreover, we investigated multimodal modelling approaches to predict movie induced emotions from movie content based features, as well as physiological and behavioral reactions of movie audiences. To carry out analysis of induced and perceived emotions, we first extended an existing database for movie affect analysis by annotating perceived emotions in a crowd-sourced manner. We find that perceived and induced emotions are not always consistent with each other. In addition, we show that perceived emotions, movie dialogues, and aesthetic highlights are discriminative for movie induced emotion recognition besides spectators’ physiological and behavioral reactions. Also, our experiments revealed that induced emotion recognition could benefit from including temporal information and performing multimodal fusion. Moreover, our work deeply investigated the gap between affective content analysis and induced emotion recognition by gaining insight into the relationships between aesthetic highlights, induced emotions, and perceived emotions.

中文翻译：

---

从多模态信息中识别电影观众的诱发情绪

识别电影观众对情感电影内容的情感反应是情感计算中的一项具有挑战性的任务。先前关于诱发情绪识别的研究主要集中在使用视听电影内容。然而，情感电影内容的感知（感知情绪）与观众中唤起的情绪（诱发情绪）之间的关系尚未得到探索。在这项工作中，我们研究了电影观众的感知情绪和诱发情绪之间的关系。此外，我们研究了多模态建模方法，以根据基于电影内容的特征以及电影观众的生理和行为反应来预测电影诱发的情绪。对诱发和感知的情绪进行分析，我们首先通过以众包方式注释感知情绪来扩展现有的电影情感分析数据库。我们发现感知和诱发的情绪并不总是相互一致。此外，我们表明，除了观众的生理和行为反应之外，感知到的情绪、电影对话和审美亮点对于电影诱发的情绪识别也是有区别的。此外，我们的实验表明，诱导情绪识别可以从包含时间信息和执行多模态融合中受益。此外，我们的工作通过深入了解审美亮点、诱发情绪和感知情绪之间的关系，深入研究了情感内容分析和诱发情绪识别之间的差距。我们发现感知和诱发的情绪并不总是相互一致。此外，我们表明，除了观众的生理和行为反应之外，感知到的情绪、电影对话和审美亮点对于电影诱发的情绪识别也是有区别的。此外，我们的实验表明，诱导情绪识别可以从包含时间信息和执行多模态融合中受益。此外，我们的工作通过深入了解审美亮点、诱发情绪和感知情绪之间的关系，深入研究了情感内容分析和诱发情绪识别之间的差距。我们发现感知和诱发的情绪并不总是相互一致。此外，我们表明，除了观众的生理和行为反应之外，感知到的情绪、电影对话和审美亮点对于电影诱发的情绪识别也是有区别的。此外，我们的实验表明，诱导情绪识别可以从包含时间信息和执行多模态融合中受益。此外，我们的工作通过深入了解审美亮点、诱发情绪和感知情绪之间的关系，深入研究了情感内容分析和诱发情绪识别之间的差距。除了观众的生理和行为反应外，审美亮点对电影诱发的情感识别也具有辨别力。此外，我们的实验表明，诱导情绪识别可以从包含时间信息和执行多模态融合中受益。此外，我们的工作通过深入了解审美亮点、诱发情绪和感知情绪之间的关系，深入研究了情感内容分析和诱发情绪识别之间的差距。除了观众的生理和行为反应外，审美亮点对电影诱发的情感识别也具有辨别力。此外，我们的实验表明，诱导情绪识别可以从包含时间信息和执行多模态融合中受益。此外，我们的工作通过深入了解审美亮点、诱发情绪和感知情绪之间的关系，深入研究了情感内容分析和诱发情绪识别之间的差距。