Multimodal sentiment analysis benefits various applications such as human-computer interaction and recommendation systems. It aims to infer the users' bipolar ideas using visual, textual, and acoustic signals. Although researchers affirm the association between cognitive cues and emotional manifestations, most of the current multimodal approaches in sentiment analysis disregard user-specific aspects. To tackle this issue, we devise a novel method to perform multimodal sentiment prediction using cognitive cues, such as personality. Our framework constructs an adaptive tree by hierarchically dividing users and trains the LSTM-based submodels, utilizing an attention-based fusion to transfer cognitive-oriented knowledge within the tree. Subsequently, the framework consumes the conclusive agglomerative knowledge from the adaptive tree to predict final sentiments. We also devise a dynamic dropout method to facilitate data sharing between neighboring nodes, reducing data sparsity. The empirical results on real-world datasets determine that our proposed model for sentiment prediction can surpass trending rivals. Moreover, compared to other ensemble approaches, the proposed transfer-based algorithm can better utilize the latent cognitive cues and foster the prediction outcomes. Based on the given extrinsic and intrinsic analysis results, we note that compared to other theoretical-based techniques, the proposed hierarchical clustering approach can better group the users within the adaptive tree.

中文翻译：

---

基于用户潜在方面的多模态情感分析的基于转移的自适应树

多模态情感分析有益于各种应用，例如人机交互和推荐系统。它旨在使用视觉、文本和声音信号来推断用户的两极想法。尽管研究人员肯定了认知线索和情感表现之间的关联，但目前大多数情感分析中的多模态方法都忽略了用户特定的方面。为了解决这个问题，我们设计了一种使用认知线索（例如个性）执行多模态情绪预测的新方法。我们的框架通过分层划分用户和训练基于 LSTM 的子模型来构建自适应树，利用基于注意力的融合在树内转移面向认知的知识。随后，该框架使用来自自适应树的结论性凝聚知识来预测最终情绪。我们还设计了一种动态 dropout 方法来促进相邻节点之间的数据共享，从而减少数据稀疏性。现实世界数据集的实证结果决定了我们提出的情绪预测模型可以超越趋势竞争对手。此外，与其他集成方法相比，所提出的基于迁移的算法可以更好地利用潜在的认知线索并促进预测结果。基于给定的外在和内在分析结果，我们注意到，与其他基于理论的技术相比，所提出的层次聚类方法可以更好地对自适应树内的用户进行分组。我们还设计了一种动态 dropout 方法来促进相邻节点之间的数据共享，从而减少数据稀疏性。现实世界数据集的实证结果决定了我们提出的情绪预测模型可以超越趋势竞争对手。此外，与其他集成方法相比，所提出的基于迁移的算法可以更好地利用潜在的认知线索并促进预测结果。基于给定的外在和内在分析结果，我们注意到，与其他基于理论的技术相比，所提出的层次聚类方法可以更好地对自适应树内的用户进行分组。我们还设计了一种动态 dropout 方法来促进相邻节点之间的数据共享，从而减少数据稀疏性。现实世界数据集的实证结果决定了我们提出的情绪预测模型可以超越趋势竞争对手。此外，与其他集成方法相比，所提出的基于迁移的算法可以更好地利用潜在的认知线索并促进预测结果。基于给定的外在和内在分析结果，我们注意到，与其他基于理论的技术相比，所提出的层次聚类方法可以更好地对自适应树内的用户进行分组。所提出的基于转移的算法可以更好地利用潜在的认知线索并促进预测结果。基于给定的外在和内在分析结果，我们注意到，与其他基于理论的技术相比，所提出的层次聚类方法可以更好地对自适应树内的用户进行分组。所提出的基于转移的算法可以更好地利用潜在的认知线索并促进预测结果。基于给定的外在和内在分析结果，我们注意到，与其他基于理论的技术相比，所提出的层次聚类方法可以更好地对自适应树内的用户进行分组。