With the rapid development of social media, visual sentiment analysis from image or video has become a hot spot in visual understanding researches. In this work, we propose an effective approach using visual and textual fusion for sentiment analysis of short GIF videos with textual descriptions. We extract both sequence-level and frame-level visual features for each given GIF video. Next, we build a visual sentiment classifier by using the extracted features. We also define a mapping function, which converts the sentiment probability from the classifier to a sentiment score used in our fusion function. At the same time, for the accompanied textual annotations, we employ the Synset forest to extract the sets of the meaningful sentiment words and utilize the SentiWordNet3.0 model to obtain the textual sentiment score. Then, we design a joint visual-textual sentiment score function weighted with visual sentiment component and textual sentiment one. To make the function more robust, we introduce a noticeable difference threshold to further process the fused sentiment score. Finally, we adopt a grid search technique to obtain relevant model hyper-parameters by optimizing a sentiment aware score function. Experimental results and analysis extensively demonstrate the effectiveness of the proposed sentiment recognition scheme on three benchmark datasets including T-GIF dataset, GSO-2016 dataset and Adjusted-GIFGIF dataset.

中文翻译：

---

使用 Visual-Textual Fusion 对短带注释的 GIF 进行情感识别

随着社交媒体的快速发展，从图像或视频中进行视觉情感分析已成为视觉理解研究的热点。在这项工作中，我们提出了一种使用视觉和文本融合的有效方法，对带有文本描述的 GIF 短视频进行情感分析。我们为每个给定的 GIF 视频提取序列级和帧级视觉特征。接下来，我们使用提取的特征构建视觉情感分类器。我们还定义了一个映射函数，它将来自分类器的情感概率转换为我们的融合函数中使用的情感分数。同时，对于伴随的文本注释，我们采用 Synset 森林提取有意义的情感词集，并利用 SentiWordNet3.0 模型获得文本情感分数。然后，我们设计了一个联合视觉-文本情感评分函数，用视觉情感分量和文本情感分量加权。为了使函数更健壮，我们引入了一个明显的差异阈值来进一步处理融合的情感分数。最后，我们采用网格搜索技术通过优化情感感知评分函数来获取相关模型超参数。实验结果和分析广泛证明了所提出的情感识别方案在三个基准数据集上的有效性，包括 T-GIF 数据集、GSO-2016 数据集和 Adjusted-GIFGIF 数据集。我们采用网格搜索技术通过优化情感感知评分函数来获取相关模型超参数。实验结果和分析广泛证明了所提出的情感识别方案在三个基准数据集上的有效性，包括 T-GIF 数据集、GSO-2016 数据集和 Adjusted-GIFGIF 数据集。我们采用网格搜索技术通过优化情感感知评分函数来获取相关模型超参数。实验结果和分析广泛证明了所提出的情感识别方案在三个基准数据集上的有效性，包括 T-GIF 数据集、GSO-2016 数据集和 Adjusted-GIFGIF 数据集。