The World Wide Web has become a popular source for gathering information and news. Multimodal information, e.g., enriching text with photos, is typically used to convey the news more effectively or to attract attention. Photo content can range from decorative, depict additional important information, or can even contain misleading information. Therefore, automatic approaches to quantify cross-modal consistency of entity representation can support human assessors to evaluate the overall multimodal message, for instance, with regard to bias or sentiment. In some cases such measures could give hints to detect fake news, which is an increasingly important topic in today's society. In this paper, we introduce a novel task of cross-modal consistency verification in real-world news and present a multimodal approach to quantify the entity coherence between image and text. Named entity linking is applied to extract persons, locations, and events from news texts. Several measures are suggested to calculate cross-modal similarity for these entities using state of the art approaches. In contrast to previous work, our system automatically gathers example data from the Web and is applicable to real-world news. Results on two novel datasets that cover different languages, topics, and domains demonstrate the feasibility of our approach. Datasets and code are publicly available to foster research towards this new direction.

中文翻译：

---

使用跨模态实体一致性度量对真实世界新闻进行多模态分析

万维网已成为收集信息和新闻的流行来源。多模态信息，例如用照片丰富文本，通常用于更有效地传达新闻或吸引注意力。照片内容可以是装饰性的、描绘额外的重要信息，甚至可以包含误导性信息。因此，量化实体表示的跨模态一致性的自动方法可以支持人类评估员评估整体多模态消息，例如，关于偏见或情绪。在某些情况下，此类措施可以提示检测假新闻，这在当今社会是一个越来越重要的话题。在本文中，我们在现实世界的新闻中引入了跨模态一致性验证的新任务，并提出了一种多模态方法来量化图像和文本之间的实体一致性。命名实体链接用于从新闻文本中提取人物、地点和事件。建议使用几种方法来使用最先进的方法计算这些实体的跨模态相似性。与之前的工作相比，我们的系统自动从 Web 收集示例数据，适用于现实世界的新闻。涵盖不同语言、主题和领域的两个新数据集的结果证明了我们方法的可行性。数据集和代码是公开可用的，以促进朝着这个新方向的研究。建议使用几种方法来使用最先进的方法计算这些实体的跨模态相似性。与之前的工作相比，我们的系统自动从 Web 收集示例数据，适用于现实世界的新闻。涵盖不同语言、主题和领域的两个新数据集的结果证明了我们方法的可行性。数据集和代码是公开可用的，以促进朝着这个新方向的研究。建议使用几种方法来使用最先进的方法计算这些实体的跨模态相似性。与之前的工作相比，我们的系统自动从 Web 收集示例数据，适用于现实世界的新闻。涵盖不同语言、主题和领域的两个新数据集的结果证明了我们方法的可行性。数据集和代码是公开可用的，以促进朝着这个新方向的研究。