当前位置: X-MOL 学术Sensors › 论文详情
Our official English website, www.x-mol.net, welcomes your feedback! (Note: you will need to create a separate account there.)
Learning Hierarchical Representations of Stories by Using Multi-layered Structures in Narrative Multimedia.
Sensors ( IF 3.4 ) Pub Date : 2020-04-01 , DOI: 10.3390/s20071978
O-Joun Lee 1 , Jason J Jung 2 , Jin-Taek Kim 1
Affiliation  

Narrative works (e.g., novels and movies) consist of various utterances (e.g., scenes and episodes) with multi-layered structures. However, the existing studies aimed to embed only stories in a narrative work. By covering other granularity levels, we can easily compare narrative utterances that are coarser (e.g., movie series) or finer (e.g., scenes) than a narrative work. We apply the multi-layered structures on learning hierarchical representations of the narrative utterances. To represent coarser utterances, we consider adjacency and appearance of finer utterances in the coarser ones. For the movies, we suppose a four-layered structure (character roles ∈ characters ∈ scenes ∈ movies) and propose three learning methods bridging the layers: Char2Vec, Scene2Vec, and Hierarchical Story2Vec. Char2Vec represents a character by using dynamic changes in the character's roles. To find the character roles, we use substructures of character networks (i.e., dynamic social networks of characters). A scene describes an event. Interactions between characters in the scene are designed to describe the event. Scene2Vec learns representations of a scene from interactions between characters in the scene. A story is a series of events. Meanings of the story are affected by order of the events as well as their content. Hierarchical Story2Vec uses sequential order of scenes to represent stories. The proposed model has been evaluated by estimating the similarity between narrative utterances in real movies.

中文翻译:

通过使用叙事多媒体中的多层结构来学习故事的层次表示。

叙事作品(例如小说和电影)由具有多层结构的各种话语(例如场景和情节)组成。但是,现有的研究旨在仅将故事嵌入叙事作品中。通过覆盖其他粒度级别,我们可以轻松比较比叙事作品更粗糙(例如,电影系列)或更精细(例如,场景)的叙事话语。我们将多层结构应用于学习叙事话语的层次表示。为了表示较粗略的话语,我们考虑较粗略的话语的邻接和外观。对于电影,我们假设它是一个四层结构(角色角色∈角色∈场景∈电影),并提出了三种桥接这些学习方法的方法:Char2Vec,Scene2Vec和Hierarchical Story2Vec。Char2Vec通过使用角色角色的动态更改来表示角色。为了找到角色角色,我们使用角色网络的子结构(即,角色的动态社交网络)。场景描述了一个事件。场景中角色之间的交互旨在描述事件。Scene2Vec通过场景中角色之间的交互来学习场景的表示。故事是一系列事件。故事的含义受事件顺序及其内容的影响。分层Story2Vec使用场景的顺序顺序来表示故事。通过估计真实电影中叙事话语之间的相似性,对提出的模型进行了评估。场景描述了一个事件。场景中角色之间的交互旨在描述事件。Scene2Vec通过场景中角色之间的交互来学习场景的表示。故事是一系列事件。故事的含义受事件顺序及其内容的影响。分层Story2Vec使用场景的顺序顺序来表示故事。通过估计真实电影中叙事话语之间的相似性,对提出的模型进行了评估。场景描述了一个事件。场景中角色之间的交互旨在描述事件。Scene2Vec通过场景中角色之间的交互来学习场景的表示。故事是一系列事件。故事的含义受事件顺序及其内容的影响。分层Story2Vec使用场景的顺序顺序来表示故事。通过估计真实电影中叙事话语之间的相似性,对提出的模型进行了评估。分层Story2Vec使用场景的顺序顺序来表示故事。通过估计真实电影中叙事话语之间的相似性,对提出的模型进行了评估。分层Story2Vec使用场景的顺序顺序来表示故事。通过估计真实电影中叙事话语之间的相似性,对提出的模型进行了评估。
更新日期:2020-04-01
down
wechat
bug