当前位置:
X-MOL 学术
›
arXiv.cs.IR
›
论文详情
Our official English website, www.x-mol.net, welcomes your
feedback! (Note: you will need to create a separate account there.)
A Simple and Effective Self-Supervised Contrastive Learning Framework for Aspect Detection
arXiv - CS - Information Retrieval Pub Date : 2020-09-18 , DOI: arxiv-2009.09107 Tian Shi and Liuqing Li and Ping Wang and Chandan K. Reddy
arXiv - CS - Information Retrieval Pub Date : 2020-09-18 , DOI: arxiv-2009.09107 Tian Shi and Liuqing Li and Ping Wang and Chandan K. Reddy
Unsupervised aspect detection (UAD) aims at automatically extracting
interpretable aspects and identifying aspect-specific segments (such as
sentences) from online reviews. However, recent deep learning-based topic
models, specifically aspect-based autoencoder, suffer from several problems,
such as extracting noisy aspects and poorly mapping aspects discovered by
models to the aspects of interest. To tackle these challenges, in this paper,
we first propose a self-supervised contrastive learning framework and an
attention-based model equipped with a novel smooth self-attention (SSA) module
for the UAD task in order to learn better representations for aspects and
review segments. Secondly, we introduce a high-resolution selective mapping
(HRSMap) method to efficiently assign aspects discovered by the model to
aspects of interest. We also propose using a knowledge distilling technique to
further improve the aspect detection performance. Our methods outperform
several recent unsupervised and weakly supervised approaches on publicly
available benchmark user review datasets. Aspect interpretation results show
that extracted aspects are meaningful, have good coverage, and can be easily
mapped to aspects of interest. Ablation studies and attention weight
visualization also demonstrate the effectiveness of SSA and the knowledge
distilling method.
中文翻译:
一种简单有效的自监督对比学习框架,用于方面检测
无监督方面检测 (UAD) 旨在从在线评论中自动提取可解释的方面并识别特定于方面的片段(例如句子)。然而,最近基于深度学习的主题模型,特别是基于方面的自动编码器,存在一些问题,例如提取嘈杂的方面以及模型发现的方面与感兴趣的方面的映射不佳。为了应对这些挑战,在本文中,我们首先提出了一个自我监督的对比学习框架和一个基于注意力的模型,该模型配备了用于 UAD 任务的新型平滑自注意力 (SSA) 模块,以便学习更好的方面表示和回顾片段。其次,我们引入了一种高分辨率选择性映射 (HRSMap) 方法,以有效地将模型发现的方面分配给感兴趣的方面。我们还建议使用知识蒸馏技术来进一步提高方面检测性能。我们的方法在公开可用的基准用户评论数据集上优于最近的几种无监督和弱监督方法。方面解释结果表明提取的方面是有意义的,具有良好的覆盖率,并且可以很容易地映射到感兴趣的方面。消融研究和注意力权重可视化也证明了 SSA 和知识提炼方法的有效性。并且可以很容易地映射到感兴趣的方面。消融研究和注意力权重可视化也证明了 SSA 和知识提炼方法的有效性。并且可以很容易地映射到感兴趣的方面。消融研究和注意力权重可视化也证明了 SSA 和知识提炼方法的有效性。
更新日期:2020-09-22
中文翻译:
一种简单有效的自监督对比学习框架,用于方面检测
无监督方面检测 (UAD) 旨在从在线评论中自动提取可解释的方面并识别特定于方面的片段(例如句子)。然而,最近基于深度学习的主题模型,特别是基于方面的自动编码器,存在一些问题,例如提取嘈杂的方面以及模型发现的方面与感兴趣的方面的映射不佳。为了应对这些挑战,在本文中,我们首先提出了一个自我监督的对比学习框架和一个基于注意力的模型,该模型配备了用于 UAD 任务的新型平滑自注意力 (SSA) 模块,以便学习更好的方面表示和回顾片段。其次,我们引入了一种高分辨率选择性映射 (HRSMap) 方法,以有效地将模型发现的方面分配给感兴趣的方面。我们还建议使用知识蒸馏技术来进一步提高方面检测性能。我们的方法在公开可用的基准用户评论数据集上优于最近的几种无监督和弱监督方法。方面解释结果表明提取的方面是有意义的,具有良好的覆盖率,并且可以很容易地映射到感兴趣的方面。消融研究和注意力权重可视化也证明了 SSA 和知识提炼方法的有效性。并且可以很容易地映射到感兴趣的方面。消融研究和注意力权重可视化也证明了 SSA 和知识提炼方法的有效性。并且可以很容易地映射到感兴趣的方面。消融研究和注意力权重可视化也证明了 SSA 和知识提炼方法的有效性。