With an exponential explosive growth of various digital text information, it is challenging to efficiently obtain specific knowledge from massive unstructured text information. As one basic task for natural language processing (NLP), relation extraction aims to extract the semantic relation between entity pairs based on the given text. To avoid manual labeling of datasets, distant supervision relation extraction (DSRE) has been widely used, aiming to utilize knowledge base to automatically annotate datasets. Unfortunately, this method heavily suffers from wrong labelling due to the underlying strong assumptions. To address this issue, we propose a new framework using hybrid attention-based Transformer block with multi-instance learning to perform the DSRE task. More specifically, the Transformer block is firstly used as the sentence encoder to capture syntactic information of sentences, which mainly utilizes multi-head self-attention to extract features from word level. Then, a more concise sentence-level attention mechanism is adopted to constitute the bag representation, aiming to incorporate valid information of each sentence to effectively represent the bag. Experimental results on the public dataset New York Times (NYT) demonstrate that the proposed approach can outperform the state-of-the-art algorithms on the evaluation dataset, which verifies the effectiveness of our model for the DSRE task.

中文翻译：

---

用于远程监督关系提取的基于混合注意力的 Transformer Block 模型

随着各种数字文本信息呈指数级爆炸式增长，从海量非结构化文本信息中高效获取特定知识具有挑战性。作为自然语言处理 (NLP) 的一项基本任务，关系提取旨在基于给定文本提取实体对之间的语义关系。为了避免手动标记数据集，远程监督关系提取（DSRE）已被广泛使用，旨在利用知识库自动注释数据集。不幸的是，由于潜在的强假设，这种方法严重受到错误标记的影响。为了解决这个问题，我们提出了一个新的框架，使用基于混合注意力的 Transformer 块和多实例学习来执行 DSRE 任务。进一步来说，Transformer 块首先用作句子编码器来捕获句子的句法信息，主要利用多头自注意力从词级提取特征。然后，采用更简洁的句子级注意力机制来构成袋子表示，旨在结合每个句子的有效信息来有效地表示袋子。在公共数据集纽约时报 (NYT) 上的实验结果表明，所提出的方法可以在评估数据集上优于最先进的算法，这验证了我们的模型对 DSRE 任务的有效性。采用更简洁的句子级注意力机制来构成袋子表示，旨在结合每个句子的有效信息来有效地表示袋子。在公共数据集纽约时报 (NYT) 上的实验结果表明，所提出的方法可以在评估数据集上优于最先进的算法，这验证了我们的模型对 DSRE 任务的有效性。采用更简洁的句子级注意力机制来构成袋子表示，旨在结合每个句子的有效信息来有效地表示袋子。在公共数据集纽约时报 (NYT) 上的实验结果表明，所提出的方法可以在评估数据集上优于最先进的算法，这验证了我们的模型对 DSRE 任务的有效性。