The biomedical literature contains a sufficient number of chemical-protein interactions (CPIs). Automatic extraction of CPI is a crucial task in the biomedical domain, which has excellent benefits for precision medicine, drug discovery and basic biomedical research. In this study, we propose a novel model, BERT-based attention-guided capsule networks (BERT-Att-Capsule), for CPI extraction. Specifically, the approach first employs BERT (Bidirectional Encoder Representations from Transformers) to capture the long-range dependencies and bidirectional contextual information of input tokens. Then, the aggregation is regarded as a routing problem for how to pass messages from source capsule nodes to target capsule nodes. This process enables capsule networks to determine what and how much information need to be transferred, as well as to identify sophisticated and interleaved features. Afterwards, the multi-head attention is applied to guide the model to learn different contribution weights of capsule networks obtained by the dynamic routing. We evaluate our model on the CHEMPROT corpus. Our approach is superior in performance as compared with other state-of-the-art methods. Experimental results show that our approach can adequately capture the long-range dependencies and bidirectional contextual information of input tokens, obtain more fine-grained aggregation information through attention-guided capsule networks, and therefore improve the performance.

中文翻译：

---

注意引导胶囊网络用于化学-蛋白质相互作用的提取。

生物医学文献包含足够数量的化学-蛋白质相互作用（CPI）。在生物医学领域，CPI的自动提取是一项至关重要的任务，它对精密医学，药物发现和基础生物医学研究具有极大的好处。在这项研究中，我们提出了一种基于BERT的注意力引导胶囊网络（BERT-Att-Capsule）的新颖模型，用于CPI提取。具体而言，该方法首先采用BERT（来自变压器的双向编码器表示）来捕获输入令牌的远程依赖性和双向上下文信息。然后，聚集被视为关于如何将消息从源胶囊节点传递到目标胶囊节点的路由问题。通过此过程，胶囊网络可以确定需要传输哪些信息以及传输多少信息，以及识别复杂的和交错的功能。之后，多头注意力被用来指导模型学习通过动态路由获得的胶囊网络的不同贡献权重。我们在CHEMPROT语料库上评估我们的模型。与其他最新方法相比，我们的方法在性能上更胜一筹。实验结果表明，我们的方法可以充分捕获输入令牌的远程依赖关系和双向上下文信息，通过注意力导向的胶囊网络获取更多细粒度的聚集信息，从而提高性能。我们在CHEMPROT语料库上评估我们的模型。与其他最新方法相比，我们的方法在性能上更胜一筹。实验结果表明，我们的方法可以充分捕获输入令牌的远程依赖关系和双向上下文信息，通过注意力导向的胶囊网络获取更多细粒度的聚集信息，从而提高性能。我们在CHEMPROT语料库上评估我们的模型。与其他最新方法相比，我们的方法在性能上更胜一筹。实验结果表明，我们的方法可以充分捕获输入令牌的远程依赖关系和双向上下文信息，通过注意力导向的胶囊网络获取更多细粒度的聚集信息，从而提高性能。