当前位置: X-MOL 学术Appl. Soft Comput. › 论文详情
Syntax-type-aware graph convolutional networks for natural language understanding
Applied Soft Computing ( IF 5.472 ) Pub Date : 2021-01-13 , DOI: 10.1016/j.asoc.2021.107080
Chunning Du; Jingyu Wang; Haifeng Sun; Qi Qi; Jianxin Liao

The structure of a sentence conveys rich linguistic knowledge and has proven useful for natural language understanding. In this paper, we aim to incorporate syntactical constraints and long-range word dependencies into the sentence encoding procedure using the widely applied Graph Convolutional Network (GCN) and word dependency trees. Existing syntax-aware GCN methods construct the adjacency matrix by referring to whether two words are connected in the dependency tree. But they fail to model the word dependency type, which reflects how the words are linked in dependency trees. They cannot distinguish the different contributions of different word dependency paths. To avoid introducing redundant word dependencies that harm language understanding, we propose a GCN version that is extended by a novel Word Dependency Gate mechanism. Word Dependency Gate can adaptively maintain the balance between the inclusion and exclusion of specific word dependency paths based on the word dependency type and its word context. Experiments show that our approach can effectively incorporate the relevant syntactical dependency in BERT and achieve a state-of-the-art performance in the End-to-End Aspect-Based Sentiment Analysis and Relation Triple Extraction tasks.



中文翻译:

用于自然语言理解的语法类型感知图卷积网络

句子的结构传达了丰富的语言知识,并证明对自然语言理解很有用。在本文中,我们旨在使用广泛使用的图卷积网络(GCN)和单词依赖树将句法约束和远程单词依赖项纳入句子编码过程。现有的可识别语法的GCN方法通过引用在依赖树中是否连接了两个单词来构造邻接矩阵。但是他们无法对单词依赖类型进行建模,这反映了单词在依赖树中的链接方式。他们无法区分不同单词依赖路径的不同贡献。为避免引入有害于语言理解的冗余单词依赖性,我们提出了一种GCN版本,该版本由新颖的单词依赖性门机制扩展。单词相关性门可以根据单词相关性类型及其单词上下文来自适应地维护特定单词相关性路径的包含和排除之间的平衡。实验表明,我们的方法可以有效地将相关的句法依赖性纳入BERT中,并在基于端到端基于方面的情感分析和关系三重提取任务中达到最先进的性能。

更新日期:2021-01-22
全部期刊列表>>
微生物研究
亚洲大洋洲地球科学
NPJ欢迎投稿
自然科研论文编辑
ERIS期刊投稿
欢迎阅读创刊号
自然职场,为您触达千万科研人才
spring&清华大学出版社
城市可持续发展前沿研究专辑
Springer 纳米技术权威期刊征稿
全球视野覆盖
施普林格·自然新
chemistry
物理学研究前沿热点精选期刊推荐
自然职位线上招聘会
欢迎报名注册2020量子在线大会
化学领域亟待解决的问题
材料学研究精选新
GIANT
ACS ES&T Engineering
ACS ES&T Water
屿渡论文,编辑服务
阿拉丁试剂right
上海中医药大学
浙江大学
西湖大学
化学所
北京大学
清华
隐藏1h前已浏览文章
课题组网站
新版X-MOL期刊搜索和高级搜索功能介绍
ACS材料视界
清华大学-1
武汉大学
浙江大学
天合科研
x-mol收录
试剂库存
down
wechat
bug