当前位置:
X-MOL 学术
›
Comput. Linguist.
›
论文详情
Our official English website, www.x-mol.net, welcomes your feedback! (Note: you will need to create a separate account there.)
What Should/Do/Can LSTMs Learn When Parsing Auxiliary Verb Constructions?
Computational Linguistics ( IF 9.3 ) Pub Date : 2020-10-22 , DOI: 10.1162/coli_a_00392 Miryam de Lhoneux 1 , Sara Stymne 2 , Joakim Nivre 2
Computational Linguistics ( IF 9.3 ) Pub Date : 2020-10-22 , DOI: 10.1162/coli_a_00392 Miryam de Lhoneux 1 , Sara Stymne 2 , Joakim Nivre 2
Affiliation
There is a growing interest in investigating what neural NLP models learn about language. A prominent open question is the question of whether or not it is necessary to model hierarchical structure. We present a linguistic investigation of a neural parser adding insights to this question. We look at transitivity and agreement information of auxiliary verb constructions (AVCs) in comparison to finite main verbs (FMVs). This comparison is motivated by theoretical work in dependency grammar and in particular the work of Tesnière (1959), where AVCs and FMVs are both instances of a nucleus, the basic unit of syntax. An AVC is a dissociated nucleus, it consists of at least two words, and an FMV is its non-dissociated counterpart, consisting of exactly one word.We suggest that the representation of AVCs and FMVs should capture similar information. We use diagnostic classifiers to probe agreement and transitivity information in vectors learned by a transition-based neural parser in four typologically different languages. We find that the parser learns different information about AVCs and FMVs if only sequential models (BiLSTMs) are used in the architecture but similar information when a recursive layer is used. We find explanations for why this is the case by looking closely at how information is learned in the network and looking at what happens with different dependency representations of AVCs. We conclude that there may be benefits to using a recursive layer in dependency parsing and that we have not yet found the best way to integrate it in our parsers.
中文翻译:
在解析辅助动词结构时,LSTM 应该/做什么/可以学习什么?
人们越来越有兴趣研究神经 NLP 模型如何学习语言。一个突出的悬而未决的问题是是否有必要对层次结构进行建模。我们提出了一个神经解析器的语言学研究,为这个问题增加了见解。与有限主要动词 (FMV) 相比,我们研究了辅助动词结构 (AVC) 的及物性和一致性信息。这种比较受到依存语法理论工作的启发,特别是 Tesnière (1959) 的工作,其中 AVC 和 FMV 都是核心的实例,核心是句法的基本单位。一个 AVC 是一个分离的核,它至少由两个词组成,一个 FMV 是它的非分离对应物,由一个词组成。我们建议 AVC 和 FMV 的表示应该捕获相似的信息。我们使用诊断分类器来探测由基于转换的神经解析器以四种类型不同的语言学习的向量中的一致性和传递性信息。我们发现,如果架构中仅使用顺序模型 (BiLSTM),解析器会学习有关 AVC 和 FMV 的不同信息,但在使用递归层时会学习类似信息。我们通过仔细观察网络中信息的学习方式并观察 AVC 的不同依赖表示会发生什么来解释为什么会出现这种情况。我们得出结论,在依赖解析中使用递归层可能有好处,而且我们还没有找到将它集成到我们的解析器中的最佳方法。
更新日期:2020-10-22
中文翻译:
在解析辅助动词结构时,LSTM 应该/做什么/可以学习什么?
人们越来越有兴趣研究神经 NLP 模型如何学习语言。一个突出的悬而未决的问题是是否有必要对层次结构进行建模。我们提出了一个神经解析器的语言学研究,为这个问题增加了见解。与有限主要动词 (FMV) 相比,我们研究了辅助动词结构 (AVC) 的及物性和一致性信息。这种比较受到依存语法理论工作的启发,特别是 Tesnière (1959) 的工作,其中 AVC 和 FMV 都是核心的实例,核心是句法的基本单位。一个 AVC 是一个分离的核,它至少由两个词组成,一个 FMV 是它的非分离对应物,由一个词组成。我们建议 AVC 和 FMV 的表示应该捕获相似的信息。我们使用诊断分类器来探测由基于转换的神经解析器以四种类型不同的语言学习的向量中的一致性和传递性信息。我们发现,如果架构中仅使用顺序模型 (BiLSTM),解析器会学习有关 AVC 和 FMV 的不同信息,但在使用递归层时会学习类似信息。我们通过仔细观察网络中信息的学习方式并观察 AVC 的不同依赖表示会发生什么来解释为什么会出现这种情况。我们得出结论,在依赖解析中使用递归层可能有好处,而且我们还没有找到将它集成到我们的解析器中的最佳方法。