当前位置:
X-MOL 学术
›
arXiv.cs.LG
›
论文详情
Our official English website, www.x-mol.net, welcomes your feedback! (Note: you will need to create a separate account there.)
Insertion-Deletion Transformer
arXiv - CS - Machine Learning Pub Date : 2020-01-15 , DOI: arxiv-2001.05540 Laura Ruis, Mitchell Stern, Julia Proskurnia, William Chan
arXiv - CS - Machine Learning Pub Date : 2020-01-15 , DOI: arxiv-2001.05540 Laura Ruis, Mitchell Stern, Julia Proskurnia, William Chan
We propose the Insertion-Deletion Transformer, a novel transformer-based
neural architecture and training method for sequence generation. The model
consists of two phases that are executed iteratively, 1) an insertion phase and
2) a deletion phase. The insertion phase parameterizes a distribution of
insertions on the current output hypothesis, while the deletion phase
parameterizes a distribution of deletions over the current output hypothesis.
The training method is a principled and simple algorithm, where the deletion
model obtains its signal directly on-policy from the insertion model output. We
demonstrate the effectiveness of our Insertion-Deletion Transformer on
synthetic translation tasks, obtaining significant BLEU score improvement over
an insertion-only model.
中文翻译:
插入-删除转换器
我们提出了插入-删除变换器,这是一种基于变换器的新型神经架构和序列生成训练方法。该模型由两个迭代执行的阶段组成,1)插入阶段和 2)删除阶段。插入阶段参数化当前输出假设上的插入分布,而删除阶段参数化当前输出假设上的删除分布。训练方法是一种有原则且简单的算法,其中删除模型直接从插入模型输出中获得其信号。我们证明了我们的插入-删除转换器在合成翻译任务上的有效性,与仅插入模型相比,获得了显着的 BLEU 分数改进。
更新日期:2020-01-17
中文翻译:
插入-删除转换器
我们提出了插入-删除变换器,这是一种基于变换器的新型神经架构和序列生成训练方法。该模型由两个迭代执行的阶段组成,1)插入阶段和 2)删除阶段。插入阶段参数化当前输出假设上的插入分布,而删除阶段参数化当前输出假设上的删除分布。训练方法是一种有原则且简单的算法,其中删除模型直接从插入模型输出中获得其信号。我们证明了我们的插入-删除转换器在合成翻译任务上的有效性,与仅插入模型相比,获得了显着的 BLEU 分数改进。