Recent work achieved remarkable results in training neural machine translation (NMT) systems in a fully unsupervised way, with new and dedicated architectures that only rely on monolingual corpora. However, previous work also showed that unsupervised statistical machine translation (USMT) performs better than unsupervised NMT (UNMT), especially for distant language pairs. To take advantage of the superiority of USMT over UNMT, and considering that SMT suffers from well-known limitations overcome by NMT, we propose to define UNMT as NMT trained with the supervision of synthetic parallel data generated by USMT. This way we can exploit USMT up to its limits while ultimately relying on full-fledged NMT models to generate translations. We show significant improvements in translation quality over previous work and also that further improvements can be obtained by alternatively and iteratively training USMT and UNMT. Without the need of a dedicated architecture for UNMT, our simple approach can straightforwardly benefit from any recent and future advances in supervised NMT. Our systems achieve a new state-of-the-art for unsupervised machine translation in all of our six translation tasks for five diverse language pairs, surpassing even supervised SMT or NMT in some tasks. Furthermore, our analysis shows how crucial the comparability between the monolingual corpora used for unsupervised training is in improving translation quality.

中文翻译：

---

无监督神经和统计机器翻译系统的迭代训练

最近的工作在以完全无监督的方式训练神经机器翻译 (NMT) 系统方面取得了显著成果，新的专用架构仅依赖于单语语料库。然而，之前的工作也表明，无监督统计机器翻译 (USMT) 比无监督 NMT (UNMT) 表现更好，尤其是对于远程语言对。为了利用 USMT 优于 UNMT 的优势，并考虑到 SMT 受到 NMT 克服的众所周知的限制，我们建议将 UNMT 定义为在 USMT 生成的合成并行数据的监督下训练的 NMT。通过这种方式，我们可以最大限度地利用 USMT，同时最终依靠成熟的 NMT 模型来生成翻译。与以前的工作相比，我们展示了翻译质量的显着改进，并且通过交替和迭代地训练 USMT 和 UNMT 可以获得进一步的改进。在不需要 UNMT 专用架构的情况下，我们的简单方法可以直接受益于监督 NMT 的任何近期和未来进展。我们的系统在我们针对五种不同语言对的所有六种翻译任务中实现了无监督机器翻译的最新技术水平，在某些任务中甚至超过了有监督的 SMT 或 NMT。此外，我们的分析表明，用于无监督训练的单语语料库之间的可比性对于提高翻译质量至关重要。我们的简单方法可以直接受益于监督 NMT 的任何近期和未来进展。我们的系统在我们针对五种不同语言对的所有六种翻译任务中实现了无监督机器翻译的最新技术水平，在某些任务中甚至超过了有监督的 SMT 或 NMT。此外，我们的分析表明，用于无监督训练的单语语料库之间的可比性对于提高翻译质量至关重要。我们的简单方法可以直接受益于监督 NMT 的任何近期和未来进展。我们的系统在我们针对五种不同语言对的所有六种翻译任务中实现了无监督机器翻译的最新技术水平，在某些任务中甚至超过了有监督的 SMT 或 NMT。此外，我们的分析表明，用于无监督训练的单语语料库之间的可比性对于提高翻译质量至关重要。