Cross-lingual word embeddings learned from monolingual embeddings have a crucial role in many downstream tasks, ranging from machine translation to transfer learning. Adversarial training has shown impressive success in learning cross-lingual embeddings and the associated word translation task without any parallel data by mapping monolingual embeddings to a shared space. However, recent work has shown superior performance for non-adversarial methods in more challenging language pairs. In this article, we investigate adversarial autoencoder for unsupervised word translation and propose two novel extensions to it that yield more stable training and improved results. Our method includes regularization terms to enforce cycle consistency and input reconstruction, and puts the target encoders as an adversary against the corresponding discriminator. We use two types of refinement procedures sequentially after obtaining the trained encoders and mappings from the adversarial training, namely, refinement with Procrustes solution and refinement with symmetric re-weighting. Extensive experimentations with highand low-resource languages from two different datasets show that our method achieves better performance than existing adversarial and non-adversarial approaches and is also competitive with the supervised system. Along with performing comprehensive ablation studies to understand the contribution of different components of our adversarial model, we also conduct a thorough analysis of the refinement procedures to understand their effects.

中文翻译：

---

使用对抗性自动编码器的无监督单词翻译

从单语嵌入中学习到的跨语言词嵌入在许多下游任务中起着至关重要的作用，从机器翻译到迁移学习。通过将单语嵌入映射到共享空间，对抗性训练在没有任何并行数据的情况下学习跨语言嵌入和相关的单词翻译任务方面取得了令人瞩目的成功。然而，最近的工作在更具挑战性的语言对中显示出非对抗性方法的优越性能。在本文中，我们研究了用于无监督单词翻译的对抗性自动编码器，并提出了两个新的扩展，可以产生更稳定的训练和改进的结果。我们的方法包括正则化项以强制循环一致性和输入重构，并将目标编码器作为对应鉴别器的对手。在从对抗训练中获得经过训练的编码器和映射后，我们依次使用两种类型的细化程序，即使用 Procrustes 解决方案进行细化和使用对称重加权进行细化。对来自两个不同数据集的高资源和低资源语言进行的大量实验表明，我们的方法比现有的对抗性和非对抗性方法获得了更好的性能，并且与监督系统也具有竞争力。除了进行全面的消融研究以了解对抗模型的不同组成部分的贡献外，我们还对细化程序进行了全面分析以了解其影响。使用 Procrustes 解决方案进行细化，并使用对称重新加权进行细化。对来自两个不同数据集的高资源和低资源语言进行的大量实验表明，我们的方法比现有的对抗性和非对抗性方法获得了更好的性能，并且与监督系统也具有竞争力。除了进行全面的消融研究以了解对抗模型的不同组成部分的贡献外，我们还对细化程序进行了全面分析以了解其影响。使用 Procrustes 解决方案进行细化，并使用对称重新加权进行细化。对来自两个不同数据集的高资源和低资源语言进行的大量实验表明，我们的方法比现有的对抗性和非对抗性方法获得了更好的性能，并且与监督系统也具有竞争力。除了进行全面的消融研究以了解对抗模型的不同组成部分的贡献外，我们还对细化程序进行了全面分析以了解其影响。对来自两个不同数据集的高资源和低资源语言进行的大量实验表明，我们的方法比现有的对抗性和非对抗性方法获得了更好的性能，并且与监督系统也具有竞争力。除了进行全面的消融研究以了解对抗模型的不同组成部分的贡献外，我们还对细化程序进行了全面分析以了解其影响。对来自两个不同数据集的高资源和低资源语言进行的大量实验表明，我们的方法比现有的对抗性和非对抗性方法获得了更好的性能，并且与监督系统也具有竞争力。除了进行全面的消融研究以了解对抗模型的不同组成部分的贡献外，我们还对细化程序进行了全面分析以了解其影响。