当前位置: X-MOL 学术Inform. Fusion › 论文详情
Our official English website, www.x-mol.net, welcomes your feedback! (Note: you will need to create a separate account there.)
Image synthesis with adversarial networks: A comprehensive survey and case studies
Information Fusion ( IF 18.6 ) Pub Date : 2021-02-27 , DOI: 10.1016/j.inffus.2021.02.014
Pourya Shamsolmoali , Masoumeh Zareapoor , Eric Granger , Huiyu Zhou , Ruili Wang , M. Emre Celebi , Jie Yang

Generative Adversarial Networks (GANs) have been extremely successful in various application domains such as computer vision, medicine, and natural language processing. Moreover, transforming an object or person to a desired shape become a well-studied research in the GANs. GANs are powerful models for learning complex distributions to synthesize semantically meaningful samples. However, there is a lack of comprehensive review in this field, especially lack of a collection of GANs loss-variant, evaluation metrics, remedies for diverse image generation, and stable training. Given the current fast GANs development, in this survey, we provide a comprehensive review of adversarial models for image synthesis. We summarize the synthetic image generation methods, and discuss the categories including image-to-image translation, fusion image generation, label-to-image mapping, and text-to-image translation. We organize the literature based on their base models, developed ideas related to architectures, constraints, loss functions, evaluation metrics, and training datasets. We present milestones of adversarial models, review an extensive selection of previous works in various categories, and present insights on the development route from the model-based to data-driven methods. Further, we highlight a range of potential future research directions. One of the unique features of this review is that all software implementations of these GAN methods and datasets have been collected and made available in one place at https://github.com/pshams55/GAN-Case-Study.



中文翻译:

对抗网络的图像合成:全面的调查和案例研究

生成对抗网络(GAN)在各种应用领域(例如计算机视觉,医学和自然语言处理)都非常成功。此外,将物体或人转变为所需形状成为GAN中的一项经过充分研究的研究。GAN是用于学习复杂分布以合成语义上有意义的样本的强大模型。但是,该领域缺乏全面的审查,尤其是缺少GAN损耗变量,评估指标,用于生成多种图像的补救措施以及稳定的培训的集合。考虑到当前GAN的快速发展,在本次调查中,我们对图像合成的对抗模型进行了全面回顾。我们总结了合成图像的生成方法,并讨论了图像到图像翻译,融合图像生成,标签到图像的映射以及文本到图像的翻译。我们根据文献的基本模型,与体系结构,约束,损失函数,评估指标和训练数据集有关的发展思路组织文献。我们介绍了对抗性模型的里程碑,回顾了各种类别的大量先前作品,并提出了从基于模型的方法到数据驱动方法的发展路线的见解。此外,我们重点介绍了一系列潜在的未来研究方向。这篇评论的独特功能之一是,这些GAN方法和数据集的所有软件实现均已收集并在https://github.com/pshams55/GAN-Case-Study上的一个位置提供。与构架,约束,损失函数,评估指标和训练数据集有关的构想。我们介绍了对抗性模型的里程碑,回顾了各种类别的大量先前作品,并提出了从基于模型的方法到数据驱动方法的发展路线的见解。此外,我们重点介绍了一系列潜在的未来研究方向。这篇评论的独特功能之一是,这些GAN方法和数据集的所有软件实现均已收集并在https://github.com/pshams55/GAN-Case-Study上的一个位置提供。与构架,约束,损失函数,评估指标和训练数据集有关的构想。我们介绍了对抗性模型的里程碑,回顾了各种类别的大量先前作品,并提出了从基于模型的方法到数据驱动方法的发展路线的见解。此外,我们重点介绍了一系列潜在的未来研究方向。这篇评论的独特功能之一是,这些GAN方法和数据集的所有软件实现均已收集并在https://github.com/pshams55/GAN-Case-Study上的一个位置提供。并提供有关从基于模型的方法到数据驱动的方法的开发路线的见解。此外,我们重点介绍了一系列潜在的未来研究方向。这篇评论的独特功能之一是,这些GAN方法和数据集的所有软件实现均已收集并在https://github.com/pshams55/GAN-Case-Study上的一个位置提供。并提供有关从基于模型的方法到数据驱动的方法的开发路线的见解。此外,我们重点介绍了一系列潜在的未来研究方向。这篇评论的独特功能之一是,这些GAN方法和数据集的所有软件实现均已收集并在https://github.com/pshams55/GAN-Case-Study上的一个位置提供。

更新日期:2021-02-28
down
wechat
bug