当前位置:
X-MOL 学术
›
arXiv.cs.GR
›
论文详情
Our official English website, www.x-mol.net, welcomes your feedback! (Note: you will need to create a separate account there.)
Neural Crossbreed: Neural Based Image Metamorphosis
arXiv - CS - Graphics Pub Date : 2020-09-02 , DOI: arxiv-2009.00905 Sanghun Park, Kwanggyoon Seo, Junyong Noh
arXiv - CS - Graphics Pub Date : 2020-09-02 , DOI: arxiv-2009.00905 Sanghun Park, Kwanggyoon Seo, Junyong Noh
We propose Neural Crossbreed, a feed-forward neural network that can learn a
semantic change of input images in a latent space to create the morphing
effect. Because the network learns a semantic change, a sequence of meaningful
intermediate images can be generated without requiring the user to specify
explicit correspondences. In addition, the semantic change learning makes it
possible to perform the morphing between the images that contain objects with
significantly different poses or camera views. Furthermore, just as in
conventional morphing techniques, our morphing network can handle shape and
appearance transitions separately by disentangling the content and the style
transfer for rich usability. We prepare a training dataset for morphing using a
pre-trained BigGAN, which generates an intermediate image by interpolating two
latent vectors at an intended morphing value. This is the first attempt to
address image morphing using a pre-trained generative model in order to learn
semantic transformation. The experiments show that Neural Crossbreed produces
high quality morphed images, overcoming various limitations associated with
conventional approaches. In addition, Neural Crossbreed can be further extended
for diverse applications such as multi-image morphing, appearance transfer, and
video frame interpolation.
中文翻译:
神经杂交:基于神经的图像变形
我们提出了 Neural Crossbreed,这是一种前馈神经网络,可以学习潜在空间中输入图像的语义变化以创建变形效果。由于网络学习语义变化,因此可以生成一系列有意义的中间图像,而无需用户指定明确的对应关系。此外,语义变化学习使得在包含具有显着不同姿势或相机视图的对象的图像之间执行变形成为可能。此外,就像在传统的变形技术中一样,我们的变形网络可以通过解开内容和样式转换来分别处理形状和外观转换,以获得丰富的可用性。我们使用预训练的 BigGAN 准备用于变形的训练数据集,它通过以预期的变形值对两个潜在向量进行插值来生成中间图像。这是第一次尝试使用预先训练的生成模型来解决图像变形问题,以学习语义转换。实验表明,神经杂交产生高质量的变形图像,克服了与传统方法相关的各种限制。此外,Neural Crossbreed 可以进一步扩展用于多种应用,例如多图像变形、外观传输和视频帧插值。克服与传统方法相关的各种限制。此外,Neural Crossbreed 可以进一步扩展用于多种应用,例如多图像变形、外观传输和视频帧插值。克服与传统方法相关的各种限制。此外,Neural Crossbreed 可以进一步扩展用于多种应用,例如多图像变形、外观传输和视频帧插值。
更新日期:2020-09-07
中文翻译:
神经杂交:基于神经的图像变形
我们提出了 Neural Crossbreed,这是一种前馈神经网络,可以学习潜在空间中输入图像的语义变化以创建变形效果。由于网络学习语义变化,因此可以生成一系列有意义的中间图像,而无需用户指定明确的对应关系。此外,语义变化学习使得在包含具有显着不同姿势或相机视图的对象的图像之间执行变形成为可能。此外,就像在传统的变形技术中一样,我们的变形网络可以通过解开内容和样式转换来分别处理形状和外观转换,以获得丰富的可用性。我们使用预训练的 BigGAN 准备用于变形的训练数据集,它通过以预期的变形值对两个潜在向量进行插值来生成中间图像。这是第一次尝试使用预先训练的生成模型来解决图像变形问题,以学习语义转换。实验表明,神经杂交产生高质量的变形图像,克服了与传统方法相关的各种限制。此外,Neural Crossbreed 可以进一步扩展用于多种应用,例如多图像变形、外观传输和视频帧插值。克服与传统方法相关的各种限制。此外,Neural Crossbreed 可以进一步扩展用于多种应用,例如多图像变形、外观传输和视频帧插值。克服与传统方法相关的各种限制。此外,Neural Crossbreed 可以进一步扩展用于多种应用,例如多图像变形、外观传输和视频帧插值。