The 360-degree video/image, also called an omnidirectional video/image or panoramic video/image, is very important in some emerging areas such as virtual reality (VR). Therefore, corresponding image generation algorithms are urgently needed. However, existing image generation models mainly focus on 2-D images and do not consider the spherical structures of panoramic images. In this article, we propose a panoramic image generation method based on spherical convolution and generative adversarial networks, called spherical generative adversarial networks (SGANs). We adopt the sketch map as the input, which is a concise geometric structure representation of the panoramic image, e.g., comprising approximately 7% of the pixels for a 583 × 1163 image. Through adversarial learning, a realistic-looking, plausible and high-fidelity spherical image can be obtained from the sparse sketch map. In particular, we build a dataset of the sketch maps using a visual computation-based sketching model. Then, by optimizing SGANs with GAN loss, feature matching loss and perceptual loss, realistic textures and details are recovered gradually. On one hand, it is an improvement using the sparse sketch map as input rather than the denser input, e.g., the features of the textures and colors. On the other hand, spherical convolution helps to remedy space-varying distortions of the planar projection. We conduct extensive experiments on some public panoramic image datasets and compare them with state-of-the-art techniques to validate the superior performance of the proposed approach.

中文翻译：

---

全景图像生成：从二维草图到球面图像

360度视频/图像，也称为全方位视频/图像或全景视频/图像，在虚拟现实（VR）等一些新兴领域非常重要。因此，迫切需要相应的图像生成算法。然而，现有的图像生成模型主要关注二维图像，没有考虑全景图像的球面结构。在本文中，我们提出了一种基于球形卷积和生成对抗网络的全景图像生成方法，称为球形生成对抗网络 (SGAN)。我们采用草图作为输入，它是全景图像的简洁几何结构表示，例如，包含大约 7% 的 583 × 1163 图像的像素。通过对抗性学习，一个逼真的，从稀疏的草图上可以得到可信的高保真球面图像。特别是，我们使用基于视觉计算的草图模型构建草图数据集。然后，通过使用 GAN 损失、特征匹配损失和感知损失优化 SGAN，逐渐恢复逼真的纹理和细节。一方面，它是使用稀疏草图作为输入而不是更密集的输入（例如纹理和颜色的特征）作为输入的改进。另一方面，球面卷积有助于弥补平面投影的空间变化失真。我们对一些公共全景图像数据集进行了大量实验，并将它们与最先进的技术进行比较，以验证所提出方法的优越性能。我们使用基于视觉计算的草图模型构建草图数据集。然后，通过使用 GAN 损失、特征匹配损失和感知损失优化 SGAN，逐渐恢复逼真的纹理和细节。一方面，它是使用稀疏草图作为输入而不是更密集的输入（例如纹理和颜色的特征）作为输入的改进。另一方面，球面卷积有助于弥补平面投影的空间变化失真。我们对一些公共全景图像数据集进行了大量实验，并将它们与最先进的技术进行比较，以验证所提出方法的优越性能。我们使用基于视觉计算的草图模型构建草图数据集。然后，通过使用 GAN 损失、特征匹配损失和感知损失优化 SGAN，逐渐恢复逼真的纹理和细节。一方面，它是使用稀疏草图作为输入而不是更密集的输入（例如纹理和颜色的特征）作为输入的改进。另一方面，球面卷积有助于弥补平面投影的空间变化失真。我们对一些公共全景图像数据集进行了大量实验，并将它们与最先进的技术进行比较，以验证所提出方法的优越性能。逼真的纹理和细节逐渐恢复。一方面，它是使用稀疏草图作为输入而不是更密集的输入（例如纹理和颜色的特征）作为输入的改进。另一方面，球面卷积有助于弥补平面投影的空间变化失真。我们对一些公共全景图像数据集进行了大量实验，并将它们与最先进的技术进行比较，以验证所提出方法的优越性能。逼真的纹理和细节逐渐恢复。一方面，它是使用稀疏草图作为输入而不是更密集的输入（例如纹理和颜色的特征）作为输入的改进。另一方面，球面卷积有助于弥补平面投影的空间变化失真。我们对一些公共全景图像数据集进行了大量实验，并将它们与最先进的技术进行比较，以验证所提出方法的优越性能。