当前位置: X-MOL 学术Comput. Aided Des. › 论文详情
Our official English website, www.x-mol.net, welcomes your feedback! (Note: you will need to create a separate account there.)
Latent Embedded Graphs for Image and Shape Interpolation
Computer-Aided Design ( IF 4.3 ) Pub Date : 2021-07-01 , DOI: 10.1016/j.cad.2021.103091
Shantanu Vyas , Ting-Ju Chen , Ronak R. Mohanty , Peng Jiang , Vinayak R. Krishnamurthy

In this paper, we introduce latent embedded graphs, a simple approach for shape and image interpolation using generative neural network models. A latent embedded graph is defined as a topological structure constructed over a set of lower-dimensional embedding (latent space) of points in a high-dimensional dataset learnt by a generative model. Given two samples in the original dataset, the problem of interpolation can simply be re-formulated as traversing through this embedded graph along the minimal path. This deceptively simple method is based on the fundamental observation that a low-dimensional space induced by a given sample is typically non-Euclidean and in some cases may even represent a multi-manifold. Therefore, simply performing linear interpolation of the encoded data may not necessarily lead to plausible interpolation in the original space. Latent embedded graphs address this issue by capturing the topological structure within the spatial distribution of the data in the latent space, thereby allowing for approximate geodesic computations in a robust and effective manner. We demonstrate our approach through variational autoencoder (VAE) as the method for learning the latent space and generating the topological structure using k-nearest-neighbor graph. We then present a systematic study of our approach by applying it to 2D curves (superformulae), image (Fashion-MNIST), and voxel (ShapeNet) datasets. We further demonstrate that our approach performs better than the linear case in preserving geometric and topological variations during interpolation.



中文翻译:

用于图像和形状插值的潜在嵌入图

在本文中,我们介绍了潜在嵌入图,这是一种使用生成神经网络模型进行形状和图像插值的简单方法。潜在嵌入图被定义为在生成模型学习的高维数据集中的一组低维嵌入(潜在空间)点上构建的拓扑结构。给定原始数据集中的两个样本,插值问题可以简单地重新表述为沿着最小路径遍历这个嵌入图。这种看似简单的方法基于基本观察,即由给定样本引起的低维空间通常是非欧几里得的,在某些情况下甚至可能代表多流形。所以,简单地对编码数据执行线性插值不一定会在原始空间中产生合理的插值。潜在嵌入图通过捕获潜在空间中数据空间分布内的拓扑结构来解决这个问题,从而允许以稳健有效的方式进行近似测地线计算。我们通过变分自编码器(VAE)展示了我们的方法,作为学习潜在空间和使用 k-最近邻图生成拓扑结构的方法。然后,我们通过将其应用于 2D 曲线(超公式)、图像(Fashion-MNIST)和体素(ShapeNet)数据集来对我们的方法进行系统研究。我们进一步证明,我们的方法在插值期间保留几何和拓扑变化方面比线性情况表现更好。潜在嵌入图通过捕获潜在空间中数据空间分布内的拓扑结构来解决这个问题,从而允许以稳健有效的方式进行近似测地线计算。我们通过变分自编码器(VAE)展示了我们的方法,作为学习潜在空间和使用 k-最近邻图生成拓扑结构的方法。然后,我们通过将其应用于 2D 曲线(超公式)、图像(Fashion-MNIST)和体素(ShapeNet)数据集来对我们的方法进行系统研究。我们进一步证明,我们的方法在插值期间保留几何和拓扑变化方面比线性情况表现更好。潜在嵌入图通过捕获潜在空间中数据空间分布内的拓扑结构来解决这个问题,从而允许以稳健有效的方式进行近似测地线计算。我们通过变分自编码器(VAE)展示了我们的方法,作为学习潜在空间和使用 k-最近邻图生成拓扑结构的方法。然后,我们通过将其应用于 2D 曲线(超公式)、图像(Fashion-MNIST)和体素(ShapeNet)数据集来对我们的方法进行系统研究。我们进一步证明,我们的方法在插值期间保留几何和拓扑变化方面比线性情况表现更好。

更新日期:2021-07-08
down
wechat
bug