Abstract In this paper, we present a deep learning approach for cross-domain retrieval of 3D shape and 2D sketch image. Cross-domain retrieval has received significant attention to flexibly find information across different modalities of data. Effective measuring the similarity between different modalities of data is the key of cross-domain retrieval. Different modalities such as shape and sketch have imbalanced and complementary relationships, which contain unequal amount of information when describing the same semantics. Existing methods based on deep learning networks mostly construct one common space for different modalities, and these nets usually loss exclusive modality-specific characteristics. To address this problem, we propose a novel Cycle CNNs to estimate the cross-domain mapping between the space of 3D shape descriptors and the one of 2D sketch features. First, we employ the existing networks to construct independent feature spaces for each modality. For each feature space, modality-specific properties within one modality are fully exploited. Next, we use the designed Cycle CNNs to learn the mapping function between different feature spaces. This network can capture the mapping relationship between 3D shape feature space and 2D sketch feature domain. Finally, we use the explored mapping between the feature spaces of different modalities to perform cross-domain retrieval. We demonstrate a variety of promising results, where our method achieves better retrieval accuracy than existing state-of-the-art approaches.

中文翻译：

---

使用循环 CNN 跨域检索草图和形状

摘要 在本文中，我们提出了一种用于 3D 形状和 2D 草图图像的跨域检索的深度学习方法。跨域检索在灵活地跨不同数据模式查找信息方面受到了极大的关注。有效衡量不同模态数据之间的相似性是跨域检索的关键。形状、草图等不同模态之间存在不平衡互补关系，在描述相同语义时包含的信息量不等。现有的基于深度学习网络的方法大多为不同的模态构建一个公共空间，而这些网络通常会丢失特定于模态的专有特征。为了解决这个问题，我们提出了一种新颖的 Cycle CNNs 来估计 3D 形状描述符空间和 2D 草图特征之一之间的跨域映射。首先，我们利用现有网络为每种模态构建独立的特征空间。对于每个特征空间，一种模态内的模态特定属性得到充分利用。接下来，我们使用设计的 Cycle CNN 来学习不同特征空间之间的映射函数。该网络可以捕捉 3D 形状特征空间和 2D 草图特征域之间的映射关系。最后，我们使用探索的不同模态特征空间之间的映射来执行跨域检索。我们展示了各种有希望的结果，我们的方法比现有的最先进方法实现了更好的检索准确性。我们利用现有的网络为每个模态构建独立的特征空间。对于每个特征空间，一种模态内的模态特定属性得到充分利用。接下来，我们使用设计的 Cycle CNN 来学习不同特征空间之间的映射函数。该网络可以捕捉 3D 形状特征空间和 2D 草图特征域之间的映射关系。最后，我们使用探索的不同模态特征空间之间的映射来执行跨域检索。我们展示了各种有希望的结果，我们的方法比现有的最先进方法实现了更好的检索准确性。我们利用现有的网络为每个模态构建独立的特征空间。对于每个特征空间，一种模态内的模态特定属性得到充分利用。接下来，我们使用设计的 Cycle CNN 来学习不同特征空间之间的映射函数。该网络可以捕捉 3D 形状特征空间和 2D 草图特征域之间的映射关系。最后，我们使用探索的不同模态特征空间之间的映射来执行跨域检索。我们展示了各种有希望的结果，我们的方法比现有的最先进方法实现了更好的检索准确性。我们使用设计的 Cycle CNN 来学习不同特征空间之间的映射函数。该网络可以捕捉 3D 形状特征空间和 2D 草图特征域之间的映射关系。最后，我们使用探索的不同模态特征空间之间的映射来执行跨域检索。我们展示了各种有希望的结果，我们的方法比现有的最先进方法实现了更好的检索准确性。我们使用设计的 Cycle CNN 来学习不同特征空间之间的映射函数。该网络可以捕捉 3D 形状特征空间和 2D 草图特征域之间的映射关系。最后，我们使用探索的不同模态特征空间之间的映射来执行跨域检索。我们展示了各种有希望的结果，我们的方法比现有的最先进方法实现了更好的检索准确性。