In this article, we present a deep learning approach to sketch-based shape retrieval that incorporates a few novel techniques to improve the quality of the retrieval results. First, to address the problem of scarcity of training sketch data, we present a sketch augmentation method that more closely mimics human sketches compared to simple image transformation. Our method generates more sketches from the existing training data by (i) removing a stroke, (ii) adjusting a stroke, and (iii) rotating the sketch. As such, we generate a large number of sketch samples for training our neural network. Second, we obtain the 2D renderings of each 3D model in the shape database by determining the view positions that best depict the 3D shape: i.e., avoiding self-occlusion, showing the most salient features, and following how a human would normally sketch the model. We use a convolutional neural network (CNN) to learn the best viewing positions of each 3D model and generates their 2D images for the next step. Third, our method uses a cross-domain learning strategy based on two Siamese CNNs that pair up sketches and the 2D shape images. A joint Bayesian measure is used to measure the output similarity from these CNNs to maximize inter-class similarity and minimize intra-class similarity. Extensive experiments show that our proposed approach comprehensively outperforms many existing state-of-the-art methods.

中文翻译：

---

基于卷积神经网络的草图增强驱动形状检索学习框架

在本文中，我们提出了一种基于草图的形状检索的深度学习方法，该方法结合了一些新技术来提高检索结果的质量。首先，为了解决训练草图数据稀缺的问题，我们提出了一种草图增强方法，与简单的图像变换相比，它更接近地模仿人类草图。我们的方法通过（i）移除笔画，（ii）调整笔画，以及（iii）旋转草图从现有训练数据生成更多草图。因此，我们生成了大量的草图样本来训练我们的神经网络。其次，我们通过确定最能描绘 3D 形状的视图位置来获得形状数据库中每个 3D 模型的 2D 渲染：即避免自遮挡，显示最显着的特征，并遵循人类通常如何绘制模型。我们使用卷积神经网络 (CNN) 来学习每个 3D 模型的最佳观看位置，并为下一步生成它们的 2D 图像。第三，我们的方法使用基于两个 Siamese CNN 的跨域学习策略，这些 CNN 将草图和 2D 形状图像配对。联合贝叶斯测量用于测量这些 CNN 的输出相似性，以最大化类间相似性并最小化类内相似性。大量实验表明，我们提出的方法全面优于许多现有的最先进方法。我们的方法使用基于两个 Siamese CNN 的跨域学习策略，这些 CNN 将草图和 2D 形状图像配对。联合贝叶斯测量用于测量这些 CNN 的输出相似性，以最大化类间相似性并最小化类内相似性。大量实验表明，我们提出的方法全面优于许多现有的最先进方法。我们的方法使用基于两个 Siamese CNN 的跨域学习策略，这些 CNN 将草图和 2D 形状图像配对。联合贝叶斯测量用于测量这些 CNN 的输出相似性，以最大化类间相似性并最小化类内相似性。大量实验表明，我们提出的方法全面优于许多现有的最先进方法。