当前位置:
X-MOL 学术
›
arXiv.cs.CG
›
论文详情
Our official English website, www.x-mol.net, welcomes your feedback! (Note: you will need to create a separate account there.)
Primal-Dual Mesh Convolutional Neural Networks
arXiv - CS - Computational Geometry Pub Date : 2020-10-23 , DOI: arxiv-2010.12455 Francesco Milano, Antonio Loquercio, Antoni Rosinol, Davide Scaramuzza, Luca Carlone
arXiv - CS - Computational Geometry Pub Date : 2020-10-23 , DOI: arxiv-2010.12455 Francesco Milano, Antonio Loquercio, Antoni Rosinol, Davide Scaramuzza, Luca Carlone
Recent works in geometric deep learning have introduced neural networks that
allow performing inference tasks on three-dimensional geometric data by
defining convolution, and sometimes pooling, operations on triangle meshes.
These methods, however, either consider the input mesh as a graph, and do not
exploit specific geometric properties of meshes for feature aggregation and
downsampling, or are specialized for meshes, but rely on a rigid definition of
convolution that does not properly capture the local topology of the mesh. We
propose a method that combines the advantages of both types of approaches,
while addressing their limitations: we extend a primal-dual framework drawn
from the graph-neural-network literature to triangle meshes, and define
convolutions on two types of graphs constructed from an input mesh. Our method
takes features for both edges and faces of a 3D mesh as input and dynamically
aggregates them using an attention mechanism. At the same time, we introduce a
pooling operation with a precise geometric interpretation, that allows handling
variations in the mesh connectivity by clustering mesh faces in a task-driven
fashion. We provide theoretical insights of our approach using tools from the
mesh-simplification literature. In addition, we validate experimentally our
method in the tasks of shape classification and shape segmentation, where we
obtain comparable or superior performance to the state of the art.
中文翻译:
原始双网格卷积神经网络
最近在几何深度学习方面的工作引入了神经网络,允许通过定义卷积(有时是池化)对三角形网格的操作对三维几何数据执行推理任务。然而,这些方法要么将输入网格视为图形,并且不利用网格的特定几何属性进行特征聚合和下采样,要么专门用于网格,但依赖于无法正确捕获局部的严格卷积定义网格的拓扑结构。我们提出了一种结合了两种方法的优点的方法,同时解决了它们的局限性:我们将从图神经网络文献中提取的原始对偶框架扩展到三角形网格,并在两种类型的图上定义卷积输入网格。我们的方法将 3D 网格的边缘和面的特征作为输入,并使用注意力机制动态聚合它们。同时,我们引入了具有精确几何解释的池化操作,允许通过以任务驱动的方式聚类网格面来处理网格连通性的变化。我们使用网格简化文献中的工具提供我们方法的理论见解。此外,我们在形状分类和形状分割任务中通过实验验证了我们的方法,在这些任务中我们获得了与现有技术相当或更好的性能。它允许通过以任务驱动的方式聚类网格面来处理网格连接的变化。我们使用网格简化文献中的工具提供我们方法的理论见解。此外,我们在形状分类和形状分割任务中通过实验验证了我们的方法,在这些任务中我们获得了与现有技术相当或更好的性能。它允许通过以任务驱动的方式聚类网格面来处理网格连接的变化。我们使用网格简化文献中的工具提供我们方法的理论见解。此外,我们在形状分类和形状分割任务中通过实验验证了我们的方法,在这些任务中我们获得了与现有技术相当或更好的性能。
更新日期:2020-10-26
中文翻译:
原始双网格卷积神经网络
最近在几何深度学习方面的工作引入了神经网络,允许通过定义卷积(有时是池化)对三角形网格的操作对三维几何数据执行推理任务。然而,这些方法要么将输入网格视为图形,并且不利用网格的特定几何属性进行特征聚合和下采样,要么专门用于网格,但依赖于无法正确捕获局部的严格卷积定义网格的拓扑结构。我们提出了一种结合了两种方法的优点的方法,同时解决了它们的局限性:我们将从图神经网络文献中提取的原始对偶框架扩展到三角形网格,并在两种类型的图上定义卷积输入网格。我们的方法将 3D 网格的边缘和面的特征作为输入,并使用注意力机制动态聚合它们。同时,我们引入了具有精确几何解释的池化操作,允许通过以任务驱动的方式聚类网格面来处理网格连通性的变化。我们使用网格简化文献中的工具提供我们方法的理论见解。此外,我们在形状分类和形状分割任务中通过实验验证了我们的方法,在这些任务中我们获得了与现有技术相当或更好的性能。它允许通过以任务驱动的方式聚类网格面来处理网格连接的变化。我们使用网格简化文献中的工具提供我们方法的理论见解。此外,我们在形状分类和形状分割任务中通过实验验证了我们的方法,在这些任务中我们获得了与现有技术相当或更好的性能。它允许通过以任务驱动的方式聚类网格面来处理网格连接的变化。我们使用网格简化文献中的工具提供我们方法的理论见解。此外,我们在形状分类和形状分割任务中通过实验验证了我们的方法,在这些任务中我们获得了与现有技术相当或更好的性能。