Interesting deep learning solutions have been proposed recently to address different tasks along the 3D view alignment pipeline. However, a direct comparison among these technologies is still lacking, while their (possibly combined) potentials have yet to be extensively tested. This is especially true in cases where the focus is directed on diversified data and/or specific application requirements, such as the ones emerging in real-time 3D object reconstruction scenarios. This work is a first contribution in this direction since we perform an independent and extended comparison of the main deep learning-driven 3D view alignment solutions. We consider two relevant data types: data coming from commodity 3D sensors targeting indoor reconstruction applications, and denser data coming from a handheld 3D optical scanner, typically used for small-scale object reconstruction. While for the first scenario we refer to existing datasets, for the second setup we work on a new benchmarking dataset, namely DenseMatch. We run performance tests and extended comparisons, with different system configurations including model refinements, and we found solid evidence that the generalizability performance of deep learning systems for 3D alignment is critically linked to data features. Finally, we design and test the first integration of deep learning solutions into a baseline method for real-time 3D reconstruction, clearly demonstrating improved effectiveness in addressing and solving typical tracking and scan interruption issues arising in these demanding scenarios.

最近提出了有趣的深度学习解决方案，以解决 3D 视图对齐管道中的不同任务。然而，仍然缺乏对这些技术的直接比较，而它们（可能组合的）潜力尚未得到广泛测试。在关注多样化数据和/或特定应用需求的情况下尤其如此，例如实时 3D 对象重建场景中出现的需求。这项工作是这个方向的第一个贡献，因为我们对主要的深度学习驱动的 3D 视图对齐解决方案进行了独立和扩展的比较。我们考虑两种相关的数据类型：来自面向室内重建应用的商用 3D 传感器的数据，以及来自手持式 3D 光学扫描仪的更密集的数据，通常用于小规模对象重建。对于第一个场景，我们参考现有数据集，对于第二个设置，我们使用新的基准数据集，即 DenseMatch。我们使用不同的系统配置（包括模型改进）运行性能测试和扩展比较，我们发现确凿的证据表明，用于 3D 对齐的深度学习系统的泛化性能与数据特征密切相关。最后，我们设计并测试了深度学习解决方案与实时 3D 重建基线方法的首次集成，清楚地证明了在解决和解决这些苛刻场景中出现的典型跟踪和扫描中断问题方面的效率提高。对于第二个设置，我们使用新的基准数据集，即 DenseMatch。我们使用不同的系统配置（包括模型改进）运行性能测试和扩展比较，我们发现确凿的证据表明，用于 3D 对齐的深度学习系统的泛化性能与数据特征密切相关。最后，我们设计并测试了深度学习解决方案与实时 3D 重建基线方法的首次集成，清楚地证明了在解决和解决这些苛刻场景中出现的典型跟踪和扫描中断问题方面的效率提高。对于第二个设置，我们使用新的基准数据集，即 DenseMatch。我们使用不同的系统配置（包括模型改进）运行性能测试和扩展比较，我们发现确凿的证据表明，用于 3D 对齐的深度学习系统的泛化性能与数据特征密切相关。最后，我们设计并测试了深度学习解决方案与实时 3D 重建基线方法的首次集成，清楚地证明了在解决和解决这些苛刻场景中出现的典型跟踪和扫描中断问题方面的效率提高。我们发现确凿的证据表明，深度学习系统在 3D 对齐方面的泛化性能与数据特征密切相关。最后，我们设计并测试了深度学习解决方案与实时 3D 重建基线方法的首次集成，清楚地证明了在解决和解决这些苛刻场景中出现的典型跟踪和扫描中断问题方面的效率提高。我们发现确凿的证据表明，深度学习系统在 3D 对齐方面的泛化性能与数据特征密切相关。最后，我们设计并测试了深度学习解决方案与实时 3D 重建基线方法的首次集成，清楚地证明了在解决和解决这些苛刻场景中出现的典型跟踪和扫描中断问题方面的效率提高。