To solve problems in 3D modelling, including unclear 3D edges in point clouds, lack of geometric semantics, confusing topological relations between 3D models, and low degree of automation in traditional model-driven 3D modelling, a method for high-accuracy and automatic monomer 3D modelling must be developed. This paper is the first to propose a 3D modelling strategy, called combining data-and-model-driven 3D modelling (CDMD3DM), for small regular objects in indoor scenes using RGB-D data. The proposed method’s workflow is as follows: generation of initial 3D point cloud data using data-driven Kinect v2; segmentation of point cloud data, based on deep learning, that improves the accuracy and automation of geometric model recognition; definition of the initial model-driven parameters based on the instance segmentation results; optimization of geometric model parameters, based on generalized point photogrammetry theory, to generate monomer models in indoor scenes to overcome the shortcomings of confusing topological relationships and inaccurate 3D model edges; and finally, fusion of the results of data-driven and model-driven 3D modelling. The experimental results demonstrate that CDMD3DM is feasible, automatic, more accurate, more reliable, semantically richer and capable of producing clearer topological relationships than current 3D modelling results using indoor RGB-D data. These outcomes promote interdisciplinary integration between computer vision and photogrammetry.

针对3D建模中点云3D边缘不清晰、缺乏几何语义、3D模型之间拓扑关系混乱、传统模型驱动3D建模自动化程度低等问题，提出一种高精度、自动化的单体3D方法必须开发模型。本文首次提出了一种 3D 建模策略，称为结合数据和模型驱动的 3D 建模 (CDMD3DM)，用于使用 RGB-D 数据的室内场景中的小规则对象。所提出方法的工作流程如下：使用数据驱动的 Kinect v2 生成初始 3D 点云数据；基于深度学习的点云数据分割，提高几何模型识别的准确性和自动化程度；基于实例分割结果定义初始模型驱动参数；几何模型参数优化，基于广义点摄影测量理论，生成室内场景单体模型，克服拓扑关系混乱和3D模型边缘不准确的缺点；最后，融合数据驱动和模型驱动的 3D 建模结果。实验结果表明，与当前使用室内 RGB-D 数据的 3D 建模结果相比，CDMD3DM 是可行的、自动的、更准确、更可靠、语义更丰富并且能够产生更清晰的拓扑关系。这些成果促进了计算机视觉和摄影测量之间的跨学科整合。在室内场景中生成单体模型，克服拓扑关系混乱和3D模型边缘不准确的缺点；最后，融合数据驱动和模型驱动的 3D 建模结果。实验结果表明，与当前使用室内 RGB-D 数据的 3D 建模结果相比，CDMD3DM 是可行的、自动的、更准确、更可靠、语义更丰富并且能够产生更清晰的拓扑关系。这些成果促进了计算机视觉和摄影测量之间的跨学科整合。在室内场景中生成单体模型，克服拓扑关系混乱和3D模型边缘不准确的缺点；最后，融合数据驱动和模型驱动的 3D 建模结果。实验结果表明，与当前使用室内 RGB-D 数据的 3D 建模结果相比，CDMD3DM 是可行的、自动的、更准确、更可靠、语义更丰富并且能够产生更清晰的拓扑关系。这些成果促进了计算机视觉和摄影测量之间的跨学科整合。与当前使用室内 RGB-D 数据的 3D 建模结果相比，语义更丰富，能够产生更清晰的拓扑关系。这些成果促进了计算机视觉和摄影测量之间的跨学科整合。与当前使用室内 RGB-D 数据的 3D 建模结果相比，语义更丰富，能够产生更清晰的拓扑关系。这些成果促进了计算机视觉和摄影测量之间的跨学科整合。