Image localization is an important supplement to GPS-based methods, especially in indoor scenes. Traditional methods depending on image retrieval or structure from motion (SfM) techniques either suffer from low accuracy or even fail to work due to the texture-less or repetitive indoor surfaces. With the development of range sensors, 3D colourless maps are easily constructed in indoor scenes. How to utilize such a 3D colourless map to improve single image localization performance is a timely but unsolved research problem. In this paper, we present a new approach to addressing this problem by inferring the 3D geometry from a single image with an initial 6DOF pose estimated by a neural network based method. In contrast to previous methods that rely multiple overlapping images or videos to generate sparse point clouds, our new approach can produce dense point cloud from only a single image. We achieve this through estimating the depth map of the input image and performing geometry matching in the 3D space. We have developed a novel depth estimation method by utilizing both the 3D map and RGB images where we use the RGB image to estimate a dense depth map and use the 3D map to guide the depth estimation. We will show that our new method significantly outperforms current RGB image based depth estimation methods for both indoor and outdoor datasets. We also show that utilizing the depth map predicted by the new method for single indoor image localization can improve both position and orientation localization accuracy over state-of-the-art methods.

图像定位是对基于GPS的方法的重要补充，尤其是在室内场景中。依赖于图像检索或运动构造（SfM）技术的传统方法由于缺乏纹理或重复的室内表面而精度低，甚至无法工作。随着距离传感器的发展，在室内场景中可以轻松构建3D无色地图。如何利用这样的3D无色地图来改善单幅图像的定位性能是一个及时但尚未解决的研究问题。在本文中，我们提出了一种新方法来解决此问题，方法是通过基于神经网络的方法估算的初始6DOF姿态从单个图像中推断3D几何形状。与之前的方法依靠多个重叠的图像或视频来生成稀疏点云相反，我们的新方法只能从单个图像生成密集点云。我们通过估算输入图像的深度图并在3D空间中执行几何匹配来实现此目的。我们通过利用3D图和RGB图像开发了一种新颖的深度估计方法，其中我们使用RGB图像来估计密集的深度图，并使用3D图来指导深度估计。我们将证明，对于室内和室外数据集，我们的新方法均明显优于当前基于RGB图像的深度估计方法。我们还表明，利用新方法预测的深度图对单个室内图像进行定位可以比最新方法提高位置和方向的定位精度。我们通过估算输入图像的深度图并在3D空间中执行几何匹配来实现此目的。我们通过利用3D图和RGB图像开发了一种新颖的深度估计方法，其中我们使用RGB图像来估计密集的深度图，并使用3D图来指导深度估计。我们将证明，对于室内和室外数据集，我们的新方法均明显优于当前基于RGB图像的深度估计方法。我们还表明，利用新方法预测的深度图对单个室内图像进行定位可以比最新方法提高位置和方向的定位精度。我们通过估计输入图像的深度图并在3D空间中执行几何匹配来实现此目的。我们通过利用3D图和RGB图像开发了一种新颖的深度估计方法，其中我们使用RGB图像来估计密集的深度图，并使用3D图来指导深度估计。我们将证明，对于室内和室外数据集，我们的新方法均明显优于当前基于RGB图像的深度估计方法。我们还表明，利用新方法预测的深度图对单个室内图像进行定位可以比最新方法提高位置和方向的定位精度。我们通过利用3D图和RGB图像开发了一种新颖的深度估计方法，其中我们使用RGB图像来估计密集的深度图，并使用3D图来指导深度估计。我们将证明，对于室内和室外数据集，我们的新方法均明显优于当前基于RGB图像的深度估计方法。我们还表明，利用新方法预测的深度图对单个室内图像进行定位可以比最新方法提高位置和方向的定位精度。我们通过利用3D图和RGB图像开发了一种新颖的深度估计方法，其中我们使用RGB图像来估计密集的深度图，并使用3D图来指导深度估计。我们将证明，对于室内和室外数据集，我们的新方法均明显优于当前基于RGB图像的深度估计方法。我们还表明，利用新方法预测的深度图对单个室内图像进行定位可以比最新方法提高位置和方向的定位精度。