Markerless tracking has been a trend in augmented reality (AR) applications nowadays, but it no longer satisfies users who want virtual characters to interact with the real world such as collision. Some sparse or dense simultaneous localization and mapping (SLAM) methods are proposed aiming to solve this problem. However, sparse methods only extract a plane from the sparse map, which cannot allow virtual characters to move realistically. Meanwhile, dense methods usually require powerful graphics processing unit (GPU) for dense mapping. In this paper, we present a real‐time AR framework based on a semi‐dense method with central processing unit (CPU). Specifically, the semi‐dense method searches pixels with high gradients in each keyframe and estimates accurate depths by fusing matching pixels in other keyframes. We propose an outlier removal method that excludes three‐dimensional points outside the camera trajectory. By integrating this method, our framework preserves clean edges of the real environment. The experimental results on the dataset show that our proposed framework has better surface reconstruction accuracy than other methods and our tracking thread runs in an acceptable speed when the semi‐dense mapping thread runs backend. With the benefit of the robust camera tracking and the aligned surface, virtual characters of our AR application enable realistic movement and collision.

中文翻译：

---

一种基于单目半密集同时定位和映射的新型增强现实框架

无标记追踪已经成为当今增强现实（AR）应用的趋势，但它不再满足用户希望虚拟角色与现实世界进行交互（例如碰撞）的需求。为了解决这个问题，提出了一些稀疏或密集的同时定位和映射（SLAM）方法。然而，稀疏方法只能从稀疏地图中提取一个平面，不能让虚拟角色真实地移动。同时，密集方法通常需要强大的图形处理单元（GPU）来进行密集映射。在本文中，我们提出了一个基于半密集方法和中央处理器 (CPU) 的实时 AR 框架。具体来说，半密集方法在每个关键帧中搜索具有高梯度的像素，并通过融合其他关键帧中的匹配像素来估计准确的深度。我们提出了一种排除相机轨迹之外的三维点的异常值去除方法。通过集成这种方法，我们的框架保留了真实环境的干净边缘。在数据集上的实验结果表明，我们提出的框架比其他方法具有更好的表面重建精度，并且当半密集映射线程在后端运行时，我们的跟踪线程以可接受的速度运行。凭借强大的相机跟踪和对齐的表面，我们的 AR 应用程序的虚拟角色可以实现逼真的运动和碰撞。在数据集上的实验结果表明，我们提出的框架比其他方法具有更好的表面重建精度，并且当半密集映射线程在后端运行时，我们的跟踪线程以可接受的速度运行。凭借强大的相机跟踪和对齐的表面，我们的 AR 应用程序的虚拟角色可以实现逼真的运动和碰撞。在数据集上的实验结果表明，我们提出的框架比其他方法具有更好的表面重建精度，并且当半密集映射线程在后端运行时，我们的跟踪线程以可接受的速度运行。凭借强大的相机跟踪和对齐的表面，我们的 AR 应用程序的虚拟角色可以实现逼真的运动和碰撞。