Augmenting virtual construction information directly in a physical environment is promising to increase onsite productivity and safety. However, it has been found that using off-the-self augmented reality (AR) devices, such as goggles or helmets, could potentially cause more health, safety, and efficiency concerns in complex real-world construction projects, due to the restricted field of view and the non-negligible weight of those devices. To address these issues, we propose a mobile projective AR (MPAR) framework in which the AR device is detached from human workers and carried by one or more mobile collaborative robots (co-robots). MPAR achieves glassless AR that is visible to the naked eye using a camera-projector system to superimpose virtual 3D information onto planar or non-planar physical surfaces. Since co-robots often need to move during the operation, we design algorithms to ensure consistent mobile projection with two major components: projector pose estimation and projection image generation. For planar surfaces, MPAR is achieved by a homography-based pose estimation and image warping. For non-planar surfaces, MPAR uses iterative closest point (ICP) for pose estimation and common graphics pipelines to generate projection images. We conducted both qualitative and quantitative experiments to validate the feasibility of MPAR in a laboratory setting, by projecting 1) as-planned building information onto a planar surface, and 2) as-built 3D information onto a piece-wise planar surface. Our evaluation demonstrated centimeter-level projection accuracy of MPAR from different distances and angles to the two types of surfaces.

直接在物理环境中增强虚拟施工信息有望提高现场生产率和安全性。但是，已经发现，由于领域的限制，使用诸如风镜或头盔之类的自行式增强现实（AR）设备可能会在复杂的现实世界建筑项目中引起更多的健康，安全和效率问题外观以及这些设备的重量不可忽略。为了解决这些问题，我们提出了一种移动投影AR（MPAR）框架，在该框架中，AR设备与人工分离，并由一个或多个移动协作机器人（co-robots）携带。MPAR使用相机投影仪系统将虚拟3D信息叠加到平面或非平面物理表面上，从而实现了肉眼可见的无玻璃AR。由于协同机器人在操作过程中经常需要移动，因此我们设计算法以确保具有两个主要组成部分的一致的移动投影：投影仪姿态估计和投影图像生成。对于平面，MPAR是通过基于单应性的姿势估计和图像变形实现的。对于非平面表面，MPAR使用迭代最近点（ICP）进行姿势估计，并使用通用图形管线生成投影图像。我们通过定性和定量实验来验证MPAR在实验室环境中的可行性，方法是将1）按计划的建筑信息投射到平面上，以及2）将3D信息投射到分段平面上。我们的评估证明了从两种距离的不同距离和角度，MPAR的厘米级投影精度。我们设计算法以确保具有两个主要组成部分的一致的移动投影：投影仪姿态估计和投影图像生成。对于平面，MPAR是通过基于单应性的姿势估计和图像变形实现的。对于非平面表面，MPAR使用迭代最近点（ICP）进行姿势估计，并使用通用图形管线生成投影图像。我们通过定性和定量实验来验证MPAR在实验室环境中的可行性，方法是将1）按计划的建筑信息投影到平面上，以及2）将3D信息投影到分段平面上。我们的评估证明了从两种距离的不同距离和角度，MPAR的厘米级投影精度。我们设计算法以确保具有两个主要组成部分的一致的移动投影：投影仪姿态估计和投影图像生成。对于平面，MPAR是通过基于单应性的姿势估计和图像变形实现的。对于非平面表面，MPAR使用迭代最近点（ICP）进行姿势估计，并使用通用图形管线生成投影图像。我们通过定性和定量实验来验证MPAR在实验室环境中的可行性，方法是将1）按计划的建筑信息投射到平面上，以及2）将3D信息投射到分段平面上。我们的评估证明了从两种距离的不同距离和角度，MPAR的厘米级投影精度。