Image-based relighting, projector compensation and depth/normal reconstruction are three important tasks of projector-camera systems (ProCams) and spatial augmented reality (SAR). Although they share a similar pipeline of finding projector-camera image mappings, in tradition, they are addressed independently, sometimes with different prerequisites, devices and sampling images. In practice, this may be cumbersome for SAR applications to address them one-by-one. In this paper, we propose a novel end-to-end trainable model named DeProCams to explicitly learn the photometric and geometric mappings of ProCams, and once trained, DeProCams can be applied simultaneously to the three tasks. DeProCams explicitly decomposes the projector-camera image mappings into three subprocesses: shading attributes estimation, rough direct light estimation and photorealistic neural rendering. A particular challenge addressed by DeProCams is occlusion, for which we exploit epipolar constraint and propose a novel differentiable projector direct light mask. Thus, it can be learned end-to-end along with the other modules. Afterwards, to improve convergence, we apply photometric and geometric constraints such that the intermediate results are plausible. In our experiments, DeProCams shows clear advantages over previous arts with promising quality and meanwhile being fully differentiable. Moreover, by solving the three tasks in a unified model, DeProCams waives the need for additional optical devices, radiometric calibrations and structured light.

中文翻译：

---

DeProCams：投影机-摄像机系统的同时补光，补偿和形状重建

基于图像的重新照明，投影仪补偿和深度/法线重建是投影仪-相机系统（ProCams）和空间增强现实（SAR）的三个重要任务。尽管它们共享查找投影机-摄像机图像映射的类似流程，但传统上，它们是独立解决的，有时具有不同的先决条件，设备和采样图像。实际上，这对于SAR应用程序一个接一个地解决来说可能很麻烦。在本文中，我们提出了一种名为DeProCams的新型端到端可训练模型，以明确学习ProCam的光度和几何映射，并且在训练后，DeProCams可同时应用于这三个任务。DeProCams明确将投影机-摄像机图像映射分解为三个子过程：阴影属性估计，粗略的直接光估计和逼真的神经渲染。DeProCams解决的一个特殊挑战是遮挡，为此我们利用对极约束，并提出了一种新颖的可微分的投影仪直接光罩。因此，可以与其他模块一起端到端学习。然后，为了提高收敛性，我们应用了光度和几何约束，以使中间结果合理。在我们的实验中，DeProCams表现出优于现有技术的明显优势，具有令人信服的质量，同时具有完全可区分性。此外，通过在统一模型中解决这三个任务，DeProCams无需额外的光学设备，辐射校准和结构化光。为此，我们利用对极约束，并提出了一种新颖的可微分的投影仪直接光罩。因此，可以与其他模块一起端到端学习。然后，为了提高收敛性，我们应用了光度和几何约束，以使中间结果合理。在我们的实验中，DeProCams表现出优于现有技术的明显优势，具有可观的质量，同时具有完全可比性。此外，通过在统一模型中解决这三个任务，DeProCams无需额外的光学设备，辐射校准和结构化光。为此，我们利用对极约束，并提出了一种新颖的可微分的投影仪直接光罩。因此，可以与其他模块一起端到端学习。然后，为了提高收敛性，我们应用了光度和几何约束，以使中间结果合理。在我们的实验中，DeProCams表现出优于现有技术的明显优势，具有可观的质量，同时具有完全可比性。此外，通过在统一模型中解决这三个任务，DeProCams无需额外的光学设备，辐射校准和结构化光。在我们的实验中，DeProCams表现出优于现有技术的明显优势，具有可观的质量，同时具有完全可比性。此外，通过在统一模型中解决这三个任务，DeProCams无需额外的光学设备，辐射校准和结构化光。在我们的实验中，DeProCams表现出优于现有技术的明显优势，具有可观的质量，同时具有完全可比性。此外，通过在统一模型中解决这三个任务，DeProCams无需额外的光学设备，辐射校准和结构化光。