In this paper, we propose a geometric neural network with edge-aware refinement (GeoNet++) to jointly predict both depth and surface normal maps from a single image. Building on top of two-stream CNNs, GeoNet++ captures the geometric relationships between depth and surface normals with the proposed depth-to-normal and normal-to-depth modules. In particular, the “depth-to-normal” module exploits the least square solution of estimating surface normals from depth to improve their quality, while the “normal-to-depth” module refines the depth map based on the constraints on surface normals through kernel regression. Boundary information is exploited via an edge-aware refinement module. GeoNet++ effectively predicts depth and surface normals with high 3D consistency and sharp boundaries resulting in better reconstructed 3D scenes. Note that GeoNet++ is generic and can be used in other depth/normal prediction frameworks to improve 3D reconstruction quality and pixel-wise accuracy of depth and surface normals. Furthermore, we propose a new 3D geometric metric (3DGM) for evaluating depth prediction in 3D. In contrast to current metrics that focus on evaluating pixel-wise error/accuracy, 3DGM measures whether the predicted depth can reconstruct high quality 3D surface normals. This is a more natural metric for many 3D application domains. Our experiments on NYUD-V2 [1] and KITTI [2] datasets verify that GeoNet++ produces fine boundary details and the predicted depth can be used to reconstruct high quality 3D surfaces.

中文翻译：

---

GeoNet++：具有边缘感知细化的迭代几何神经网络，用于联合深度和表面法线估计

在本文中，我们提出了一种具有边缘感知细化（GeoNet++）的几何神经网络，以从单个图像中联合预测深度和表面法线图。GeoNet++ 建立在双流 CNN 之上，使用建议的深度到法线和法线到深度模块捕获深度和表面法线之间的几何关系。特别是，“深度到法线”模块利用从深度估计表面法线的最小二乘解决方案来提高其质量，而“法线到深度”模块根据表面法线的约束来细化深度图核回归。通过边缘感知细化模块利用边界信息。GeoNet++ 有效地预测深度和表面法线，具有高 3D 一致性和清晰的边界，从而更好地重建 3D 场景。请注意，GeoNet++ 是通用的，可用于其他深度/法线预测框架，以提高 3D 重建质量和深度和表面法线的像素精度。此外，我们提出了一种新的 3D 几何度量 (3DGM)，用于评估 3D 中的深度预测。与当前专注于评估像素级误差/准确性的指标相比，3DGM 测量预测的深度是否可以重建高质量的 3D 表面法线。对于许多 3D 应用程序领域来说，这是一个更自然的指标。我们在 NYUD-V2 上的实验 与当前专注于评估像素级误差/准确性的指标相比，3DGM 测量预测的深度是否可以重建高质量的 3D 表面法线。对于许多 3D 应用程序领域来说，这是一个更自然的指标。我们在 NYUD-V2 上的实验 与当前专注于评估像素级误差/准确性的指标相比，3DGM 测量预测的深度是否可以重建高质量的 3D 表面法线。对于许多 3D 应用程序领域来说，这是一个更自然的指标。我们在 NYUD-V2 上的实验[1]和基蒂[2]数据集验证 GeoNet++ 产生精细的边界细节，并且预测的深度可用于重建高质量的 3D 表面。