Recently, leveraging on the development of end-to-end convolutional neural networks, deep stereo matching networks have achieved remarkable performance far exceeding traditional approaches. However, state-of-the-art stereo frameworks still have difficulties at finding correct correspondences in texture-less regions, detailed structures, small objects and near boundaries, which could be alleviated by geometric clues such as edge contours and corresponding constraints. To improve the quality of disparity estimates in these challenging areas, we propose an effective multi-task learning network, EdgeStereo , composed of a disparity estimation branch and an edge detection branch, which enables end-to-end predictions of both disparity map and edge map. To effectively incorporate edge cues, we propose the edge-aware smoothness loss and edge feature embedding for inter-task interactions. It is demonstrated that based on our unified model, edge detection task and stereo matching task can promote each other. In addition, we design a compact module called residual pyramid to replace the commonly-used multi-stage cascaded structures or 3-D convolution based regularization modules in current stereo matching networks. By the time of the paper submission, EdgeStereo achieves state-of-art performance on the FlyingThings3D dataset, KITTI 2012 and KITTI 2015 stereo benchmarks, outperforming other published stereo matching methods by a noteworthy margin. EdgeStereo also achieves comparable generalization performance for disparity estimation because of the incorporation of edge cues.

中文翻译：

---

EdgeStereo：用于立体匹配和边缘检测的有效多任务学习网络

最近，借助端到端卷积神经网络的发展，深度立体匹配网络取得了远远超过传统方法的显着性能。然而，最先进的立体框架仍然难以在无纹理区域、详细结构、小物体和近边界中找到正确的对应关系，这可以通过边缘轮廓和相应约束等几何线索来缓解。为了提高这些具有挑战性的领域中视差估计的质量，我们提出了一个有效的多任务学习网络 EdgeStereo，它由视差估计分支和边缘检测分支组成，可以对视差图和边缘进行端到端的预测。地图。为了有效地结合边缘线索，我们提出了用于任务间交互的边缘感知平滑度损失和边缘特征嵌入。结果表明，基于我们的统一模型，边缘检测任务和立体匹配任务可以相互促进。此外，我们设计了一个称为残差金字塔的紧凑模块，以取代当前立体匹配网络中常用的多级级联结构或基于 3-D 卷积的正则化模块。到论文提交时，EdgeStereo 在 FlyingThings3D 数据集、KITTI 2012 和 KITTI 2015 立体基准测试上取得了最先进的性能，明显优于其他已发表的立体匹配方法。由于结合了边缘线索，EdgeStereo 还实现了可比的视差估计泛化性能。结果表明，基于我们的统一模型，边缘检测任务和立体匹配任务可以相互促进。此外，我们设计了一个称为残差金字塔的紧凑模块，以取代当前立体匹配网络中常用的多级级联结构或基于 3-D 卷积的正则化模块。到论文提交时，EdgeStereo 在 FlyingThings3D 数据集、KITTI 2012 和 KITTI 2015 立体基准测试上取得了最先进的性能，明显优于其他已发表的立体匹配方法。由于结合了边缘线索，EdgeStereo 还实现了可比的视差估计泛化性能。结果表明，基于我们的统一模型，边缘检测任务和立体匹配任务可以相互促进。此外，我们设计了一个称为残差金字塔的紧凑模块，以取代当前立体匹配网络中常用的多级级联结构或基于 3-D 卷积的正则化模块。到论文提交时，EdgeStereo 在 FlyingThings3D 数据集、KITTI 2012 和 KITTI 2015 立体基准测试上取得了最先进的性能，明显优于其他已发表的立体匹配方法。由于结合了边缘线索，EdgeStereo 还实现了可比的视差估计泛化性能。我们设计了一个称为残差金字塔的紧凑模块来替换当前立体匹配网络中常用的多级级联结构或基于 3-D 卷积的正则化模块。到论文提交时，EdgeStereo 在 FlyingThings3D 数据集、KITTI 2012 和 KITTI 2015 立体基准测试上取得了最先进的性能，明显优于其他已发表的立体匹配方法。由于结合了边缘线索，EdgeStereo 还实现了可比的视差估计泛化性能。我们设计了一个称为残差金字塔的紧凑模块来替换当前立体匹配网络中常用的多级级联结构或基于 3-D 卷积的正则化模块。到论文提交时，EdgeStereo 在 FlyingThings3D 数据集、KITTI 2012 和 KITTI 2015 立体基准测试上取得了最先进的性能，明显优于其他已发表的立体匹配方法。由于结合了边缘线索，EdgeStereo 还实现了可比的视差估计泛化性能。明显优于其他已发表的立体匹配方法。由于结合了边缘线索，EdgeStereo 还实现了可比的视差估计泛化性能。明显优于其他已发表的立体匹配方法。由于结合了边缘线索，EdgeStereo 还实现了可比的视差估计泛化性能。