Semantic segmentation is an extensively studied task in computer vision, with numerous methods proposed every year. Thanks to the advent of deep learning in semantic segmentation, the performance on existing benchmarks is close to saturation. A natural question then arises: Does the superior performance on the closed (and frequently re-used) test sets transfer to the open visual world with unconstrained variations? In this paper, we take steps toward answering the question by exposing failures of existing semantic segmentation methods in the open visual world under the constraint of very limited human labeling effort. Inspired by previous research on model falsification, we start from an arbitrarily large image set, and automatically sample a small image set by maximizing the discrepancy (MAD) between two segmentation methods. The selected images have the greatest potential in falsifying either (or both) of the two methods. We also explicitly enforce several conditions to diversify the exposed failures, corresponding to different underlying root causes. A segmentation method, whose failures are more difficult to be exposed in the MAD competition, is considered better. We conduct a thorough MAD diagnosis of ten PASCAL VOC semantic segmentation algorithms. With detailed analysis of experimental results, we point out strengths and weaknesses of the competing algorithms, as well as potential research directions for further advancement in semantic segmentation. The codes are publicly available at https://github.com/QTJiebin/MAD_Segmentation.

语义分割是计算机视觉中一项广泛研究的任务，每年都会提出许多方法。得益于语义分割中的深度学习技术的出现，现有基准测试的性能已接近饱和。随之而来的是一个自然的问题：封闭（且经常重复使用）的测试集的优越性能是否可以不受限制地转移到开放的视觉世界？在本文中，我们通过在人类标签工作非常有限的约束下公开开放式视觉世界中现有语义分割方法的失败，来采取步骤来回答这个问题。受先前模型伪造研究的启发，我们从任意大的图像集开始，然后通过最大化两种分割方法之间的差异（MAD），自动对小图像集进行采样。所选图像在伪造这两种方法中的一种（或两者）方面具有最大的潜力。我们还明确规定了几种条件，以使暴露的故障多样化，对应于不同的根本原因。细分方法被认为是更好的方法，这种方法的失败更难以在MAD竞争中暴露出来。我们对十种PASCAL VOC语义分割算法进行了彻底的MAD诊断。通过对实验结果的详细分析，我们指出了竞争算法的优缺点，以及语义分割中进一步发展的潜在研究方向。这些代码可在https://github.com/QTJiebin/MAD_Segmentation上公开获得。我们还明确规定了几种条件，以使暴露的故障多样化，对应于不同的根本原因。细分方法被认为是更好的方法，该方法的失败更难以在MAD竞争中暴露出来。我们对十种PASCAL VOC语义分割算法进行了彻底的MAD诊断。通过对实验结果的详细分析，我们指出了竞争算法的优缺点，以及语义分割中进一步发展的潜在研究方向。这些代码可在https://github.com/QTJiebin/MAD_Segmentation上公开获得。我们还明确规定了几种条件，以使暴露的故障多样化，对应于不同的根本原因。细分方法被认为是更好的方法，这种方法的失败更难以在MAD竞争中暴露出来。我们对十种PASCAL VOC语义分割算法进行了彻底的MAD诊断。通过对实验结果的详细分析，我们指出了竞争算法的优缺点，以及语义分割中进一步发展的潜在研究方向。这些代码可在https://github.com/QTJiebin/MAD_Segmentation上公开获得。我们对十种PASCAL VOC语义分割算法进行了彻底的MAD诊断。通过对实验结果的详细分析，我们指出了竞争算法的优缺点，以及语义分割中进一步发展的潜在研究方向。这些代码可在https://github.com/QTJiebin/MAD_Segmentation上公开获得。我们对十种PASCAL VOC语义分割算法进行了彻底的MAD诊断。通过对实验结果的详细分析，我们指出了竞争算法的优缺点，以及语义分割中进一步发展的潜在研究方向。这些代码可在https://github.com/QTJiebin/MAD_Segmentation上公开获得。