Convolutional neural networks have shown to achieve superior performance on image segmentation tasks. However, convolutional neural networks, operating as black-box systems, generally do not provide a reliable measure about the confidence of their decisions. This leads to various problems in industrial settings, amongst others, inadequate levels of trust from users in the model's outputs as well as a non-compliance with current policy guidelines (e.g., EU AI Strategy). To address these issues, we use uncertainty measures based on Monte-Carlo dropout in the context of a human-in-the-loop system to increase the system's transparency and performance. In particular, we demonstrate the benefits described above on a real-world multi-class image segmentation task of wear analysis in the machining industry. Following previous work, we show that the quality of a prediction correlates with the model's uncertainty. Additionally, we demonstrate that a multiple linear regression using the model's uncertainties as independent variables significantly explains the quality of a prediction (\(R^2=0.718\)). Within the uncertainty-based human-in-the-loop system, the multiple regression aims at identifying failed predictions on an image-level. The system utilizes a human expert to label these failed predictions manually. A simulation study demonstrates that the uncertainty-based human-in-the-loop system increases performance for different levels of human involvement in comparison to a random-based human-in-the-loop system. To ensure generalizability, we show that the presented approach achieves similar results on the publicly available Cityscapes dataset.

中文翻译：

---

基于不确定性的工业刀具磨损分析人在环系统

卷积神经网络已显示出在图像分割任务上的卓越性能。然而，作为黑盒系统运行的卷积神经网络通常不能提供有关其决策置信度的可靠度量。这导致了工业环境中的各种问题，其中包括用户对模型输出的信任度不足以及不符合当前政策指南（例如欧盟人工智能战略）。为了解决这些问题，我们在人类在环系统的背景下使用基于蒙特卡罗辍学的不确定性措施来提高系统的透明度和性能。特别是，我们在加工行业磨损分析的真实世界多类图像分割任务中展示了上述好处。继之前的工作后，我们表明预测的质量与模型的不确定性相关。此外，我们证明了使用模型的不确定性作为自变量的多元线性回归显着解释了预测的质量 (\(R^2=0.718\))。在基于不确定性的人在回路系统中，多元回归旨在识别图像级别的失败预测。该系统利用人类专家手动标记这些失败的预测。模拟研究表明，与基于随机的人在环系统相比，基于不确定性的人在环系统提高了不同程度的人为参与的性能。为了确保通用性，我们表明所提出的方法在公开可用的 Cityscapes 数据集上取得了类似的结果。l 不确定性。此外，我们证明了使用模型的不确定性作为自变量的多元线性回归显着解释了预测的质量 (\(R^2=0.718\))。在基于不确定性的人在回路系统中，多元回归旨在识别图像级别的失败预测。该系统利用人类专家手动标记这些失败的预测。模拟研究表明，与基于随机的人在环系统相比，基于不确定性的人在环系统提高了不同程度的人为参与的性能。为了确保通用性，我们表明所提出的方法在公开可用的 Cityscapes 数据集上取得了类似的结果。l 不确定性。此外，我们证明了使用模型的不确定性作为自变量的多元线性回归显着解释了预测的质量 (\(R^2=0.718\))。在基于不确定性的人在回路系统中，多元回归旨在识别图像级别的失败预测。该系统利用人类专家手动标记这些失败的预测。模拟研究表明，与基于随机的人在环系统相比，基于不确定性的人在环系统提高了不同程度的人为参与的性能。为了确保通用性，我们表明所提出的方法在公开可用的 Cityscapes 数据集上取得了类似的结果。作为自变量的不确定性显着解释了预测的质量 (\(R^2=0.718\))。在基于不确定性的人在回路系统中，多元回归旨在识别图像级别的失败预测。该系统利用人类专家手动标记这些失败的预测。模拟研究表明，与基于随机的人在环系统相比，基于不确定性的人在环系统提高了不同程度的人为参与的性能。为了确保通用性，我们表明所提出的方法在公开可用的 Cityscapes 数据集上取得了类似的结果。作为自变量的不确定性显着解释了预测的质量 (\(R^2=0.718\))。在基于不确定性的人在回路系统中，多元回归旨在识别图像级别的失败预测。该系统利用人类专家手动标记这些失败的预测。模拟研究表明，与基于随机的人在环系统相比，基于不确定性的人在环系统提高了不同程度的人为参与的性能。为了确保通用性，我们表明所提出的方法在公开可用的 Cityscapes 数据集上取得了类似的结果。多元回归旨在识别图像级别的失败预测。该系统利用人类专家手动标记这些失败的预测。模拟研究表明，与基于随机的人在环系统相比，基于不确定性的人在环系统提高了不同程度的人为参与的性能。为了确保通用性，我们表明所提出的方法在公开可用的 Cityscapes 数据集上取得了类似的结果。多元回归旨在识别图像级别的失败预测。该系统利用人类专家手动标记这些失败的预测。模拟研究表明，与基于随机的人在环系统相比，基于不确定性的人在环系统提高了不同程度的人为参与的性能。为了确保通用性，我们表明所提出的方法在公开可用的 Cityscapes 数据集上取得了类似的结果。