Software defect prediction models are classifiers that are constructed from historical software data. Such software defect prediction models have been proposed to help developers optimize the limited Software Quality Assurance (SQA) resources and help managers develop SQA plans. Prior studies have different goals for their defect prediction models and use different techniques for generating visual explanations of their models. Yet, it is unclear what are the practitioners' perceptions of (1) these defect prediction model goals, and (2) the model-agnostic techniques used to visualize these models. We conducted a qualitative survey to investigate practitioners' perceptions of the goals of defect prediction models and the model-agnostic techniques used to generate visual explanations of defect prediction models. We found that (1) 82%-84% of the respondents perceived that the three goals of defect prediction models are useful; (2) LIME is the most preferred technique for understanding the most important characteristics that contributed to a prediction of a file, while ANOVA/VarImp is the second most preferred technique for understanding the characteristics that are associated with software defects in the past. Our findings highlight the significance of investigating how to improve the understanding of defect prediction models and their predictions. Hence, model-agnostic techniques from explainable AI domain may help practitioners to understand defect prediction models and their predictions.

中文翻译：

---

从业者对目标的感知以及缺陷预测模型的视觉解释

软件缺陷预测模型是根据历史软件数据构建的分类器。已经提出了这样的软件缺陷预测模型，以帮助开发人员优化有限的软件质量保证（SQA）资源，并帮助管理人员制定SQA计划。先前的研究针对其缺陷预测模型具有不同的目标，并使用不同的技术来生成其模型的视觉解释。然而，尚不清楚从业者对（1）这些缺陷预测模型目标以及（2）用于可视化这些模型的模型不可知技术的看法。我们进行了定性调查，以调查从业人员对缺陷预测模型的目标以及用于生成缺陷预测模型的直观解释的模型不可知技术的看法。我们发现（1）82％-84％的受访者认为缺陷预测模型的三个目标是有用的；（2）LIME是了解文件预测最重要特征的最优选技术，而ANOVA / VarImp是了解过去与软件缺陷相关的特征的第二最优选技术。我们的发现突出了研究如何提高对缺陷预测模型及其预测的理解的重要性。因此，来自可解释AI域的模型不可知技术可以帮助从业人员理解缺陷预测模型及其预测。（2）LIME是了解文件预测最重要特征的最优选技术，而ANOVA / VarImp是了解过去与软件缺陷相关的特征的第二最优选技术。我们的发现突出了研究如何提高对缺陷预测模型及其预测的理解的重要性。因此，来自可解释AI域的模型不可知技术可以帮助从业人员理解缺陷预测模型及其预测。（2）LIME是了解文件预测最重要特征的最优选技术，而ANOVA / VarImp是了解过去与软件缺陷相关的特征的第二最优选技术。我们的发现突出了研究如何提高对缺陷预测模型及其预测的理解的重要性。因此，来自可解释AI域的模型不可知技术可以帮助从业人员理解缺陷预测模型及其预测。我们的发现突出了研究如何提高对缺陷预测模型及其预测的理解的重要性。因此，来自可解释AI域的模型不可知技术可以帮助从业人员理解缺陷预测模型及其预测。我们的发现突出了研究如何提高对缺陷预测模型及其预测的理解的重要性。因此，来自可解释AI域的模型不可知技术可以帮助从业人员理解缺陷预测模型及其预测。