当前位置:
X-MOL 学术
›
arXiv.cs.AI
›
论文详情
Our official English website, www.x-mol.net, welcomes your feedback! (Note: you will need to create a separate account there.)
Resisting Out-of-Distribution Data Problem in Perturbation of XAI
arXiv - CS - Artificial Intelligence Pub Date : 2021-07-27 , DOI: arxiv-2107.14000 Luyu Qiu, Yi Yang, Caleb Chen Cao, Jing Liu, Yueyuan Zheng, Hilary Hei Ting Ngai, Janet Hsiao, Lei Chen
arXiv - CS - Artificial Intelligence Pub Date : 2021-07-27 , DOI: arxiv-2107.14000 Luyu Qiu, Yi Yang, Caleb Chen Cao, Jing Liu, Yueyuan Zheng, Hilary Hei Ting Ngai, Janet Hsiao, Lei Chen
With the rapid development of eXplainable Artificial Intelligence (XAI),
perturbation-based XAI algorithms have become quite popular due to their
effectiveness and ease of implementation. The vast majority of
perturbation-based XAI techniques face the challenge of Out-of-Distribution
(OoD) data -- an artifact of randomly perturbed data becoming inconsistent with
the original dataset. OoD data leads to the over-confidence problem in model
predictions, making the existing XAI approaches unreliable. To our best
knowledge, the OoD data problem in perturbation-based XAI algorithms has not
been adequately addressed in the literature. In this work, we address this OoD
data problem by designing an additional module quantifying the affinity between
the perturbed data and the original dataset distribution, which is integrated
into the process of aggregation. Our solution is shown to be compatible with
the most popular perturbation-based XAI algorithms, such as RISE, OCCLUSION,
and LIME. Experiments have confirmed that our methods demonstrate a significant
improvement in general cases using both computational and cognitive metrics.
Especially in the case of degradation, our proposed approach demonstrates
outstanding performance comparing to baselines. Besides, our solution also
resolves a fundamental problem with the faithfulness indicator, a commonly used
evaluation metric of XAI algorithms that appears to be sensitive to the OoD
issue.
中文翻译:
抵抗 XAI 扰动中的分布外数据问题
随着可解释人工智能 (XAI) 的快速发展,基于扰动的 XAI 算法因其有效性和易于实现而变得非常流行。绝大多数基于扰动的 XAI 技术都面临着分布外 (OoD) 数据的挑战——随机扰动的数据与原始数据集不一致的产物。OoD 数据导致模型预测中的过度自信问题,使现有的 XAI 方法不可靠。据我们所知,基于扰动的 XAI 算法中的 OoD 数据问题尚未在文献中得到充分解决。在这项工作中,我们通过设计一个附加模块来量化受扰数据和原始数据集分布之间的亲和性,从而解决这个 OoD 数据问题,该模块被集成到聚合过程中。我们的解决方案与最流行的基于扰动的 XAI 算法兼容,例如 RISE、OCCLUSION 和 LIME。实验已经证实,我们的方法在使用计算和认知指标的一般情况下表现出显着改进。特别是在退化的情况下,我们提出的方法与基线相比表现出出色的性能。此外,我们的解决方案还解决了忠实度指标的基本问题,这是一种常用的 XAI 算法评估指标,似乎对 OoD 问题很敏感。实验已经证实,我们的方法在使用计算和认知指标的一般情况下表现出显着改进。特别是在退化的情况下,我们提出的方法与基线相比表现出出色的性能。此外,我们的解决方案还解决了忠实度指标的基本问题,这是一种常用的 XAI 算法评估指标,似乎对 OoD 问题很敏感。实验已经证实,我们的方法在使用计算和认知指标的一般情况下表现出显着改进。特别是在退化的情况下,我们提出的方法与基线相比表现出出色的性能。此外,我们的解决方案还解决了忠实度指标的基本问题,这是一种常用的 XAI 算法评估指标,似乎对 OoD 问题很敏感。
更新日期:2021-07-30
中文翻译:
抵抗 XAI 扰动中的分布外数据问题
随着可解释人工智能 (XAI) 的快速发展,基于扰动的 XAI 算法因其有效性和易于实现而变得非常流行。绝大多数基于扰动的 XAI 技术都面临着分布外 (OoD) 数据的挑战——随机扰动的数据与原始数据集不一致的产物。OoD 数据导致模型预测中的过度自信问题,使现有的 XAI 方法不可靠。据我们所知,基于扰动的 XAI 算法中的 OoD 数据问题尚未在文献中得到充分解决。在这项工作中,我们通过设计一个附加模块来量化受扰数据和原始数据集分布之间的亲和性,从而解决这个 OoD 数据问题,该模块被集成到聚合过程中。我们的解决方案与最流行的基于扰动的 XAI 算法兼容,例如 RISE、OCCLUSION 和 LIME。实验已经证实,我们的方法在使用计算和认知指标的一般情况下表现出显着改进。特别是在退化的情况下,我们提出的方法与基线相比表现出出色的性能。此外,我们的解决方案还解决了忠实度指标的基本问题,这是一种常用的 XAI 算法评估指标,似乎对 OoD 问题很敏感。实验已经证实,我们的方法在使用计算和认知指标的一般情况下表现出显着改进。特别是在退化的情况下,我们提出的方法与基线相比表现出出色的性能。此外,我们的解决方案还解决了忠实度指标的基本问题,这是一种常用的 XAI 算法评估指标,似乎对 OoD 问题很敏感。实验已经证实,我们的方法在使用计算和认知指标的一般情况下表现出显着改进。特别是在退化的情况下,我们提出的方法与基线相比表现出出色的性能。此外,我们的解决方案还解决了忠实度指标的基本问题,这是一种常用的 XAI 算法评估指标,似乎对 OoD 问题很敏感。