Explainability of AI systems is critical for users to take informed actions and hold systems accountable. While "opening the opaque box" is important, understanding who opens the box can govern if the Human-AI interaction is effective. In this paper, we conduct a mixed-methods study of how two different groups of whos--people with and without a background in AI--perceive different types of AI explanations. These groups were chosen to look at how disparities in AI backgrounds can exacerbate the creator-consumer gap. We quantitatively share what the perceptions are along five dimensions: confidence, intelligence, understandability, second chance, and friendliness. Qualitatively, we highlight how the AI background influences each group's interpretations and elucidate why the differences might exist through the lenses of appropriation and cognitive heuristics. We find that (1) both groups had unwarranted faith in numbers, to different extents and for different reasons, (2) each group found explanatory values in different explanations that went beyond the usage we designed them for, and (3) each group had different requirements of what counts as humanlike explanations. Using our findings, we discuss potential negative consequences such as harmful manipulation of user trust and propose design interventions to mitigate them. By bringing conscious awareness to how and why AI backgrounds shape perceptions of potential creators and consumers in XAI, our work takes a formative step in advancing a pluralistic Human-centered Explainable AI discourse.

中文翻译：

---

可解释的人工智能中的谁：人工智能背景如何塑造对人工智能解释的看法

AI 系统的可解释性对于用户采取明智的行动和追究系统责任至关重要。虽然“打开不透明的盒子”很重要，但了解谁打开盒子可以决定人机交互是否有效。在本文中，我们进行了一项混合方法研究，研究两组不同的人——有和没有 AI 背景的人——如何感知不同类型的 AI 解释。选择这些小组是为了研究人工智能背景中的差异如何加剧创作者与消费者之间的差距。我们定量地分享了五个维度的看法：信心、智慧、可理解性、第二次机会和友好。定性地说，我们强调了人工智能背景如何影响每个群体” s 的解释，并通过挪用和认知启发式的镜头阐明差异可能存在的原因。我们发现 (1) 两组都在不同程度上和出于不同的原因对数字有毫无根据的信念，(2) 每个组都在不同的解释中找到了超出我们设计它们的用途的解释值，以及 (3) 每个组都有人性化解释的不同要求。使用我们的发现，我们讨论了潜在的负面后果，例如对用户信任的有害操纵，并提出设计干预措施以减轻它们。通过让人们意识到人工智能背景如何以及为什么会影响 XAI 中潜在创作者和消费者的看法，我们的工作在推进多元化的以人为本的可解释人工智能话语方面迈出了形成性的一步。我们发现 (1) 两组都在不同程度上和出于不同的原因对数字有毫无根据的信念，(2) 每个组都在不同的解释中找到了超出我们设计它们的用途的解释值，以及 (3) 每个组都有人性化解释的不同要求。使用我们的发现，我们讨论了潜在的负面后果，例如对用户信任的有害操纵，并提出设计干预措施以减轻它们。通过让人们意识到人工智能背景如何以及为什么会影响 XAI 中潜在创作者和消费者的看法，我们的工作在推进多元化的以人为本的可解释人工智能话语方面迈出了形成性的一步。我们发现 (1) 两组都在不同程度上和出于不同的原因对数字有毫无根据的信念，(2) 每个组都在不同的解释中找到了超出我们设计它们的用途的解释值，以及 (3) 每个组都有人性化解释的不同要求。使用我们的发现，我们讨论了潜在的负面后果，例如对用户信任的有害操纵，并提出设计干预措施以减轻它们。通过让人们意识到人工智能背景如何以及为什么会影响 XAI 中潜在创作者和消费者的看法，我们的工作在推进多元化的以人为本的可解释人工智能话语方面迈出了形成性的一步。(2) 每个组在不同的解释中发现了超出我们设计它们的用途的解释值，以及 (3) 每个组对什么才算是人性化的解释有不同的要求。使用我们的发现，我们讨论了潜在的负面后果，例如对用户信任的有害操纵，并提出设计干预措施以减轻它们。通过让人们意识到人工智能背景如何以及为什么会影响 XAI 中潜在创作者和消费者的看法，我们的工作在推进多元化的以人为本的可解释人工智能话语方面迈出了形成性的一步。(2) 每个组在不同的解释中发现了超出我们设计它们的用途的解释值，以及 (3) 每个组对什么才算是人性化的解释有不同的要求。使用我们的发现，我们讨论了潜在的负面后果，例如对用户信任的有害操纵，并提出设计干预措施以减轻它们。通过让人们意识到人工智能背景如何以及为什么会影响 XAI 中潜在创作者和消费者的看法，我们的工作在推进多元化的以人为本的可解释人工智能话语方面迈出了形成性的一步。我们讨论了潜在的负面后果，例如对用户信任的有害操纵，并提出设计干预措施以减轻它们。通过让人们意识到人工智能背景如何以及为什么会影响 XAI 中潜在创作者和消费者的看法，我们的工作在推进多元化的以人为本的可解释人工智能话语方面迈出了形成性的一步。我们讨论了潜在的负面后果，例如对用户信任的有害操纵，并提出设计干预措施以减轻它们。通过让人们意识到人工智能背景如何以及为什么会影响 XAI 中潜在创作者和消费者的看法，我们的工作在推进多元化的以人为本的可解释人工智能话语方面迈出了形成性的一步。