Image classification models can depend on multiple different semantic attributes of the image. An explanation of the decision of the classifier needs to both discover and visualize these properties. Here we present StylEx, a method for doing this, by training a generative model to specifically explain multiple attributes that underlie classifier decisions. A natural source for such attributes is the StyleSpace of StyleGAN, which is known to generate semantically meaningful dimensions in the image. However, because standard GAN training is not dependent on the classifier, it may not represent these attributes which are important for the classifier decision, and the dimensions of StyleSpace may represent irrelevant attributes. To overcome this, we propose a training procedure for a StyleGAN, which incorporates the classifier model, in order to learn a classifier-specific StyleSpace. Explanatory attributes are then selected from this space. These can be used to visualize the effect of changing multiple attributes per image, thus providing image-specific explanations. We apply StylEx to multiple domains, including animals, leaves, faces and retinal images. For these, we show how an image can be modified in different ways to change its classifier output. Our results show that the method finds attributes that align well with semantic ones, generate meaningful image-specific explanations, and are human-interpretable as measured in user-studies.

中文翻译：

---

样式说明：训练GAN来解释StyleSpace中的分类器

图像分类模型可以取决于图像的多个不同语义属性。对分类器决策的解释需要同时发现和可视化这些属性。在这里，我们介绍StylEx，这是一种通过训练生成模型来具体解释分类器决策基础的多个属性的方法。此类属性的自然来源是StyleGAN的StyleSpace，已知可以在图像中生成语义上有意义的尺寸。但是，由于标准GAN训练不依赖于分类器，因此它可能无法表示对于分类器决策很重要的这些属性，并且StyleSpace的维度可能表示不相关的属性。为了克服这个问题，我们提出了StyleGAN的训练程序，该程序结合了分类器模型，为了学习特定于分类器的StyleSpace。然后从该空间中选择说明性属性。这些可用于可视化更改每个图像多个属性的效果，从而提供特定于图像的说明。我们将StylEx应用于多个领域，包括动物，树叶，面孔和视网膜图像。对于这些，我们展示了如何以不同的方式修改图像以更改其分类器输出。我们的结果表明，该方法可以找到与语义属性很好地匹配的属性，生成有意义的图像特定说明，并且在用户研究中可以被人为解释。我们将StylEx应用于多个领域，包括动物，树叶，面孔和视网膜图像。对于这些，我们展示了如何以不同的方式修改图像以更改其分类器输出。我们的结果表明，该方法可以找到与语义属性很好地匹配的属性，生成有意义的图像特定说明，并且在用户研究中可以被人为解释。我们将StylEx应用于多个领域，包括动物，树叶，面孔和视网膜图像。对于这些，我们展示了如何以不同的方式修改图像以更改其分类器输出。我们的结果表明，该方法可以找到与语义属性很好地匹配的属性，生成有意义的图像特定说明，并且在用户研究中可以被人为解释。