Artificial Neural Networks (ANNs) are increasingly used for discrete choice analysis, being appreciated in particular for their strong predictive power. However, many choice modellers are critical – and rightfully so – about using ANNs, for the reason that they are hard to diagnose. That is, for analysts it is hard to see whether a trained (estimated) ANN has learned intuitively reasonable relationships, as opposed to spurious, inexplicable or otherwise undesirable ones. As a result, choice modellers often find it difficult to trust an ANN, even if its predictive performance is strong. Inspired by research from the field of computer vision, this paper pioneers a low-cost and easy-to-implement methodology to diagnose ANNs in the context of choice behaviour analysis. The method involves synthesising prototypical examples after having trained the ANN. These prototypical examples expose the fundamental relationships that the ANN has learned. These, in turn, can be evaluated by the analyst to see whether they make sense and are desirable, or not. In this paper we show how to use such prototypical examples in the context of choice data and we discuss practical considerations for successfully diagnosing ANNs. Furthermore, we cross-validate our findings using techniques from traditional discrete choice analysis. Our results suggest that the proposed method helps build trust in well-functioning ANNs, and is able to flag poorly trained ANNs. As such, it helps choice modellers use ANNs for choice behaviour analysis in a more reliable and effective way.

中文翻译：

---

“计算机说不”还不够：使用原型示例来诊断人工神经网络以进行离散选择分析

人工神经网络（ANN）越来越多地用于离散选择分析，尤其由于其强大的预测能力而受到赞赏。但是，由于难以诊断，许多选择建模者对于使用ANN至关重要（理应如此）。也就是说，对于分析人员而言，很难看出受过训练（估计）的人工神经网络是否学会了直观上合理的关系，而不是虚假的，无法解释的或其他不良关系。结果，选择建模者经常发现难以信任ANN，即使其预测性能很强。受计算机视觉领域研究的启发，本文率先提出了一种低成本且易于实现的方法，可以在选择行为分析的背景下诊断ANN。该方法包括在训练了ANN之后合成原型示例。这些原型示例揭示了ANN所学的基本关系。反过来，分析师可以对这些进行评估，以查看它们是否有意义并且是否令人满意。在本文中，我们展示了如何在选择数据的上下文中使用此类原型示例，并讨论了成功诊断ANN的实际考虑。此外，我们使用传统离散选择分析技术对我们的发现进行交叉验证。我们的结果表明，提出的方法有助于建立对运行良好的人工神经网络的信任，并能够标记训练有素的人工神经网络。这样，它有助于选择建模者以更可靠和有效的方式将人工神经网络用于选择行为分析。分析人员可以对它们进行评估，以了解它们是否有意义并且是否令人满意。在本文中，我们展示了如何在选择数据的背景下使用此类原型示例，并讨论了成功诊断ANN的实际考虑。此外，我们使用传统离散选择分析技术对我们的发现进行交叉验证。我们的结果表明，提出的方法有助于建立对运行良好的人工神经网络的信任，并能够标记训练有素的人工神经网络。这样，它有助于选择建模者以更可靠和有效的方式将人工神经网络用于选择行为分析。分析人员可以对它们进行评估，以了解它们是否有意义并且是否令人满意。在本文中，我们展示了如何在选择数据的上下文中使用此类原型示例，并讨论了成功诊断ANN的实际考虑。此外，我们使用传统离散选择分析技术对我们的发现进行交叉验证。我们的结果表明，提出的方法有助于建立对功能良好的人工神经网络的信任，并能够标记训练有素的人工神经网络。这样，它有助于选择建模者以更可靠和有效的方式将人工神经网络用于选择行为分析。我们使用传统离散选择分析技术对我们的发现进行交叉验证。我们的结果表明，提出的方法有助于建立对功能良好的人工神经网络的信任，并能够标记训练有素的人工神经网络。这样，它有助于选择建模者以更可靠和有效的方式将人工神经网络用于选择行为分析。我们使用传统离散选择分析技术对我们的发现进行交叉验证。我们的结果表明，提出的方法有助于建立对功能良好的人工神经网络的信任，并能够标记训练有素的人工神经网络。这样，它有助于选择建模者以更可靠和有效的方式将人工神经网络用于选择行为分析。