We introduce a framework for the evaluation of multiclass classifiers by exploring their confusion matrices. Instead of using error-counting measures of performance, we concentrate in quantifying the information transfer from true to estimated labels using information-theoretic measures. First, the Entropy Triangle allows us to visualize the balance of mutual information, variation of information, and the deviation from uniformity in the true and estimated label distributions. Next, the Entropy-Modified Accuracy allows us to rank classifiers by performance while the Normalized Information Transfer rate allows us to evaluate classifiers by the amount of information accrued during learning. Finally, if the question rises to elucidate which errors are systematically committed by the classifier, we use a generalization of Formal Concept Analysis to elicit such knowledge. All such techniques can be applied either to artificially or biologically embodied classifiers—e.g., human performance on perceptual tasks. We instantiate the framework in a number of examples to provide guidelines for the use of these tools in the case of assessing single classifiers or populations of them—whether induced with the same technique or not—either on single tasks or in a set of them. These include well-known UCI tasks and the more complex KDD cup 99 competition on Intrusion Detection.

中文翻译：

---

使用信息论方法进行监督分类性能分析的框架

我们通过探索多类分类器的混淆矩阵来引入评估多类分类器的框架。我们没有使用错误计数来衡量性能，而是专注于使用信息理论测量来量化从真实标签到估计标签的信息转移。首先，熵三角形使我们能够可视化真实和估计标签分布的互信息平衡、信息变化以及与均匀性的偏差。接下来，熵修正精度允许我们根据性能对分类器进行排名，而归一化信息传输率允许我们通过学习过程中产生的信息量来评估分类器。最后，如果问题是要阐明分类器系统地犯了哪些错误，我们使用形式概念分析的概括来引出这些知识。所有这些技术都可以应用于人工或生物体现的分类器——例如，人类在感知任务上的表现。我们在许多示例中实例化了该框架，以便在评估单个分类器或它们的总体（无论是否使用相同技术诱导）的情况下为使用这些工具提供指南，无论是在单个任务上还是在一组任务中。其中包括著名的 UCI 任务和更复杂的 KDD cup 99 入侵检测竞赛。我们在许多示例中实例化了该框架，以便在评估单个分类器或它们的总体（无论是否使用相同技术诱导）的情况下为使用这些工具提供指南，无论是在单个任务上还是在一组任务中。其中包括著名的 UCI 任务和更复杂的 KDD cup 99 入侵检测竞赛。我们在许多示例中实例化了该框架，以便在评估单个分类器或它们的总体（无论是否使用相同技术诱导）的情况下为使用这些工具提供指南，无论是在单个任务上还是在一组任务中。其中包括著名的 UCI 任务和更复杂的 KDD cup 99 入侵检测竞赛。