Although recent studies have shown that a Bayesian network classifier (BNC) that maximizes the classification accuracy (i.e., minimizes the 0/1 loss function) is a powerful tool in both knowledge representation and classification, this classifier: (1) focuses on the majority class and, therefore, misclassifies minority classes; (2) is usually uninformative about the distribution of misclassifications; and (3) is insensitive to error severity (making no distinction between misclassification types). In this study, we propose to learn the structure of a BNC using an information measure (IM) that jointly maximizes the classification accuracy and information, motivate this measure theoretically, and evaluate it compared with six common measures using various datasets. Using synthesized confusion matrices, twenty-three artificial datasets, seventeen UCI datasets, and different performance measures, we show that an IM-based BNC is superior to BNCs learned using the other measures—especially for ordinal classification (for which accounting for the error severity is important) and/or imbalanced problems (which are most real-life classification problems)—and that it does not fall behind state-of-the-art classifiers with respect to accuracy and amount of information provided. To further demonstrate its ability, we tested the IM-based BNC in predicting the severity of motorcycle accidents of young drivers and the disease state of ALS patients—two class-imbalance ordinal classification problems—and show that the IM-based BNC is accurate also for the minority classes (fatal accidents and severe patients) and not only for the majority class (mild accidents and mild patients) as are other classifiers, providing more informative and practical classification results. Based on the many experiments we report on here, we expect these advantages to exist for other problems in which both accuracy and information should be maximized, the data is imbalanced, and/or the problem is ordinal, whether the classifier is a BNC or not. Our code, datasets, and results are publicly available http://www.ee.bgu.ac.il/~boaz/software .

中文翻译：

---

用于学习贝叶斯网络分类器结构的准确性和信息的联合最大化

尽管最近的研究表明，最大化分类精度（即最小化 0/1 损失函数）的贝叶斯网络分类器 (BNC) 是知识表示和分类中的强大工具，但该分类器：（1）专注于大多数类，因此错误地分类了少数类；(2) 通常不提供关于错误分类分布的信息；(3) 对错误严重程度不敏感（不区分错误分类类型）。在这项研究中，我们建议使用信息度量 (IM) 来学习 BNC 的结构，该信息度量联合最大化分类准确性和信息，从理论上激发该度量，并与使用各种数据集的六种常见度量进行比较评估。使用合成混淆矩阵，二十三个人工数据集，17 个 UCI 数据集和不同的性能指标，我们表明基于 IM 的 BNC 优于使用其他指标学习的 BNC——尤其是对于序数分类（考虑错误严重性很重要）和/或不平衡问题（它们是大多数现实生活中的分类问题）——而且它在准确性和提供的信息量方面并不落后于最先进的分类器。为了进一步展示它的能力，我们测试了基于 IM 的 BNC 在预测年轻司机摩托车事故的严重程度和 ALS 患者的疾病状态方面——两个类别不平衡序数分类问题——并表明基于 IM 的 BNC 对少数类别（致命的）也是准确的事故和重症患者），而不仅适用于其他分类器的大多数类别（轻度事故和轻度患者），提供更多信息和实用的分类结果。基于我们在此报告的许多实验，我们预计这些优势也适用于其他问题，其中应最大限度地提高准确性和信息，数据不平衡，和/或问题是有序的，无论分类器是否为 BNC . 我们的代码、数据集和结果可在 http://www.ee.bgu.ac.il/~boaz/software 公开获得。提供更多信息和实用的分类结果。基于我们在此报告的许多实验，我们预计这些优势也适用于其他问题，其中应最大限度地提高准确性和信息，数据不平衡，和/或问题是有序的，无论分类器是否为 BNC . 我们的代码、数据集和结果可在 http://www.ee.bgu.ac.il/~boaz/software 公开获得。提供更多信息和实用的分类结果。基于我们在此报告的许多实验，我们预计这些优势也适用于其他问题，其中应最大限度地提高准确性和信息，数据不平衡，和/或问题是有序的，无论分类器是否为 BNC . 我们的代码、数据集和结果可在 http://www.ee.bgu.ac.il/~boaz/software 公开获得。