One primary advantage of receiver operating characteristic (ROC) analysis is considered to be its ability to quantify classification performance independently of factors such as prior probabilities and utilities of classification outcomes. This article argues the opposite. When evaluating classification performance, ROC analysis should consider prior probabilities and utilities. By developing expected utility lines (EU lines), this article shows the connection between a classifier’s ROC curve and expected utility of classification. In particular, EU lines can be used to estimate expected utilities when classifiers operate at any ROC point for any given prior probabilities and utilities. EU lines are useful across all situations—no matter if one examines a single classifier or compares multiple classifiers, if one compares classifiers’ potential to maximize expected utilities or classifiers’ actual expected utilities, and if the ROC curves are full or partial, continuous or discrete. The connection between ROC and expected utility analyses reveals the common objective underlying these two methods: to maximize expected utility of classification. Particularly, ROC analysis is useful in choosing an optimal classifier and its optimal operating point to maximize expected utility. Yet, choosing a classifier and its operating point (i.e., changing conditional probabilities) is not the only way to increase expected utility. Inspired by parameters involved in estimating expected utility, this article also discusses other approaches to increase expected utility beyond ROC analysis.

中文翻译：

---

评估分类性能：接收器操作特性和预期效用。

接受者操作特征 (ROC) 分析的一个主要优势被认为是它能够独立于诸如先验概率和分类结果的效用等因素来量化分类性能。这篇文章提出了相反的观点。在评估分类性能时，ROC 分析应考虑先验概率和效用。通过开发预期效用线（EU 线），本文展示了分类器的 ROC 曲线与分类的预期效用之间的联系。特别是，当分类器针对任何给定的先验概率和效用在任何 ROC 点运行时，EU 线可用于估计预期效用。EU 线在所有情况下都很有用——无论是检查单个分类器还是比较多个分类器，如果比较分类器最大化预期效用的潜力或分类器的实际预期效用，以及 ROC 曲线是完整的还是部分的、连续的还是离散的。ROC 和预期效用分析之间的联系揭示了这两种方法的共同目标：最大化分类的预期效用。特别是，ROC 分析可用于选择最佳分类器及其最佳操作点以最大化预期效用。然而，选择分类器及其操作点（即改变条件概率）并不是增加预期效用的唯一方法。受估计预期效用所涉及的参数的启发，本文还讨论了在 ROC 分析之外增加预期效用的其他方法。ROC曲线是完整的还是部分的，连续的还是离散的。ROC 和预期效用分析之间的联系揭示了这两种方法的共同目标：最大化分类的预期效用。特别是，ROC 分析可用于选择最佳分类器及其最佳操作点以最大化预期效用。然而，选择分类器及其操作点（即改变条件概率）并不是增加预期效用的唯一方法。受估计预期效用所涉及的参数的启发，本文还讨论了在 ROC 分析之外增加预期效用的其他方法。ROC曲线是完整的还是部分的，连续的还是离散的。ROC 和预期效用分析之间的联系揭示了这两种方法的共同目标：最大化分类的预期效用。特别是，ROC 分析可用于选择最佳分类器及其最佳操作点以最大化预期效用。然而，选择分类器及其操作点（即改变条件概率）并不是增加预期效用的唯一方法。受估计预期效用所涉及的参数的启发，本文还讨论了在 ROC 分析之外增加预期效用的其他方法。最大化分类的预期效用。特别是，ROC 分析可用于选择最佳分类器及其最佳操作点以最大化预期效用。然而，选择分类器及其操作点（即改变条件概率）并不是增加预期效用的唯一方法。受估计预期效用所涉及的参数的启发，本文还讨论了在 ROC 分析之外增加预期效用的其他方法。最大化分类的预期效用。特别是，ROC 分析可用于选择最佳分类器及其最佳操作点以最大化预期效用。然而，选择分类器及其操作点（即改变条件概率）并不是增加预期效用的唯一方法。受估计预期效用所涉及的参数的启发，本文还讨论了在 ROC 分析之外增加预期效用的其他方法。