Human beings may make random guesses in decision-making. Occasionally, their guesses may generate consistency with the real situation. This kind of consistency is termed random consistency. In the area of machine leaning, the randomness is unavoidable and ubiquitous in learning algorithms. However, the accuracy (A), which is a fundamental performance measure for machine learning, does not recognize the random consistency. This causes that the classifiers learnt by A contain the random consistency. The random consistency may cause an unreliable evaluation and harm the generalization performance. To solve this problem, the pure accuracy (PA) is defined to eliminate the random consistency from the A. In this paper, we mainly study the necessity, learning consistency and leaning method of the PA. We show that the PA is insensitive to the class distribution of classifier and is more fair to the majority and the minority than A. Subsequently, some novel generalization bounds on the PA and A are given. Furthermore, we show that the PA is Bayes-risk consistent in finite and infinite hypothesis space. We design a plug-in rule that maximizes the PA, and the experiments on twenty benchmark data sets demonstrate that the proposed method performs statistically better than the kernel logistic regression in terms of PA and comparable performance in terms of A. Compared with the other plug-in rules, the proposed method obtains much better performance.

中文翻译：

---

从准确性度量中减少随机一致性的学习

人类可能会在决策过程中进行随机猜测。有时，他们的猜测可能会与真实情况保持一致。这种一致性称为随机一致性。在机器学习领域，随机性在学习算法中是不可避免且无处不在的。然而，作为机器学习的基本性能度量的准确度 (A) 并不能识别随机一致性。这导致 A 学习的分类器包含随机一致性。随机一致性可能会导致评估不可靠并损害泛化性能。为了解决这个问题，定义了纯精度（PA）来消除A中的随机一致性。本文主要研究PA的必要性、学习一致性和学习方法。我们表明 PA 对分类器的类分布不敏感，并且比 A 对多数人和少数人更公平。随后，给出了 PA 和 A 的一些新的泛化界限。此外，我们表明 PA 在有限和无限假设空间中是贝叶斯风险一致的。我们设计了一个最大化 PA 的插件规则，在 20 个基准数据集上的实验表明，所提出的方法在 PA 方面的性能优于核逻辑回归，在 A 方面的性能可比。 与其他插件相比-在规则中，所提出的方法获得了更好的性能。我们证明 PA 在有限和无限假设空间中是贝叶斯风险一致的。我们设计了一个最大化 PA 的插件规则，在 20 个基准数据集上的实验表明，所提出的方法在 PA 方面的性能优于核逻辑回归，在 A 方面的性能可比。 与其他插件相比-在规则中，所提出的方法获得了更好的性能。我们证明 PA 在有限和无限假设空间中是贝叶斯风险一致的。我们设计了一个最大化 PA 的插件规则，在 20 个基准数据集上的实验表明，所提出的方法在 PA 方面的性能优于核逻辑回归，在 A 方面的性能可比。 与其他插件相比-在规则中，所提出的方法获得了更好的性能。