In the context of supervised learning, meta learning uses features, metadata and other information to learn about the difficulty, behavior, or composition of the problem. Using this knowledge can be useful to contextualize classifier results or allow for targeted decisions about future data sampling. In this paper, we are specifically interested in learning the Bayes error rate (BER) based on a labeled data sample. Providing a tight bound on the BER that is also feasible to estimate has been a challenge. Previous work [1] has shown that a pairwise bound based on the sum of Henze-Penrose (HP) divergence over label pairs can be directly estimated using a sum of Friedman-Rafsky (FR) multivariate run test statistics. However, in situations in which the dataset and number of classes are large, this bound is computationally infeasible to calculate and may not be tight. Other multi-class bounds also suffer from computationally complex estimation procedures. In this paper, we present a generalized HP divergence measure that allows us to estimate the Bayes error rate with log-linear computation. We prove that the proposed bound is tighter than both the pairwise method and a bound proposed by Lin [2]. We also empirically show that these bounds are close to the BER. We illustrate the proposed method on the MNIST dataset, and show its utility for the evaluation of feature reduction strategies. We further demonstrate an approach for evaluation of deep learning architectures using the proposed bounds.

中文翻译：

---

学习限制多类贝叶斯错误

在监督学习的背景下，元学习使用特征、元数据和其他信息来了解问题的难度、行为或组成。使用此知识可用于将分类器结果置于上下文中或允许对未来数据采样做出有针对性的决策。在本文中，我们特别感兴趣的是基于标记数据样本学习贝叶斯错误率 (BER)。在 BER 上提供一个也可以估计的严格界限一直是一个挑战。先前的工作 [1] 表明，可以使用 Friedman-Rafsky (FR) 多变量运行测试统计量的总和直接估计基于 Henze-Penrose (HP) 散度总和对标签对的成对界限。但是，在数据集和类数量很大的情况下，这个界限在计算上是不可行的，并且可能不严格。其他多类边界也受到计算复杂的估计程序的影响。在本文中，我们提出了一种广义的 HP 散度度量，它允许我们使用对数线性计算来估计贝叶斯错误率。我们证明所提出的界限比成对方法和 Lin [2] 提出的界限都更紧。我们还凭经验表明这些界限接近 BER。我们在 MNIST 数据集上说明了所提出的方法，并展示了它在评估特征减少策略方面的效用。我们进一步展示了一种使用提议的界限评估深度学习架构的方法。我们提出了一个广义的 HP 散度度量，它允许我们使用对数线性计算来估计贝叶斯错误率。我们证明所提出的界限比成对方法和 Lin [2] 提出的界限都更紧。我们还凭经验表明这些界限接近 BER。我们在 MNIST 数据集上说明了所提出的方法，并展示了它在评估特征减少策略方面的效用。我们进一步展示了一种使用提议的界限评估深度学习架构的方法。我们提出了一个广义的 HP 散度度量，它允许我们使用对数线性计算来估计贝叶斯错误率。我们证明所提出的界限比成对方法和 Lin [2] 提出的界限都更紧。我们还凭经验表明这些界限接近 BER。我们在 MNIST 数据集上说明了所提出的方法，并展示了其在特征减少策略评估中的效用。我们进一步展示了一种使用提议的界限评估深度学习架构的方法。并展示其在特征减少策略评估中的效用。我们进一步展示了一种使用提议的界限评估深度学习架构的方法。并展示其在特征减少策略评估中的效用。我们进一步展示了一种使用提议的界限评估深度学习架构的方法。