Exploiting label dependence is a widely used approach to boost classification performance for multilabel classification problems. However, most of the traditional label dependence methods have high time complexity, especially when combined with deep neural networks (DNNs). Thus they usually can not be efficiently applied in large‐scale data sets. Recent advances in large‐scale multilabel classification widely developed pair‐wise ranking and structure‐driven methods, but label dependence was little exploited. In most of the structure‐driven methods, binary relevance (BR) with multiple binary cross‐entropy (BCE) loss functions, a simple but effective method, is still the prior solution incorporation with DNNs in large‐scale data sets. In this paper, we propose a novel loss function called label dependent cross‐entropy (LDCE), which directly introduces label dependence to BCE loss function by data‐driven conditional probability. Combined with deep convolutional neural networks (DCNNs), LDCE introduces no extra parameters and induces very little extra computational complexity. Moreover, we develop its tiny variant with sparse label dependence and its learnable version for automatic learning pair‐wise label dependence. Within the BR scheme, LDCE outperforms BCE on seven widely used benchmark datasets. We also perform two large‐scale multilabel image classification tasks (VOC 2007 and ChestX‐ray14) with DCNNs, and LDCE outperforms BCE and achieves comparable results to the state‐of‐the‐art.

中文翻译：

---

利用数据驱动的成对标签依赖进行多标签分类

利用标签依赖性是一种广泛使用的方法，可以提高多标签分类问题的分类性能。然而，大多数传统的标签依赖方法具有很高的时间复杂度，尤其是与深度神经网络 (DNN) 结合使用时。因此它们通常不能有效地应用于大规模数据集。大规模多标签分类的最新进展广泛开发了成对排序和结构驱动方法，但标签依赖性很少被利用。在大多数结构驱动的方法中，具有多个二进制交叉熵（BCE）损失函数的二进制相关性（BR）是一种简单但有效的方法，仍然是在大规模数据集中与 DNN 结合的先验解决方案。在本文中，我们提出了一种称为标签相关交叉熵（LDCE）的新型损失函数，它通过数据驱动的条件概率直接将标签依赖引入到 BCE 损失函数中。结合深度卷积神经网络 (DCNN)，LDCE 不会引入额外的参数，并且几乎不会产生额外的计算复杂度。此外，我们开发了具有稀疏标签依赖性的微小变体和用于自动学习成对标签依赖性的可学习版本。在 BR 方案中，LDCE 在七个广泛使用的基准数据集上优于 BCE。我们还使用 DCNN 执行了两个大规模多标签图像分类任务（VOC 2007 和 ChestX-ray14），LDCE 优于 BCE，并取得了与最先进技术相当的结果。LDCE 没有引入额外的参数，并且几乎不会产生额外的计算复杂度。此外，我们开发了具有稀疏标签依赖性的微小变体和用于自动学习成对标签依赖性的可学习版本。在 BR 方案中，LDCE 在七个广泛使用的基准数据集上优于 BCE。我们还使用 DCNN 执行了两个大规模多标签图像分类任务（VOC 2007 和 ChestX-ray14），LDCE 优于 BCE，并取得了与最先进技术相当的结果。LDCE 没有引入额外的参数，并且几乎不会产生额外的计算复杂度。此外，我们开发了具有稀疏标签依赖性的微小变体和用于自动学习成对标签依赖性的可学习版本。在 BR 方案中，LDCE 在七个广泛使用的基准数据集上优于 BCE。我们还使用 DCNN 执行了两个大规模多标签图像分类任务（VOC 2007 和 ChestX-ray14），LDCE 的性能优于 BCE，并取得了与最先进技术相当的结果。