Hierarchical Text Classification (HTC), which aims to predict text labels organized in hierarchical space, is a significant task lacking in investigation in natural language processing. Existing methods usually encode the entire hierarchical structure and fail to construct a robust label-dependent model, making it hard to make accurate predictions on sparse lower-level labels and achieving low Macro-F1. In this paper, we propose a novel PAMM-HiA-T5 model for HTC: a hierarchy-aware T5 model with path-adaptive mask mechanism that not only builds the knowledge of upper-level labels into low-level ones but also introduces path dependency information in label prediction. Specifically, we generate a multi-level sequential label structure to exploit hierarchical dependency across different levels with Breadth-First Search (BFS) and T5 model. To further improve label dependency prediction within each path, we then propose an original path-adaptive mask mechanism (PAMM) to identify the label's path information, eliminating sources of noises from other paths. Comprehensive experiments on three benchmark datasets show that our novel PAMM-HiA-T5 model greatly outperforms all state-of-the-art HTC approaches especially in Macro-F1. The ablation studies show that the improvements mainly come from our innovative approach instead of T5.

中文翻译：

---

具有用于分层文本分类的路径自适应掩码机制的分层感知 T5

分层文本分类（HTC）旨在预测分层空间中组织的文本标签，是自然语言处理中缺乏调查的一项重要任务。现有方法通常对整个层次结构进行编码，无法构建稳健的标签依赖模型，因此难以对稀疏的低层标签进行准确预测并实现较低的 Macro-F1。在本文中，我们为 HTC 提出了一种新的 PAMM-HiA-T5 模型：具有路径自适应掩码机制的层次感知 T5 模型，不仅将上层标签的知识构建到低层标签中，而且还引入了路径依赖标签预测中的信息。具体来说，我们生成了一个多级顺序标签结构，以利用广度优先搜索 (BFS) 和 T5 模型来利用跨不同级别的层次依赖性。为了进一步改进每条路径内的标签依赖性预测，我们提出了一种原始路径自适应掩码机制（PAMM）来识别标签的路径信息，从而消除来自其他路径的噪声源。在三个基准数据集上的综合实验表明，我们新颖的 PAMM-HiA-T5 模型大大优于所有最先进的 HTC 方法，尤其是在 Macro-F1 中。消融研究表明，改进主要来自我们的创新方法而不是 T5。在三个基准数据集上的综合实验表明，我们新颖的 PAMM-HiA-T5 模型大大优于所有最先进的 HTC 方法，尤其是在 Macro-F1 中。消融研究表明，改进主要来自我们的创新方法而不是 T5。在三个基准数据集上的综合实验表明，我们新颖的 PAMM-HiA-T5 模型大大优于所有最先进的 HTC 方法，尤其是在 Macro-F1 中。消融研究表明，改进主要来自我们的创新方法而不是 T5。