当前位置: X-MOL 学术IEEE Trans. Neural Netw. Learn. Syst. › 论文详情
Our official English website, www.x-mol.net, welcomes your feedback! (Note: you will need to create a separate account there.)
Memory Efficient Class-Incremental Learning for Image Classification.
IEEE Transactions on Neural Networks and Learning Systems ( IF 10.2 ) Pub Date : 2021-05-03 , DOI: 10.1109/tnnls.2021.3072041
Hanbin Zhao , Hui Wang , Yongjian Fu , Fei Wu , Xi Li

With the memory-resource-limited constraints, class-incremental learning (CIL) usually suffers from the ``catastrophic forgetting'' problem when updating the joint classification model on the arrival of newly added classes. To cope with the forgetting problem, many CIL methods transfer the knowledge of old classes by preserving some exemplar samples into the size-constrained memory buffer. To utilize the memory buffer more efficiently, we propose to keep more auxiliary low-fidelity exemplar samples, rather than the original real-high-fidelity exemplar samples. Such a memory-efficient exemplar preserving scheme makes the old-class knowledge transfer more effective. However, the low-fidelity exemplar samples are often distributed in a different domain away from that of the original exemplar samples, that is, a domain shift. To alleviate this problem, we propose a duplet learning scheme that seeks to construct domain-compatible feature extractors and classifiers, which greatly narrows down the above domain gap. As a result, these low-fidelity auxiliary exemplar samples have the ability to moderately replace the original exemplar samples with a lower memory cost. In addition, we present a robust classifier adaptation scheme, which further refines the biased classifier (learned with the samples containing distillation label knowledge about old classes) with the help of the samples of pure true class labels. Experimental results demonstrate the effectiveness of this work against the state-of-the-art approaches. We will release the code, baselines, and training statistics for all models to facilitate future research.

中文翻译:

用于图像分类的内存有效的课堂增量学习。

由于内存资源有限的限制,在新添加的类到达时更新联合分类模型时,类增量学习(CIL)通常会遇到``灾难性的遗忘''问题。为了解决遗忘问题,许多CIL方法通过将一些示例样本保存到受大小限制的内存缓冲区中来传递旧类的知识。为了更有效地利用存储缓冲区,我们建议保留更多的辅助低保真示例样本,而不是原始的实际高保真示例样本。这样的内存有效的示例性保存方案使旧的知识转移更加有效。但是,低保真示例样本通常分布在与原始示例样本不同的域中,即域移位。为了缓解此问题,我们提出了一种双元学习方案,该方案旨在构造与领域兼容的特征提取器和分类器,从而大大缩小了上述领域的差距。结果,这些低保真辅助样本样本具有以较低的存储成本适度替换原始样本样本的能力。此外,我们提出了一种鲁棒的分类器自适应方案,该方案可在纯真实类别标签的样本的帮助下进一步优化有偏的分类器(从包含有关旧类别的蒸馏标签知识的样本中学习)。实验结果证明了这项工作与最新方法的有效性。我们将发布所有模型的代码,基线和培训统计信息,以方便将来的研究。我们提出了一种二元组学习方案,该方案旨在构造与领域兼容的特征提取器和分类器,从而大大缩小了上述领域的差距。结果,这些低保真辅助样本样本具有以较低的存储成本适度替换原始样本样本的能力。此外,我们提出了一种鲁棒的分类器自适应方案,该方案可在纯真实类别标签的样本的帮助下进一步优化有偏的分类器(从包含有关旧类别的蒸馏标签知识的样本中学习)。实验结果证明了这项工作与最新方法的有效性。我们将发布所有模型的代码,基线和培训统计信息,以方便将来的研究。我们提出了一种二元组学习方案,该方案旨在构造与领域兼容的特征提取器和分类器,从而大大缩小了上述领域的差距。结果,这些低保真辅助样本样本具有以较低的存储成本适度替换原始样本样本的能力。此外,我们提出了一种鲁棒的分类器自适应方案,该方案可在纯真实类别标签的样本的帮助下进一步优化有偏的分类器(从包含有关旧类别的蒸馏标签知识的样本中学习)。实验结果证明了这项工作与最新方法的有效性。我们将发布所有模型的代码,基线和培训统计信息,以方便将来的研究。这大大缩小了上述领域的差距。结果,这些低保真辅助样本样本具有以较低的存储成本适度替换原始样本样本的能力。此外,我们提出了一种鲁棒的分类器自适应方案,该方案可在纯真实类别标签的样本的帮助下进一步优化有偏的分类器(从包含有关旧类别的蒸馏标签知识的样本中学习)。实验结果证明了这项工作与最新方法的有效性。我们将发布所有模型的代码,基线和培训统计信息,以方便将来的研究。这大大缩小了上述领域的差距。结果,这些低保真辅助样本样本具有以较低的存储成本适度替换原始样本样本的能力。此外,我们提出了一种鲁棒的分类器自适应方案,该方案可在纯真实类别标签的样本的帮助下进一步优化有偏的分类器(从包含有关旧类别的蒸馏标签知识的样本中学习)。实验结果证明了这项工作与最新方法的有效性。我们将发布所有模型的代码,基线和培训统计信息,以方便将来的研究。此外,我们提出了一种鲁棒的分类器自适应方案,该方案可在纯真实类别标签的样本的帮助下进一步优化有偏的分类器(从包含有关旧类别的蒸馏标签知识的样本中学习)。实验结果证明了这项工作与最新方法的有效性。我们将发布所有模型的代码,基线和培训统计信息,以方便将来的研究。此外,我们提出了一种鲁棒的分类器自适应方案,该方案可在纯真实类别标签的样本的帮助下进一步优化有偏的分类器(从包含有关旧类别的蒸馏标签知识的样本中学习)。实验结果证明了这项工作与最新方法的有效性。我们将发布所有模型的代码,基线和培训统计信息,以方便将来的研究。
更新日期:2021-05-03
down
wechat
bug