当前位置: X-MOL 学术Knowl. Based Syst. › 论文详情
Our official English website, www.x-mol.net, welcomes your feedback! (Note: you will need to create a separate account there.)
Incremental learning model inspired in Rehearsal for deep convolutional networks
Knowledge-Based Systems ( IF 8.8 ) Pub Date : 2020-09-16 , DOI: 10.1016/j.knosys.2020.106460
David Muñoz , Camilo Narváez , Carlos Cobos , Martha Mendoza , Francisco Herrera

In Deep Learning, training a model properly with a high quantity and quality of data is crucial in order to achieve a good performance. In some tasks, however, the necessary data is not available at a particular moment and only becomes available over time. In which case, incremental learning is used to train the model correctly. An open problem remains, however, in the form of the stability-plasticity dilemma: how to incrementally train a model that is able to respond well to new data (plasticity) while also retaining previous knowledge (stability). In this paper, an incremental learning model inspired in Rehearsal (recall of past memories based on a subset of data) named CRIF is proposed, and two instances for the framework are employed - one using a random-based selection of representative samples (Naive Incremental Learning, NIL), the other using Crowding Distance and Best vs. Second Best metrics in conjunction for this task (RILBC). The experiments were performed on five datasets - MNIST, Fashion-MNIST, CIFAR-10, Caltech 101, and Tiny ImageNet, in two different incremental scenarios: a strictly class-incremental scenario, and a pseudo class-incremental scenario with unbalanced data. In Caltech 101, Transfer Learning was used, and in this scenario as well as in the other three datasets, the proposed method, NIL, achieved better results in most of the quality metrics than comparison algorithms such as RMSProp Inc (base line) and iCaRL (state-of-the-art proposal) and outperformed the other proposed method, RILBC. NIL also requires less time to achieve these results.



中文翻译:

彩排中启发式的深度学习网络增量学习模型

在深度学习中,正确训练具有大量数据和数据质量的模型对于实现良好性能至关重要。但是,在某些任务中,必要的数据在特定时刻不可用,而是随着时间的推移而变得可用。在这种情况下,将使用增量学习来正确训练模型。但是,仍然存在一个悬而未决的问题,即稳定性-可塑性难题:如何逐步训练能够很好地响应新数据(可塑性),同时又保留先前知识(稳定性)的模型。在本文中,提出了一种启发式的增量学习模型,该模型的灵感来自彩排(根据数据子集回忆过去的记忆),名为CRIF,并采用了该框架的两个实例-一个实例是使用基于随机选择的代表性样本(朴素增量)学习,NIL),另一个则结合使用“拥挤距离”和“最佳”与“第二最佳”度量标准(RILBC)。在五个不同的数据集上进行了实验:MNIST,Fashion-MNIST,CIFAR-10,Caltech 101和Tiny ImageNet,它们是在两种不同的增量方案中进行的:严格的类增量方案和具有不平衡数据的伪类增量方案。在Caltech 101中,使用了转移学习,在这种情况下以及在其他三个数据集中,所提出的方法NIL在大多数质量指标中均比比较算法(例如RMSProp Inc(基线)和iCaRL)获得了更好的结果。 (最先进的提案),并且胜过其他提议的方法RILBC。NIL还需要更少的时间来获得这些结果。在五个不同的数据集上进行了实验:MNIST,Fashion-MNIST,CIFAR-10,Caltech 101和Tiny ImageNet,它们是在两种不同的增量方案中进行的:严格的类增量方案和具有不平衡数据的伪类增量方案。在Caltech 101中,使用了转移学习,在这种情况下以及在其他三个数据集中,所提出的方法NIL在大多数质量指标中均比比较算法(例如RMSProp Inc(基线)和iCaRL)获得了更好的结果。 (最先进的提案),并且胜过其他提议的方法RILBC。NIL还需要更少的时间来获得这些结果。在五个不同的数据集上进行了实验:MNIST,Fashion-MNIST,CIFAR-10,Caltech 101和Tiny ImageNet,它们是在两种不同的增量方案中进行的:严格的类增量方案和具有不平衡数据的伪类增量方案。在Caltech 101中,使用了转移学习,在这种情况下以及在其他三个数据集中,所提出的方法NIL在大多数质量指标中均比比较算法(例如RMSProp Inc(基线)和iCaRL)取得了更好的结果。 (最先进的提案),并且胜过其他提议的方法RILBC。NIL还需要更少的时间来获得这些结果。以及数据不平衡的伪类增量方案。在Caltech 101中,使用了转移学习,在这种情况下以及在其他三个数据集中,所提出的方法NIL在大多数质量指标中均比比较算法(例如RMSProp Inc(基线)和iCaRL)取得了更好的结果。 (最先进的提案),并且胜过其他提议的方法RILBC。NIL还需要更少的时间来获得这些结果。以及数据不平衡的伪类增量方案。在Caltech 101中,使用了转移学习,在这种情况下以及在其他三个数据集中,所提出的方法NIL在大多数质量指标中均比比较算法(例如RMSProp Inc(基线)和iCaRL)获得了更好的结果。 (最先进的提案),并且胜过其他提议的方法RILBC。NIL还需要更少的时间来获得这些结果。

更新日期:2020-09-16
down
wechat
bug