当前位置: X-MOL 学术Int. J. Comput. Vis. › 论文详情
Our official English website, www.x-mol.net, welcomes your feedback! (Note: you will need to create a separate account there.)
Transferrable Feature and Projection Learning with Class Hierarchy for Zero-Shot Learning
International Journal of Computer Vision ( IF 19.5 ) Pub Date : 2020-06-03 , DOI: 10.1007/s11263-020-01342-x
Aoxue Li , Zhiwu Lu , Jiechao Guan , Tao Xiang , Liwei Wang , Ji-Rong Wen

Zero-shot learning (ZSL) aims to transfer knowledge from seen classes to unseen ones so that the latter can be recognised without any training samples. This is made possible by learning a projection function between a feature space and a semantic space (e.g. attribute space). Considering the seen and unseen classes as two domains, a big domain gap often exists which challenges ZSL. In this work, we propose a novel inductive ZSL model that leverages superclasses as the bridge between seen and unseen classes to narrow the domain gap. Specifically, we first build a class hierarchy of multiple superclass layers and a single class layer, where the superclasses are automatically generated by data-driven clustering over the semantic representations of all seen and unseen class names. We then exploit the superclasses from the class hierarchy to tackle the domain gap challenge in two aspects: deep feature learning and projection function learning. First, to narrow the domain gap in the feature space, we define a recurrent neural network over superclasses and then plug it into a convolutional neural network for enforcing the superclass hierarchy. Second, to further learn a transferrable projection function for ZSL, a novel projection function learning method is proposed by exploiting the superclasses to align the two domains. Importantly, our transferrable feature and projection learning methods can be easily extended to a closely related task—few-shot learning (FSL). Extensive experiments show that the proposed model outperforms the state-of-the-art alternatives in both ZSL and FSL tasks.

中文翻译:

具有类层次结构的可迁移特征和投影学习用于零样本学习

零样本学习 (ZSL) 旨在将知识从已见类转移到未见类,以便后者无需任何训练样本即可被识别。这是通过学习特征空间和语义空间(例如属性空间)之间的投影函数来实现的。将可见类和不可见类视为两个域,通常存在很大的域差距,这对 ZSL 提出了挑战。在这项工作中,我们提出了一种新颖的归纳 ZSL 模型,该模型利用超类作为可见类和不可见类之间的桥梁来缩小领域差距。具体来说,我们首先构建了一个由多个超类层和一个类层组成的类层次结构,其中超类是通过数据驱动聚类在所有可见和不可见类名称的语义表示上自动生成的。然后我们利用类层次结构中的超类来解决两个方面的领域差距挑战:深度特征学习和投影函数学习。首先,为了缩小特征空间中的域差距,我们在超类上定义了一个循环神经网络,然后将其插入一个卷积神经网络以加强超类层次结构。其次,为了进一步学习 ZSL 的可转移投影函数,通过利用超类对齐两个域,提出了一种新颖的投影函数学习方法。重要的是,我们的可迁移特征和投影学习方法可以轻松扩展到密切相关的任务——小样本学习 (FSL)。大量实验表明,所提出的模型在 ZSL 和 FSL 任务中均优于最先进的替代方案。深度特征学习和投影函数学习。首先,为了缩小特征空间中的域差距,我们在超类上定义了一个循环神经网络,然后将其插入一个卷积神经网络以加强超类层次结构。其次,为了进一步学习 ZSL 的可转移投影函数,通过利用超类对齐两个域,提出了一种新颖的投影函数学习方法。重要的是,我们的可迁移特征和投影学习方法可以轻松扩展到密切相关的任务——小样本学习 (FSL)。大量实验表明,所提出的模型在 ZSL 和 FSL 任务中均优于最先进的替代方案。深度特征学习和投影函数学习。首先,为了缩小特征空间中的域差距,我们在超类上定义了一个循环神经网络,然后将其插入一个卷积神经网络以加强超类层次结构。其次,为了进一步学习 ZSL 的可转移投影函数,通过利用超类对齐两个域,提出了一种新颖的投影函数学习方法。重要的是,我们的可迁移特征和投影学习方法可以轻松扩展到密切相关的任务——小样本学习 (FSL)。大量实验表明,所提出的模型在 ZSL 和 FSL 任务中均优于最先进的替代方案。我们在超类上定义了一个循环神经网络,然后将其插入一个卷积神经网络以强制执行超类层次结构。其次,为了进一步学习 ZSL 的可转移投影函数,通过利用超类对齐两个域,提出了一种新颖的投影函数学习方法。重要的是,我们的可迁移特征和投影学习方法可以轻松扩展到密切相关的任务——小样本学习 (FSL)。大量实验表明,所提出的模型在 ZSL 和 FSL 任务中均优于最先进的替代方案。我们在超类上定义了一个循环神经网络,然后将其插入一个卷积神经网络以强制执行超类层次结构。其次,为了进一步学习 ZSL 的可转移投影函数,通过利用超类对齐两个域,提出了一种新颖的投影函数学习方法。重要的是,我们的可迁移特征和投影学习方法可以轻松扩展到密切相关的任务——小样本学习 (FSL)。大量实验表明,所提出的模型在 ZSL 和 FSL 任务中均优于最先进的替代方案。通过利用超类对齐两个域,提出了一种新的投影函数学习方法。重要的是,我们的可迁移特征和投影学习方法可以轻松扩展到密切相关的任务——小样本学习 (FSL)。大量实验表明,所提出的模型在 ZSL 和 FSL 任务中均优于最先进的替代方案。通过利用超类对齐两个域,提出了一种新的投影函数学习方法。重要的是,我们的可迁移特征和投影学习方法可以轻松扩展到密切相关的任务——小样本学习 (FSL)。大量实验表明,所提出的模型在 ZSL 和 FSL 任务中均优于最先进的替代方案。
更新日期:2020-06-03
down
wechat
bug