当前位置: X-MOL 学术arXiv.cs.AI › 论文详情
Our official English website, www.x-mol.net, welcomes your feedback! (Note: you will need to create a separate account there.)
FREE: Feature Refinement for Generalized Zero-Shot Learning
arXiv - CS - Artificial Intelligence Pub Date : 2021-07-29 , DOI: arxiv-2107.13807
Shiming Chen, Wenjie Wang, Beihao Xia, Qinmu Peng, Xinge You, Feng Zheng, Ling Shao

Generalized zero-shot learning (GZSL) has achieved significant progress, with many efforts dedicated to overcoming the problems of visual-semantic domain gap and seen-unseen bias. However, most existing methods directly use feature extraction models trained on ImageNet alone, ignoring the cross-dataset bias between ImageNet and GZSL benchmarks. Such a bias inevitably results in poor-quality visual features for GZSL tasks, which potentially limits the recognition performance on both seen and unseen classes. In this paper, we propose a simple yet effective GZSL method, termed feature refinement for generalized zero-shot learning (FREE), to tackle the above problem. FREE employs a feature refinement (FR) module that incorporates \textit{semantic$\rightarrow$visual} mapping into a unified generative model to refine the visual features of seen and unseen class samples. Furthermore, we propose a self-adaptive margin center loss (SAMC-loss) that cooperates with a semantic cycle-consistency loss to guide FR to learn class- and semantically-relevant representations, and concatenate the features in FR to extract the fully refined features. Extensive experiments on five benchmark datasets demonstrate the significant performance gain of FREE over its baseline and current state-of-the-art methods. Our codes are available at https://github.com/shiming-chen/FREE .

中文翻译:

免费:通用零样本学习的特征细化

广义零样本学习(GZSL)取得了重大进展,许多努力致力于克服视觉语义域差距和看不见的偏见的问题。然而,大多数现有方法直接使用单独在 ImageNet 上训练的特征提取模型,忽略了 ImageNet 和 GZSL 基准之间的跨数据集偏差。这种偏差不可避免地导致 GZSL 任务的视觉特征质量较差,这可能会限制可见类和不可见类的识别性能。在本文中,我们提出了一种简单而有效的 GZSL 方法,称为广义零样本学习的特征细化(FREE),以解决上述问题。FREE 采用了一个特征细化 (FR) 模块,该模块将 \textit{semantic$\rightarrow$visual} 映射合并到一个统一的生成模型中,以细化可见和不可见类样本的视觉特征。此外,我们提出了一种自适应边缘中心损失(SAMC-loss),它与语义循环一致性损失合作,指导 FR 学习类和语义相关的表示,并连接 FR 中的特征以提取完全精炼的特征. 在五个基准数据集上进行的大量实验证明了 FREE 相对于其基线和当前最先进方法的显着性能提升。我们的代码可在 https://github.com/shiming-chen/FREE 获得。我们提出了一种自适应边缘中心损失(SAMC-loss),它与语义循环一致性损失配合,引导 FR 学习与类别和语义相关的表示,并连接 FR 中的特征以提取完全精炼的特征。在五个基准数据集上进行的大量实验证明了 FREE 相对于其基线和当前最先进方法的显着性能提升。我们的代码可在 https://github.com/shiming-chen/FREE 获得。我们提出了一种自适应边缘中心损失(SAMC-loss),它与语义循环一致性损失配合,引导 FR 学习与类别和语义相关的表示,并连接 FR 中的特征以提取完全精炼的特征。在五个基准数据集上进行的大量实验证明了 FREE 相对于其基线和当前最先进方法的显着性能提升。我们的代码可在 https://github.com/shiming-chen/FREE 获得。
更新日期:2021-07-30
down
wechat
bug