当前位置:
X-MOL 学术
›
arXiv.cs.AI
›
论文详情
Our official English website, www.x-mol.net, welcomes your
feedback! (Note: you will need to create a separate account there.)
FREE: Feature Refinement for Generalized Zero-Shot Learning
arXiv - CS - Artificial Intelligence Pub Date : 2021-07-29 , DOI: arxiv-2107.13807 Shiming Chen, Wenjie Wang, Beihao Xia, Qinmu Peng, Xinge You, Feng Zheng, Ling Shao
arXiv - CS - Artificial Intelligence Pub Date : 2021-07-29 , DOI: arxiv-2107.13807 Shiming Chen, Wenjie Wang, Beihao Xia, Qinmu Peng, Xinge You, Feng Zheng, Ling Shao
Generalized zero-shot learning (GZSL) has achieved significant progress, with
many efforts dedicated to overcoming the problems of visual-semantic domain gap
and seen-unseen bias. However, most existing methods directly use feature
extraction models trained on ImageNet alone, ignoring the cross-dataset bias
between ImageNet and GZSL benchmarks. Such a bias inevitably results in
poor-quality visual features for GZSL tasks, which potentially limits the
recognition performance on both seen and unseen classes. In this paper, we
propose a simple yet effective GZSL method, termed feature refinement for
generalized zero-shot learning (FREE), to tackle the above problem. FREE
employs a feature refinement (FR) module that incorporates
\textit{semantic$\rightarrow$visual} mapping into a unified generative model to
refine the visual features of seen and unseen class samples. Furthermore, we
propose a self-adaptive margin center loss (SAMC-loss) that cooperates with a
semantic cycle-consistency loss to guide FR to learn class- and
semantically-relevant representations, and concatenate the features in FR to
extract the fully refined features. Extensive experiments on five benchmark
datasets demonstrate the significant performance gain of FREE over its baseline
and current state-of-the-art methods. Our codes are available at
https://github.com/shiming-chen/FREE .
中文翻译:
免费:通用零样本学习的特征细化
广义零样本学习(GZSL)取得了重大进展,许多努力致力于克服视觉语义域差距和看不见的偏见的问题。然而,大多数现有方法直接使用单独在 ImageNet 上训练的特征提取模型,忽略了 ImageNet 和 GZSL 基准之间的跨数据集偏差。这种偏差不可避免地导致 GZSL 任务的视觉特征质量较差,这可能会限制可见类和不可见类的识别性能。在本文中,我们提出了一种简单而有效的 GZSL 方法,称为广义零样本学习的特征细化(FREE),以解决上述问题。FREE 采用了一个特征细化 (FR) 模块,该模块将 \textit{semantic$\rightarrow$visual} 映射合并到一个统一的生成模型中,以细化可见和不可见类样本的视觉特征。此外,我们提出了一种自适应边缘中心损失(SAMC-loss),它与语义循环一致性损失合作,指导 FR 学习类和语义相关的表示,并连接 FR 中的特征以提取完全精炼的特征. 在五个基准数据集上进行的大量实验证明了 FREE 相对于其基线和当前最先进方法的显着性能提升。我们的代码可在 https://github.com/shiming-chen/FREE 获得。我们提出了一种自适应边缘中心损失(SAMC-loss),它与语义循环一致性损失配合,引导 FR 学习与类别和语义相关的表示,并连接 FR 中的特征以提取完全精炼的特征。在五个基准数据集上进行的大量实验证明了 FREE 相对于其基线和当前最先进方法的显着性能提升。我们的代码可在 https://github.com/shiming-chen/FREE 获得。我们提出了一种自适应边缘中心损失(SAMC-loss),它与语义循环一致性损失配合,引导 FR 学习与类别和语义相关的表示,并连接 FR 中的特征以提取完全精炼的特征。在五个基准数据集上进行的大量实验证明了 FREE 相对于其基线和当前最先进方法的显着性能提升。我们的代码可在 https://github.com/shiming-chen/FREE 获得。
更新日期:2021-07-30
中文翻译:
免费:通用零样本学习的特征细化
广义零样本学习(GZSL)取得了重大进展,许多努力致力于克服视觉语义域差距和看不见的偏见的问题。然而,大多数现有方法直接使用单独在 ImageNet 上训练的特征提取模型,忽略了 ImageNet 和 GZSL 基准之间的跨数据集偏差。这种偏差不可避免地导致 GZSL 任务的视觉特征质量较差,这可能会限制可见类和不可见类的识别性能。在本文中,我们提出了一种简单而有效的 GZSL 方法,称为广义零样本学习的特征细化(FREE),以解决上述问题。FREE 采用了一个特征细化 (FR) 模块,该模块将 \textit{semantic$\rightarrow$visual} 映射合并到一个统一的生成模型中,以细化可见和不可见类样本的视觉特征。此外,我们提出了一种自适应边缘中心损失(SAMC-loss),它与语义循环一致性损失合作,指导 FR 学习类和语义相关的表示,并连接 FR 中的特征以提取完全精炼的特征. 在五个基准数据集上进行的大量实验证明了 FREE 相对于其基线和当前最先进方法的显着性能提升。我们的代码可在 https://github.com/shiming-chen/FREE 获得。我们提出了一种自适应边缘中心损失(SAMC-loss),它与语义循环一致性损失配合,引导 FR 学习与类别和语义相关的表示,并连接 FR 中的特征以提取完全精炼的特征。在五个基准数据集上进行的大量实验证明了 FREE 相对于其基线和当前最先进方法的显着性能提升。我们的代码可在 https://github.com/shiming-chen/FREE 获得。我们提出了一种自适应边缘中心损失(SAMC-loss),它与语义循环一致性损失配合,引导 FR 学习与类别和语义相关的表示,并连接 FR 中的特征以提取完全精炼的特征。在五个基准数据集上进行的大量实验证明了 FREE 相对于其基线和当前最先进方法的显着性能提升。我们的代码可在 https://github.com/shiming-chen/FREE 获得。