当前位置:
X-MOL 学术
›
arXiv.cs.CV
›
论文详情
Our official English website, www.x-mol.net, welcomes your feedback! (Note: you will need to create a separate account there.)
On The Consistency Training for Open-Set Semi-Supervised Learning
arXiv - CS - Computer Vision and Pattern Recognition Pub Date : 2021-01-19 , DOI: arxiv-2101.08237 Huixiang Luo, Hao Cheng, Yuting Gao, Ke Li, Mengdan Zhang, Fanxu Meng, Xiaowei Guo, Feiyue Huang, Xing Sun
arXiv - CS - Computer Vision and Pattern Recognition Pub Date : 2021-01-19 , DOI: arxiv-2101.08237 Huixiang Luo, Hao Cheng, Yuting Gao, Ke Li, Mengdan Zhang, Fanxu Meng, Xiaowei Guo, Feiyue Huang, Xing Sun
Conventional semi-supervised learning (SSL) methods, e.g., MixMatch, achieve
great performance when both labeled and unlabeled dataset are drawn from the
same distribution. However, these methods often suffer severe performance
degradation in a more realistic setting, where unlabeled dataset contains
out-of-distribution (OOD) samples. Recent approaches mitigate the negative
influence of OOD samples by filtering them out from the unlabeled data. Our
studies show that it is not necessary to get rid of OOD samples during
training. On the contrary, the network can benefit from them if OOD samples are
properly utilized. We thoroughly study how OOD samples affect DNN training in
both low- and high-dimensional spaces, where two fundamental SSL methods are
considered: Pseudo Labeling (PL) and Data Augmentation based Consistency
Training (DACT). Conclusion is twofold: (1) unlike PL that suffers performance
degradation, DACT brings improvement to model performance; (2) the improvement
is closely related to class-wise distribution gap between the labeled and the
unlabeled dataset. Motivated by this observation, we further improve the model
performance by bridging the gap between the labeled and the unlabeled datasets
(containing OOD samples). Compared to previous algorithms paying much attention
to distinguishing between ID and OOD samples, our method makes better use of
OOD samples and achieves state-of-the-art results.
中文翻译:
论开放式半监督学习的一致性训练
当从同一分布中提取标记和未标记的数据集时,传统的半监督学习(SSL)方法(例如MixMatch)可实现出色的性能。但是,这些方法在更现实的环境中通常会遭受严重的性能下降,在这种情况下,未标记的数据集包含分布失调(OOD)样本。最近的方法通过将OOD样本从未标记的数据中过滤掉来减轻其不利影响。我们的研究表明,在训练过程中没有必要去除OOD样品。相反,如果OOD样本得到适当利用,则网络可以从中受益。我们彻底研究了OOD样本如何在低维和高维空间中影响DNN训练,其中考虑了两种基本SSL方法:伪标记(PL)和基于数据增强的一致性训练(DACT)。结论有两个方面:(1)与PL的性能下降不同,DACT改善了模型性能;(2)改进与标记数据集和未标记数据集之间的类分配差距密切相关。受此观察结果的启发,我们通过弥合标记数据集和未标记数据集(包含OOD样本)之间的差距,进一步提高了模型性能。与以前非常注重区分ID和OOD样本的算法相比,我们的方法更好地利用了OOD样本并获得了最新的结果。我们通过弥合标记数据集和未标记数据集(包含OOD样本)之间的差距来进一步提高模型性能。与以前非常注重区分ID和OOD样本的算法相比,我们的方法更好地利用了OOD样本并获得了最新的结果。我们通过弥合标记数据集和未标记数据集(包含OOD样本)之间的差距来进一步提高模型性能。与以前非常注重区分ID和OOD样本的算法相比,我们的方法更好地利用了OOD样本并获得了最新的结果。
更新日期:2021-01-21
中文翻译:
论开放式半监督学习的一致性训练
当从同一分布中提取标记和未标记的数据集时,传统的半监督学习(SSL)方法(例如MixMatch)可实现出色的性能。但是,这些方法在更现实的环境中通常会遭受严重的性能下降,在这种情况下,未标记的数据集包含分布失调(OOD)样本。最近的方法通过将OOD样本从未标记的数据中过滤掉来减轻其不利影响。我们的研究表明,在训练过程中没有必要去除OOD样品。相反,如果OOD样本得到适当利用,则网络可以从中受益。我们彻底研究了OOD样本如何在低维和高维空间中影响DNN训练,其中考虑了两种基本SSL方法:伪标记(PL)和基于数据增强的一致性训练(DACT)。结论有两个方面:(1)与PL的性能下降不同,DACT改善了模型性能;(2)改进与标记数据集和未标记数据集之间的类分配差距密切相关。受此观察结果的启发,我们通过弥合标记数据集和未标记数据集(包含OOD样本)之间的差距,进一步提高了模型性能。与以前非常注重区分ID和OOD样本的算法相比,我们的方法更好地利用了OOD样本并获得了最新的结果。我们通过弥合标记数据集和未标记数据集(包含OOD样本)之间的差距来进一步提高模型性能。与以前非常注重区分ID和OOD样本的算法相比,我们的方法更好地利用了OOD样本并获得了最新的结果。我们通过弥合标记数据集和未标记数据集(包含OOD样本)之间的差距来进一步提高模型性能。与以前非常注重区分ID和OOD样本的算法相比,我们的方法更好地利用了OOD样本并获得了最新的结果。