In this work, we reveal an essential problem rarely discussed in current semi-supervised learning literature: the learned feature distribution mismatch problem between labeled samples and unlabeled samples. It is common knowledge that learning from the limited labeled data easily leads to overfitting. However, the difference between the inferred labels of unlabeled data and the ground truths of labeled data may make the learned features of labeled and unlabeled data have different distributions. This distribution mismatch problem may destroy the assumption of smoothness widely used in semi-supervised field, resulting in unsatisfactory performance. In this paper, we propose a novel Semi-supervised Dual-Branch Network (SDB-Net), in which the first branch is trained with labeled and unlabeled data, and the other is trained with the predictions of unlabeled data generated from the first branch only. To avoid the different distributions between ground-truth labels and inferred labels for the unlabeled data, we proposed an effective co-consistency loss to overcome the mismatch problem and a mix-consistency loss to make each branch learn a consistent feature representation. Meanwhile, we designed an augmentation supervised loss for the first branch to further alleviate the mismatch problem. With the designed three kinds of loss, the proposed SDB-Net can be efficiently trained. The experimental results on three benchmark datasets, such as CIFAR-10, CIFAR-100 and SVHN, show the superior performance of the proposed SDB-Net.

在这项工作中，我们揭示了当前半监督学习文献中很少讨论的一个基本问题：标记样本和未标记样本之间的学习特征分布不匹配问题。众所周知，从有限的标记数据中学习很容易导致过度拟合。但是，未标记数据的推断标签与标记数据的基本事实之间的差异可能会使标记和未标记数据的学习特征具有不同的分布。这种分布不匹配问题可能会破坏在半监督领域广泛使用的平滑度假设，从而导致性能不理想。在本文中，我们提出了一种新颖的半监督双分支网络（SDB-Net），其中第一个分支使用标记的和未标记的数据进行训练，另一个则仅根据从第一分支生成的未标记数据的预测进行训练。为了避免未标注数据的地面标签和推断标签之间的分布不同，我们提出了一种有效的一致性损失来克服不匹配问题，并提出了一种混合一致性损失来使每个分支学习一致的特征表示。同时，我们为第一个分支设计了一个增强监督损失，以进一步缓解失配问题。通过设计三种损失，可以有效地训练所建议的SDB-Net。在三个基准数据集（如CIFAR-10，CIFAR-100和SVHN）上的实验结果表明，所提出的SDB-Net具有出色的性能。为了避免未标注数据的地面标签和推断标签之间的分布不同，我们提出了一种有效的一致性损失来克服不匹配问题，并提出了一种混合一致性损失来使每个分支学习一致的特征表示。同时，我们为第一个分支设计了一个增强监督损失，以进一步缓解失配问题。通过设计三种损失，可以有效地训练所建议的SDB-Net。在三个基准数据集（如CIFAR-10，CIFAR-100和SVHN）上的实验结果表明，所提出的SDB-Net具有出色的性能。为了避免未标注数据的地面标签和推断标签之间的分布不同，我们提出了一种有效的一致性损失来克服不匹配问题，并提出了一种混合一致性损失来使每个分支学习一致的特征表示。同时，我们为第一个分支设计了一个增强监督损失，以进一步缓解失配问题。通过设计三种损失，可以有效地训练所建议的SDB-Net。在三个基准数据集（如CIFAR-10，CIFAR-100和SVHN）上的实验结果表明，所提出的SDB-Net具有优越的性能。我们为第一个分支设计了一个增强监督损失，以进一步缓解不匹配问题。通过设计三种损失，可以有效地训练所建议的SDB-Net。在三个基准数据集（如CIFAR-10，CIFAR-100和SVHN）上的实验结果表明，所提出的SDB-Net具有优越的性能。我们为第一个分支设计了一个增强监督损失，以进一步缓解不匹配问题。通过设计三种损失，可以有效地训练所建议的SDB-Net。在三个基准数据集（如CIFAR-10，CIFAR-100和SVHN）上的实验结果表明，所提出的SDB-Net具有优越的性能。