带注释的医学图像通常比带标签的自然图像稀有，因为它们受到领域知识和隐私约束的限制。迁移和对比学习的最新进展为从不同角度解决此类问题提供了有效的解决方案。在不考虑此类技术的互补性的情况下，已经独立研究了最先进的转移学习（例如，大转移（BiT））和对比学习（例如，简单暹罗对比学习（SimSiam））方法。鉴于缓慢的收敛速度是现代对比学习方法的关键局限性，使用迁移学习来加速对比学习将是有吸引力的。在本文中，我们研究了将BiT与SimSiam对齐的可行性。根据经验分析，不同的规范化技术（BiT中的组规范与SimSiam中的批处理规范）是使BiT适应SimSiam的关键障碍。将BiT与SimSiam结合使用时，我们评估了在CIFAR-10和HAM10000数据集上使用BiT，SimSiam和BiT + SimSiam的性能。结果表明，BiT模型加快了SimSiam的收敛速度。当一起使用时，该模型将提供优于其两个同类产品的性能。我们希望这项研究能激励研究人员重新审视将大型预训练模型与对比学习模型进行图像分析聚合的任务。结果表明，BiT模型加快了SimSiam的收敛速度。当一起使用时，该模型将提供优于其两个同类产品的性能。我们希望这项研究能激励研究人员重新审视将大型预训练模型与对比学习模型进行图像分析聚合的任务。结果表明，BiT模型加快了SimSiam的收敛速度。当一起使用时，该模型将提供优于其两个同类产品的性能。我们希望这项研究能激励研究人员重新审视将大型预训练模型与对比学习模型进行图像分析聚合的任务。



"点击查看英文标题和摘要"