当前位置: X-MOL 学术arXiv.cs.LG › 论文详情
Our official English website, www.x-mol.net, welcomes your feedback! (Note: you will need to create a separate account there.)
巴洛双胞胎:通过减少冗余进行自我指导的学习
arXiv - CS - Machine Learning Pub Date : 2021-03-04 , DOI: arxiv-2103.03230
Jure Zbontar, Li Jing, Ishan Misra, Yann LeCun, Stéphane Deny

自我监督学习(SSL)通过大型计算机视觉基准上的监督方法正在迅速缩小差距。SSL的成功方法是学习不变于输入样本失真的表示形式。但是,这种方法经常出现的问题是琐碎的常量表示形式的存在。当前大多数方法都通过仔细的实现细节来避免这种崩溃的解决方案。我们提出了一个目标函数,通过测量两个相同网络的输出之间的互相关矩阵,该互相关矩阵由样本的失真版本提供,并使其与单位矩阵尽可能接近,从而自然避免了此类崩溃。这使得样本的失真版本的表示向量相似,同时最小化了这些向量的分量之间的冗余。由于神经科学家H. Barlow将冗余减少原理应用于一对相同的网络,因此该方法称为Barlow Twins。Barlow双胞胎不需要大批量生产,也不需要网络双胞胎之间的不对称性,例如预测器网络,梯度停止或重量更新的移动平均值。它允许使用非常高维的输出向量。Barlow Twins优于ImageNet上在低数据状态下进行半监督分类的方法,并且与具有线性分类器头的ImageNet分类以及分类和对象检测的传输任务的当前技术水平相当。Barlow双胞胎不需要大批量生产,也不需要网络双胞胎之间的不对称性,例如预测器网络,梯度停止或重量更新的移动平均值。它允许使用非常高维的输出向量。Barlow Twins优于ImageNet上在低数据状态下进行半监督分类的方法,并且与具有线性分类器头的ImageNet分类以及分类和对象检测的传输任务的当前技术水平相当。Barlow双胞胎不需要大批量生产,也不需要网络双胞胎之间的不对称性,例如预测器网络,梯度停止或重量更新的移动平均值。它允许使用非常高维的输出向量。Barlow Twins优于ImageNet上在低数据状态下进行半监督分类的方法,并且与具有线性分类器头的ImageNet分类以及分类和对象检测的传输任务的当前技术水平相当。



"点击查看英文标题和摘要"

更新日期:2021-03-05
down
wechat
bug