当前位置: X-MOL 学术arXiv.cs.CV › 论文详情
Our official English website, www.x-mol.net, welcomes your feedback! (Note: you will need to create a separate account there.)
论图在卷积网络学习中的重要性
arXiv - CS - Computer Vision and Pattern Recognition Pub Date : 2021-03-03 , DOI: arxiv-2103.02696
Weilin Cong, Morteza Ramezani, Mehrdad Mahdavi

图卷积网络(GCN)在各种图相关的应用程序中取得了令人印象深刻的经验进步。尽管取得了巨大的成功,但在大型图上训练GCN仍然存在计算和内存问题。克服这些障碍的潜在途径是基于采样的方法,其中在每一层对节点的子集进行采样。尽管最近的研究已经从经验上证明了基于采样的方法的有效性,但是这些工作在实际设置下缺乏理论上的收敛保证,并且在优化过程中无法充分利用不断变化的参数信息。在本文中,我们描述和分析了一个通用的\ textbf {\ textit {doublyvariance reduction}}模式,该模式可以在内存预算下加快任何采样方法的速度。提出的模式的动机是对采样方法的方差进行仔细分析,结果表明在前向传播和逐层渐变过程中,可以将诱发方差分解为节点嵌入近似方差(\ emph {zeroth-order方差})。向后传播期间的方差(\ emph {一阶方差})。我们从理论上分析了所提出方案的收敛性,并表明它具有$ \ mathcal {O}(1 / T)$的收敛速度。我们通过将建议的方案集成到不同的抽样方法中并将其应用于不同的大型现实世界图来补充理论结果。代码是公开的,网址为〜\ url {https://github.com/CongWeilin/SGCN.git}。



"点击查看英文标题和摘要"

更新日期:2021-03-05
down
wechat
bug