当前位置: X-MOL 学术arXiv.cs.AI › 论文详情
Our official English website, www.x-mol.net, welcomes your feedback! (Note: you will need to create a separate account there.)
宽图神经网络:聚合可能导致指数级的可训练性损失
arXiv - CS - Artificial Intelligence Pub Date : 2021-03-03 , DOI: arxiv-2103.03113
Wei Huang, Yayong Li, Weitao Du, Richard Yi Da Xu, Jie Yin, Ling Chen

图卷积网络(GCN)及其变体在处理图结构化数据方面取得了巨大的成功。但是,众所周知,深层GCN会遇到过度平滑的问题,随着我们堆叠更多的层,节点表示趋于难以区分。尽管广泛的研究证实了这种普遍的理解,但很少进行理论分析来研究深层GCN的表达性和可训练性。在这项工作中,我们通过研究无限宽的GCN的高斯过程核(GPK)和图神经正切核(GNTK)来证明这些特征,分别对应于对表达性和可训练性的分析。我们首先通过在GPK上应用均场理论证明无限宽的GCN以指数速率衰减的表达。除了,我们在大深度上制定了GNTK的渐近行为,这使我们能够以指数速率揭示宽深GCN下降的可训练性。此外,我们扩展了理论框架以分析残差连接相似技术。我们发现这些技术可以温和地减轻指数衰减,但它们无法从根本上克服它。最后,这项工作的所有理论结果在各种图结构数据集上都得到了实验证实。但是他们没有从根本上克服它。最后,这项工作的所有理论结果在各种图结构数据集上都得到了实验证实。但是他们没有从根本上克服它。最后,这项工作的所有理论结果在各种图结构数据集上都得到了实验证实。



"点击查看英文标题和摘要"

更新日期:2021-03-05
down
wechat
bug