The last decade has witnessed an experimental revolution in data science and machine learning, epitomised by deep learning methods. Indeed, many high-dimensional learning tasks previously thought to be beyond reach -- such as computer vision, playing Go, or protein folding -- are in fact feasible with appropriate computational scale. Remarkably, the essence of deep learning is built from two simple algorithmic principles: first, the notion of representation or feature learning, whereby adapted, often hierarchical, features capture the appropriate notion of regularity for each task, and second, learning by local gradient-descent type methods, typically implemented as backpropagation. While learning generic functions in high dimensions is a cursed estimation problem, most tasks of interest are not generic, and come with essential pre-defined regularities arising from the underlying low-dimensionality and structure of the physical world. This text is concerned with exposing these regularities through unified geometric principles that can be applied throughout a wide spectrum of applications. Such a 'geometric unification' endeavour, in the spirit of Felix Klein's Erlangen Program, serves a dual purpose: on one hand, it provides a common mathematical framework to study the most successful neural network architectures, such as CNNs, RNNs, GNNs, and Transformers. On the other hand, it gives a constructive procedure to incorporate prior physical knowledge into neural architectures and provide principled way to build future architectures yet to be invented.

中文翻译：

---

几何深度学习：网格，组，图，测地线和量规

在过去的十年中，见证了数据科学和机器学习的实验性革命，以深度学习方法为代表。实际上，以前认为无法实现的许多高维学习任务-例如计算机视觉，玩Go或蛋白质折叠-实际上在适当的计算规模下是可行的。值得注意的是，深度学习的本质是从两个简单的算法原理构建的：首先，表示或特征学习的概念，即经过调整的（通常是分层的）特征捕获每个任务的适当规律性概念，其次，通过局部梯度进行学习-下降类型的方法，通常以反向传播的方式实现。虽然从高维度学习通用函数是一个被诅咒的估计问题，但大多数感兴趣的任务不是通用的，并伴随着潜在的预先定义的规律性，这些规律性是由于潜在的低维度和物理世界的结构而产生的。本文涉及通过可在各种应用程序中应用的统一几何原理来揭示这些规律性。按照Felix Klein的Erlangen计划的精神，这种“几何统一”的努力具有双重目的：一方面，它提供了一个通用的数学框架来研究最成功的神经网络架构，例如CNN，RNN，GNN和变形金刚。另一方面，它提供了一个建设性的程序，可以将先前的物理知识整合到神经体系结构中，并提供原则性的方法来构建尚未被发明的未来体系结构。本文涉及通过可在各种应用程序中应用的统一几何原理来揭示这些规律性。按照Felix Klein的Erlangen计划的精神，这种“几何统一”的努力具有双重目的：一方面，它提供了一个通用的数学框架来研究最成功的神经网络架构，例如CNN，RNN，GNN和变形金刚。另一方面，它提供了一个建设性的程序，可以将先前的物理知识整合到神经体系结构中，并提供原则性的方法来构建尚未被发明的未来体系结构。本文涉及通过可在各种应用程序中应用的统一几何原理来揭示这些规律性。按照Felix Klein的Erlangen计划的精神，这种“几何统一”的努力具有双重目的：一方面，它提供了一个通用的数学框架来研究最成功的神经网络架构，例如CNN，RNN，GNN和变形金刚。另一方面，它提供了一个建设性的程序，可以将先前的物理知识整合到神经体系结构中，并提供原则性的方法来构建尚未被发明的未来体系结构。按照Felix Klein的Erlangen计划的精神，它具有双重目的：一方面，它提供了一个通用的数学框架来研究最成功的神经网络体系结构，例如CNN，RNN，GNN和Transformers。另一方面，它提供了一个建设性的程序，可以将先前的物理知识整合到神经体系结构中，并提供原则性的方法来构建尚未被发明的未来体系结构。按照Felix Klein的Erlangen计划的精神，它具有双重目的：一方面，它提供了一个通用的数学框架来研究最成功的神经网络体系结构，例如CNN，RNN，GNN和Transformers。另一方面，它提供了一个建设性的程序，可以将先前的物理知识整合到神经体系结构中，并提供原则性的方法来构建尚未被发明的未来体系结构。