This paper proves an abstract theorem addressing in a unified manner two important problems in function approximation: avoiding curse of dimensionality and estimating the degree of approximation for out-of-sample extension in manifold learning. We consider an abstract (shallow) network that includes, for example, neural networks, radial basis function networks, and kernels on data defined manifolds used for function approximation in various settings. A deep network is obtained by a composition of the shallow networks according to a directed acyclic graph, representing the architecture of the deep network. In this paper, we prove dimension independent bounds for approximation by shallow networks in the very general setting of what we have called G-networks on a compact metric measure space, where the notion of dimension is defined in terms of the cardinality of maximal distinguishable sets, generalizing the notion of dimension of a cube or a manifold. Our techniques give bounds that improve without saturation with the smoothness of the kernel involved in an integral representation of the target function. In the context of manifold learning, our bounds provide estimates on the degree of approximation for an out-of-sample extension of the target function to the ambient space. One consequence of our theorem is that without the requirement of robust parameter selection, deep networks using a non-smooth activation function such as the ReLU, do not provide any significant advantage over shallow networks in terms of the degree of approximation alone.

中文翻译：

---

一般浅层网络的尺寸无关范围。

本文证明了一个抽象定理，它以统一的方式解决了函数逼近中的两个重要问题：避免了维数的诅咒，并估计了流形学习中样本外扩展的逼近程度。我们考虑一个抽象（浅）网络，该网络包括例如神经网络，径向基函数网络以及数据定义流形上的核，这些流形用于各种设置中的函数逼近。通过根据有向无环图表示浅层网络的架构，由浅层网络的组成来获得深层网络。在本文中，我们证明了在紧凑度量度量空间上我们所谓的G网络的非常一般的设置中，浅层网络逼近的尺寸无关边界，其中维的概念是根据最大可区分集的基数定义的，概括了立方体或流形的维的概念。我们的技术给出的边界在不饱和的情况下得以改善，而目标函数的整数表示中涉及的内核的平滑度却没有达到饱和。在流形学习的背景下，我们的界限提供了对目标函数到环境空间的样本外扩展的近似程度的估计。我们的定理的一个结果是，在不需要鲁棒参数选择的情况下，使用非平滑激活函数（例如ReLU）的深层网络在单独的逼近度方面没有提供比浅层网络任何明显的优势。概括了多维数据集或流形的尺寸概念。我们的技术给出的边界在不饱和的情况下得以改善，而目标函数的整数表示中涉及的内核的平滑度却没有达到饱和。在流形学习的背景下，我们的界限提供了对目标函数到环境空间的样本外扩展的近似程度的估计。我们的定理的一个结果是，在不需要鲁棒参数选择的情况下，使用非平滑激活函数（例如ReLU）的深层网络在单独的逼近度方面没有提供比浅层网络任何显着的优势。概括了多维数据集或流形的尺寸概念。我们的技术给出的边界在不饱和的情况下得以改善，而目标函数的整数表示中涉及的内核的平滑度却没有达到饱和。在流形学习的背景下，我们的界限提供了对目标函数到环境空间的样本外扩展的近似程度的估计。我们的定理的一个结果是，在不需要鲁棒参数选择的情况下，使用非平滑激活函数（例如ReLU）的深层网络在单独的逼近度方面没有提供比浅层网络任何显着的优势。在流形学习的背景下，我们的界限提供了对目标函数到环境空间的样本外扩展的近似程度的估计。我们的定理的一个结果是，在不需要鲁棒参数选择的情况下，使用非平滑激活函数（例如ReLU）的深层网络在单独的逼近度方面没有提供比浅层网络任何显着的优势。在流形学习的背景下，我们的界限提供了对目标函数到环境空间的样本外扩展的近似程度的估计。我们的定理的一个结果是，在不需要鲁棒参数选择的情况下，使用非平滑激活函数（例如ReLU）的深层网络在单独的逼近度方面没有提供比浅层网络任何显着的优势。