Kernel methods are fundamental tools in machine learning that allow detection of non-linear dependencies between data without explicitly constructing feature vectors in high dimensional spaces. A major disadvantage of kernel methods is their poor scalability: primitives such as kernel PCA or kernel ridge regression generally take prohibitively large quadratic space and (at least) quadratic time, as kernel matrices are usually dense. Some methods for speeding up kernel linear algebra are known, but they all invariably take time exponential in either the dimension of the input point set (e.g., fast multipole methods suffer from the curse of dimensionality) or in the degree of the kernel function. Oblivious sketching has emerged as a powerful approach to speeding up numerical linear algebra over the past decade, but our understanding of oblivious sketching solutions for kernel matrices has remained quite limited, suffering from the aforementioned exponential dependence on input parameters. Our main contribution is a general method for applying sketching solutions developed in numerical linear algebra over the past decade to a tensoring of data points without forming the tensoring explicitly. This leads to the first oblivious sketch for the polynomial kernel with a target dimension that is only polynomially dependent on the degree of the kernel function, as well as the first oblivious sketch for the Gaussian kernel on bounded datasets that does not suffer from an exponential dependence on the dimensionality of input data points.

中文翻译：

---

高阶多项式核的遗忘草图

核方法是机器学习中的基本工具，它允许检测数据之间的非线性依赖关系，而无需在高维空间中明确构建特征向量。核方法的一个主要缺点是它们的可扩展性差：像核 PCA 或核岭回归这样的原语通常需要非常大的二次空间和（至少）二次时间，因为核矩阵通常是密集的。一些用于加速核线性代数的方法是已知的，但是它们在输入点集的维度（例如，快速多极方法遭受维度灾难）或核函数的程度方面总是以时间指数形式存在。在过去的十年中，不经意的草图已成为加速数值线性代数的有力方法，但是我们对核矩阵的不经意的草图解决方案的理解仍然非常有限，受到上述对输入参数的指数依赖性的影响。我们的主要贡献是一种通用方法，用于将过去十年在数值线性代数中开发的草图解决方案应用于数据点的张量，而无需明确地形成张量。这导致了具有目标维度的多项式内核的第一个不经意的草图，其目标维度仅在多项式上取决于核函数的次数，以及第一个不经意的草图，用于高斯核在不受指数依赖性影响的有界数据集上关于输入数据点的维度。遭受上述对输入参数的指数依赖性。我们的主要贡献是一种通用方法，用于将过去十年在数值线性代数中开发的草图解决方案应用于数据点的张量，而无需明确地形成张量。这导致了具有目标维度的多项式内核的第一个不经意的草图，其目标维度仅在多项式上取决于核函数的次数，以及第一个不经意的草图，用于高斯核在不受指数依赖性影响的有界数据集上关于输入数据点的维度。遭受上述对输入参数的指数依赖性。我们的主要贡献是一种通用方法，用于将过去十年在数值线性代数中开发的草图解决方案应用于数据点的张量，而无需明确地形成张量。这导致了具有目标维度的多项式内核的第一个不经意的草图，其目标维度仅在多项式上取决于核函数的次数，以及第一个不经意的草图，用于高斯核在不受指数依赖性影响的有界数据集上关于输入数据点的维度。