We study the fundamental problems of agnostically learning halfspaces and ReLUs under Gaussian marginals. In the former problem, given labeled examples $(\mathbf{x}, y)$ from an unknown distribution on $\mathbb{R}^d \times \{ \pm 1\}$, whose marginal distribution on $\mathbf{x}$ is the standard Gaussian and the labels $y$ can be arbitrary, the goal is to output a hypothesis with 0-1 loss $\mathrm{OPT}+\epsilon$, where $\mathrm{OPT}$ is the 0-1 loss of the best-fitting halfspace. In the latter problem, given labeled examples $(\mathbf{x}, y)$ from an unknown distribution on $\mathbb{R}^d \times \mathbb{R}$, whose marginal distribution on $\mathbf{x}$ is the standard Gaussian and the labels $y$ can be arbitrary, the goal is to output a hypothesis with square loss $\mathrm{OPT}+\epsilon$, where $\mathrm{OPT}$ is the square loss of the best-fitting ReLU. We prove Statistical Query (SQ) lower bounds of $d^{\mathrm{poly}(1/\epsilon)}$ for both of these problems. Our SQ lower bounds provide strong evidence that current upper bounds for these tasks are essentially best possible.

中文翻译：

---

高斯边际下不可知学习半空间和 ReLU 的近最优 SQ 下界

我们研究了在高斯边缘下不可知学习半空间和 ReLU 的基本问题。在前一个问题中，给定来自 $\mathbb{R}^d \times \{ \pm 1\}$ 上的未知分布的标记示例 $(\mathbf{x}, y)$，其在 $\mathbf 上的边际分布{x}$ 是标准高斯，标签 $y$ 可以是任意的，目标是输出一个损失为 0-1 的假设 $\mathrm{OPT}+\epsilon$，其中 $\mathrm{OPT}$ 是最佳拟合半空间的 0-1 损失。在后一个问题中，给定来自 $\mathbb{R}^d \times \mathbb{R}$ 上的未知分布的标记示例 $(\mathbf{x}, y)$，其在 $\mathbf{x 上的边际分布}$ 是标准高斯，标签 $y$ 可以是任意的，目标是输出一个具有平方损失 $\mathrm{OPT}+\epsilon$ 的假设，其中 $\mathrm{OPT}$ 是最佳拟合 ReLU 的平方损失。对于这两个问题，我们证明了 $d^{\mathrm{poly}(1/\epsilon)}$ 的统计查询 (SQ) 下界。我们的 SQ 下界提供了强有力的证据，表明这些任务的当前上限本质上是最好的。