当前位置:
X-MOL 学术
›
arXiv.cs.DS
›
论文详情
Our official English website, www.x-mol.net, welcomes your
feedback! (Note: you will need to create a separate account there.)
Acceleration with a Ball Optimization Oracle
arXiv - CS - Data Structures and Algorithms Pub Date : 2020-03-18 , DOI: arxiv-2003.08078 Yair Carmon, Arun Jambulapati, Qijia Jiang, Yujia Jin, Yin Tat Lee, Aaron Sidford, Kevin Tian
arXiv - CS - Data Structures and Algorithms Pub Date : 2020-03-18 , DOI: arxiv-2003.08078 Yair Carmon, Arun Jambulapati, Qijia Jiang, Yujia Jin, Yin Tat Lee, Aaron Sidford, Kevin Tian
Consider an oracle which takes a point $x$ and returns the minimizer of a
convex function $f$ in an $\ell_2$ ball of radius $r$ around $x$. It is
straightforward to show that roughly $r^{-1}\log\frac{1}{\epsilon}$ calls to
the oracle suffice to find an $\epsilon$-approximate minimizer of $f$ in an
$\ell_2$ unit ball. Perhaps surprisingly, this is not optimal: we design an
accelerated algorithm which attains an $\epsilon$-approximate minimizer with
roughly $r^{-2/3} \log \frac{1}{\epsilon}$ oracle queries, and give a matching
lower bound. Further, we implement ball optimization oracles for functions with
locally stable Hessians using a variant of Newton's method. The resulting
algorithm applies to a number of problems of practical and theoretical import,
improving upon previous results for logistic and $\ell_\infty$ regression and
achieving guarantees comparable to the state-of-the-art for $\ell_p$
regression.
中文翻译:
使用 Ball 优化 Oracle 加速
考虑一个预言机,它接受一个点 $x$ 并返回一个在 $x$ 周围半径为 $r$ 的 $\ell_2$ 球中的凸函数 $f$ 的最小值。很容易证明,大约 $r^{-1}\log\frac{1}{\epsilon}$ 调用 oracle 就足以在 $\ell_2 中找到 $f$ 的 $\epsilon$-近似最小值$单位球。也许令人惊讶的是,这不是最优的:我们设计了一个加速算法,该算法通过大约 $r^{-2/3} \log \frac{1}{\epsilon}$ oracle 查询获得 $\epsilon$-近似最小化器,并且给出一个匹配的下限。此外,我们使用牛顿方法的变体为具有局部稳定 Hessian 的函数实现了球优化预言机。由此产生的算法适用于许多具有实践和理论意义的问题,
更新日期:2020-03-19
中文翻译:
使用 Ball 优化 Oracle 加速
考虑一个预言机,它接受一个点 $x$ 并返回一个在 $x$ 周围半径为 $r$ 的 $\ell_2$ 球中的凸函数 $f$ 的最小值。很容易证明,大约 $r^{-1}\log\frac{1}{\epsilon}$ 调用 oracle 就足以在 $\ell_2 中找到 $f$ 的 $\epsilon$-近似最小值$单位球。也许令人惊讶的是,这不是最优的:我们设计了一个加速算法,该算法通过大约 $r^{-2/3} \log \frac{1}{\epsilon}$ oracle 查询获得 $\epsilon$-近似最小化器,并且给出一个匹配的下限。此外,我们使用牛顿方法的变体为具有局部稳定 Hessian 的函数实现了球优化预言机。由此产生的算法适用于许多具有实践和理论意义的问题,