当前位置:
X-MOL 学术
›
arXiv.cs.CC
›
论文详情
Our official English website, www.x-mol.net, welcomes your
feedback! (Note: you will need to create a separate account there.)
Lower Bounds on Metropolized Sampling Methods for Well-Conditioned Distributions
arXiv - CS - Computational Complexity Pub Date : 2021-06-10 , DOI: arxiv-2106.05480 Yin Tat Lee, Ruoqi Shen, Kevin Tian
arXiv - CS - Computational Complexity Pub Date : 2021-06-10 , DOI: arxiv-2106.05480 Yin Tat Lee, Ruoqi Shen, Kevin Tian
We give lower bounds on the performance of two of the most popular sampling
methods in practice, the Metropolis-adjusted Langevin algorithm (MALA) and
multi-step Hamiltonian Monte Carlo (HMC) with a leapfrog integrator, when
applied to well-conditioned distributions. Our main result is a nearly-tight
lower bound of $\widetilde{\Omega}(\kappa d)$ on the mixing time of MALA from
an exponentially warm start, matching a line of algorithmic results up to
logarithmic factors and answering an open question of Chewi et. al. We also
show that a polynomial dependence on dimension is necessary for the relaxation
time of HMC under any number of leapfrog steps, and bound the gains achievable
by changing the step count. Our HMC analysis draws upon a novel connection
between leapfrog integration and Chebyshev polynomials, which may be of
independent interest.
中文翻译:
条件良好分布的都市化抽样方法的下限
当应用于条件良好的分布时,我们给出了实践中两种最流行的采样方法的性能下限,即 Metropolis-adjusted Langevin 算法 (MALA) 和带有跳蛙积分器的多步哈密顿蒙特卡罗 (HMC)。我们的主要结果是,从指数热启动开始,MALA 混合时间的 $\widetilde{\Omega}(\kappa d)$ 几乎严格的下限,匹配一系列算法结果到对数因子并回答一个开放的Chewi 等人的问题 阿尔。我们还表明,在任意数量的跳跃步数下,HMC 的弛豫时间需要对维度的多项式依赖,并通过改变步数来限制可实现的增益。我们的 HMC 分析利用了跨越式积分和切比雪夫多项式之间的新联系,这可能是独立的兴趣。
更新日期:2021-06-11
中文翻译:
条件良好分布的都市化抽样方法的下限
当应用于条件良好的分布时,我们给出了实践中两种最流行的采样方法的性能下限,即 Metropolis-adjusted Langevin 算法 (MALA) 和带有跳蛙积分器的多步哈密顿蒙特卡罗 (HMC)。我们的主要结果是,从指数热启动开始,MALA 混合时间的 $\widetilde{\Omega}(\kappa d)$ 几乎严格的下限,匹配一系列算法结果到对数因子并回答一个开放的Chewi 等人的问题 阿尔。我们还表明,在任意数量的跳跃步数下,HMC 的弛豫时间需要对维度的多项式依赖,并通过改变步数来限制可实现的增益。我们的 HMC 分析利用了跨越式积分和切比雪夫多项式之间的新联系,这可能是独立的兴趣。