当前位置:
X-MOL 学术
›
arXiv.cs.DS
›
论文详情
Our official English website, www.x-mol.net, welcomes your
feedback! (Note: you will need to create a separate account there.)
On Efficient Optimal Transport: An Analysis of Greedy and Accelerated Mirror Descent Algorithms
arXiv - CS - Data Structures and Algorithms Pub Date : 2019-01-19 , DOI: arxiv-1901.06482 Tianyi Lin, Nhat Ho, Michael I. Jordan
arXiv - CS - Data Structures and Algorithms Pub Date : 2019-01-19 , DOI: arxiv-1901.06482 Tianyi Lin, Nhat Ho, Michael I. Jordan
We provide theoretical analyses for two algorithms that solve the regularized
optimal transport (OT) problem between two discrete probability measures with
at most $n$ atoms. We show that a greedy variant of the classical Sinkhorn
algorithm, known as the \emph{Greenkhorn algorithm}, can be improved to
$\widetilde{\mathcal{O}}(n^2\varepsilon^{-2})$, improving on the best known
complexity bound of $\widetilde{\mathcal{O}}(n^2\varepsilon^{-3})$. Notably,
this matches the best known complexity bound for the Sinkhorn algorithm and
helps explain why the Greenkhorn algorithm can outperform the Sinkhorn
algorithm in practice. Our proof technique, which is based on a primal-dual
formulation and a novel upper bound for the dual solution, also leads to a new
class of algorithms that we refer to as \emph{adaptive primal-dual accelerated
mirror descent} (APDAMD) algorithms. We prove that the complexity of these
algorithms is $\widetilde{\mathcal{O}}(n^2\sqrt{\delta}\varepsilon^{-1})$,
where $\delta > 0$ refers to the inverse of the strong convexity module of
Bregman divergence with respect to $\|\cdot\|_\infty$. This implies that the
APDAMD algorithm is faster than the Sinkhorn and Greenkhorn algorithms in terms
of $\varepsilon$. Experimental results on synthetic and real datasets
demonstrate the favorable performance of the Greenkhorn and APDAMD algorithms
in practice.
中文翻译:
关于有效最优传输:贪婪和加速镜像下降算法的分析
我们为两种算法提供了理论分析,这些算法解决了最多具有 $n$ 个原子的两个离散概率度量之间的正则化最优传输 (OT) 问题。我们展示了经典 Sinkhorn 算法的贪婪变体,称为 \emph{Greenkhorn 算法},可以改进为 $\widetilde{\mathcal{O}}(n^2\varepsilon^{-2})$,改进了 $\widetilde{\mathcal{O}}(n^2\varepsilon^{-3})$ 的最著名的复杂度界限。值得注意的是,这与 Sinkhorn 算法最著名的复杂度界限相匹配,并有助于解释为什么 Greenkhorn 算法在实践中可以优于 Sinkhorn 算法。我们的证明技术基于原始对偶公式和对偶解的新上限,也导致了一类新的算法,我们将其称为\emph{adaptive primal-dual 加速镜像下降}(APDAMD)算法。我们证明这些算法的复杂度是$\widetilde{\mathcal{O}}(n^2\sqrt{\delta}\varepsilon^{-1})$,其中$\delta > 0$指的是逆Bregman 散度的强凸性模块相对于 $\|\cdot\|_\infty$。这意味着 APDAMD 算法在 $\varepsilon$ 方面比 Sinkhorn 和 Greenkhorn 算法更快。在合成和真实数据集上的实验结果证明了 Greenkhorn 和 APDAMD 算法在实践中的良好性能。0$ 是指 Bregman 散度的强凸模相对于 $\|\cdot\|_\infty$ 的逆。这意味着 APDAMD 算法在 $\varepsilon$ 方面比 Sinkhorn 和 Greenkhorn 算法更快。在合成和真实数据集上的实验结果证明了 Greenkhorn 和 APDAMD 算法在实践中的良好性能。0$ 是指 Bregman 散度的强凸模相对于 $\|\cdot\|_\infty$ 的逆。这意味着 APDAMD 算法在 $\varepsilon$ 方面比 Sinkhorn 和 Greenkhorn 算法更快。在合成和真实数据集上的实验结果证明了 Greenkhorn 和 APDAMD 算法在实践中的良好性能。
更新日期:2020-07-15
中文翻译:
关于有效最优传输:贪婪和加速镜像下降算法的分析
我们为两种算法提供了理论分析,这些算法解决了最多具有 $n$ 个原子的两个离散概率度量之间的正则化最优传输 (OT) 问题。我们展示了经典 Sinkhorn 算法的贪婪变体,称为 \emph{Greenkhorn 算法},可以改进为 $\widetilde{\mathcal{O}}(n^2\varepsilon^{-2})$,改进了 $\widetilde{\mathcal{O}}(n^2\varepsilon^{-3})$ 的最著名的复杂度界限。值得注意的是,这与 Sinkhorn 算法最著名的复杂度界限相匹配,并有助于解释为什么 Greenkhorn 算法在实践中可以优于 Sinkhorn 算法。我们的证明技术基于原始对偶公式和对偶解的新上限,也导致了一类新的算法,我们将其称为\emph{adaptive primal-dual 加速镜像下降}(APDAMD)算法。我们证明这些算法的复杂度是$\widetilde{\mathcal{O}}(n^2\sqrt{\delta}\varepsilon^{-1})$,其中$\delta > 0$指的是逆Bregman 散度的强凸性模块相对于 $\|\cdot\|_\infty$。这意味着 APDAMD 算法在 $\varepsilon$ 方面比 Sinkhorn 和 Greenkhorn 算法更快。在合成和真实数据集上的实验结果证明了 Greenkhorn 和 APDAMD 算法在实践中的良好性能。0$ 是指 Bregman 散度的强凸模相对于 $\|\cdot\|_\infty$ 的逆。这意味着 APDAMD 算法在 $\varepsilon$ 方面比 Sinkhorn 和 Greenkhorn 算法更快。在合成和真实数据集上的实验结果证明了 Greenkhorn 和 APDAMD 算法在实践中的良好性能。0$ 是指 Bregman 散度的强凸模相对于 $\|\cdot\|_\infty$ 的逆。这意味着 APDAMD 算法在 $\varepsilon$ 方面比 Sinkhorn 和 Greenkhorn 算法更快。在合成和真实数据集上的实验结果证明了 Greenkhorn 和 APDAMD 算法在实践中的良好性能。