We introduce a new approach to develop stochastic optimization algorithms for a class of stochastic composite and possibly nonconvex optimization problems. The main idea is to combine a variance-reduced estimator and an unbiased stochastic one to create a new hybrid estimator which trades-off the variance and bias, and possesses useful properties for developing new algorithms. We first introduce our hybrid estimator and investigate its fundamental properties to form a foundational theory for algorithmic development. Next, we apply our new estimator to develop several variants of stochastic gradient method to solve both expectation and finite-sum composite optimization problems. Our first algorithm can be viewed as a variant of proximal stochastic gradient methods with a single loop and single sample, but can achieve the best-known oracle complexity bound as state-of-the-art double-loop algorithms in the literature. Then, we consider two different variants of our method: adaptive step-size and restarting schemes that have similar theoretical guarantees as in our first algorithm. We also study two mini-batch variants of the proposed methods. In all cases, we achieve the best-known complexity bounds under standard assumptions. We test our algorithms on several numerical examples with real datasets and compare them with many existing methods. Our numerical experiments show that the new algorithms are comparable and, in many cases, outperform their competitors.

中文翻译：

---

用于复合非凸优化的混合随机优化框架

我们引入了一种新方法来为一类随机复合和可能的非凸优化问题开发随机优化算法。主要思想是将方差减少的估计量和无偏随机估计量相结合，以创建一种新的混合估计量，该估计量在方差和偏差之间进行权衡，并具有用于开发新算法的有用特性。我们首先介绍我们的混合估计器并研究其基本属性，以形成算法开发的基础理论。接下来，我们应用我们的新估计器来开发随机梯度方法的几种变体，以解决期望和有限和复合优化问题。我们的第一个算法可以看作是具有单个循环和单个样本的近端随机梯度方法的变体，但可以达到文献中最先进的双循环算法中最著名的预言机复杂度界限。然后，我们考虑我们方法的两种不同变体：自适应步长和重新启动方案，它们具有与我们的第一个算法类似的理论保证。我们还研究了所提出方法的两个小批量变体。在所有情况下，我们都在标准假设下达到了最著名的复杂度界限。我们使用真实数据集在几个数值示例上测试我们的算法，并将它们与许多现有方法进行比较。我们的数值实验表明，新算法具有可比性，并且在许多情况下优于竞争对手。自适应步长和重新启动方案具有与我们的第一个算法类似的理论保证。我们还研究了所提出方法的两个小批量变体。在所有情况下，我们都在标准假设下达到了最著名的复杂度界限。我们使用真实数据集在几个数值示例上测试我们的算法，并将它们与许多现有方法进行比较。我们的数值实验表明，新算法具有可比性，并且在许多情况下优于竞争对手。自适应步长和重新启动方案具有与我们的第一个算法类似的理论保证。我们还研究了所提出方法的两个小批量变体。在所有情况下，我们都在标准假设下达到了最著名的复杂度界限。我们使用真实数据集在几个数值示例上测试我们的算法，并将它们与许多现有方法进行比较。我们的数值实验表明，新算法具有可比性，并且在许多情况下优于竞争对手。