The covariance matrix adaptation evolution strategy (CMA-ES) is an efficient derivative-free optimization algorithm. It optimizes a black-box objective function over a well-defined parameter space in which feature functions are often defined manually. Therefore, the performance of those techniques strongly depends on the quality of the chosen features or the underlying parametric function space. Hence, enabling CMA-ES to optimize on a more complex and general function class has long been desired. In this paper, we consider modeling the input spaces in black-box optimization non-parametrically in reproducing kernel Hilbert spaces (RKHS). This modeling leads to a functional optimisation problem whose domain is a RKHS function space that enables optimisation in a very rich function class. We propose CMA-ES-RKHS, a generalized CMA-ES framework that is able to carry out black-box functional optimisation in RKHS. A search distribution on non-parametric function spaces, represented as a Gaussian process, is adapted by updating both its mean function and covariance operator. Adaptive and sparse representation of the mean function and the covariance operator can be retained for efficient computation in the updates and evaluations of CMA-ES-RKHS by resorting to sparsification. We will also show how to apply our new black-box framework to search for an optimum policy in reinforcement learning in which policies are represented as functions in a RKHS. CMA-ES-RKHS is evaluated on two functional optimization problems and two bench-marking reinforcement learning domains.

中文翻译：

---

再现核希尔伯特空间的协方差矩阵自适应演化策略

协方差矩阵自适应进化策略（CMA-ES）是一种高效的无导数优化算法。它在明确定义的参数空间上优化黑盒目标函数，其中特征函数通常是手动定义的。因此，这些技术的性能在很大程度上取决于所选特征的质量或底层参数函数空间。因此，长期以来一直希望使 CMA-ES 能够优化更复杂和更通用的函数类。在本文中，我们考虑在再现内核希尔伯特空间 (RKHS) 中以非参数方式对黑盒优化中的输入空间进行建模。这种建模导致了一个函数优化问题，其域是一个 RKHS 函数空间，可以在非常丰富的函数类中进行优化。我们建议 CMA-ES-RKHS，一个通用的 CMA-ES 框架，能够在 RKHS 中进行黑盒功能优化。非参数函数空间上的搜索分布，表示为高斯过程，通过更新其均值函数和协方差算子来适应。通过采用稀疏化，可以保留均值函数和协方差算子的自适应和稀疏表示，以便在 CMA-ES-RKHS 的更新和评估中进行有效计算。我们还将展示如何应用我们的新黑盒框架来搜索强化学习中的最佳策略，其中策略在 RKHS 中表示为函数。CMA-ES-RKHS 在两个功能优化问题和两个基准强化学习领域进行评估。非参数函数空间上的搜索分布，表示为高斯过程，通过更新其均值函数和协方差算子来适应。通过采用稀疏化，可以保留均值函数和协方差算子的自适应和稀疏表示，以便在 CMA-ES-RKHS 的更新和评估中进行有效计算。我们还将展示如何应用我们的新黑盒框架来搜索强化学习中的最佳策略，其中策略在 RKHS 中表示为函数。CMA-ES-RKHS 在两个功能优化问题和两个基准强化学习领域进行评估。非参数函数空间上的搜索分布，表示为高斯过程，通过更新其均值函数和协方差算子来适应。通过采用稀疏化，可以保留均值函数和协方差算子的自适应和稀疏表示，以便在 CMA-ES-RKHS 的更新和评估中进行有效计算。我们还将展示如何应用我们的新黑盒框架来搜索强化学习中的最佳策略，其中策略在 RKHS 中表示为函数。CMA-ES-RKHS 在两个功能优化问题和两个基准强化学习领域进行评估。通过采用稀疏化，可以保留均值函数和协方差算子的自适应和稀疏表示，以便在 CMA-ES-RKHS 的更新和评估中进行有效计算。我们还将展示如何应用我们的新黑盒框架来搜索强化学习中的最佳策略，其中策略在 RKHS 中表示为函数。CMA-ES-RKHS 在两个功能优化问题和两个基准强化学习领域进行评估。通过采用稀疏化，可以保留均值函数和协方差算子的自适应和稀疏表示，以便在 CMA-ES-RKHS 的更新和评估中进行有效计算。我们还将展示如何应用我们的新黑盒框架来搜索强化学习中的最佳策略，其中策略在 RKHS 中表示为函数。CMA-ES-RKHS 在两个功能优化问题和两个基准强化学习领域进行评估。