Choosing the right parameter configurations for recurring jobs running on big data analytics platforms is difficult because there can be hundreds of possible parameter configurations to pick from. Even the selection of parameter configurations is based on different types of applications and user requirements. The difference between the best configuration and the worst configuration can have a performance impact of more than 10 times. However, parameters of big data platforms are not independent, which makes it a challenge to automatically identify the optimal configuration for a broad spectrum of applications. To alleviate these problems, we proposed MonkeyKing, a system that leverages past experience and collects new information to adjust parameter configurations of big data platforms. It can recommend key parameters, which have strong impact on performance according to job types, and then combine deep reinforcement learning (DRL) to optimize key parameters to improve job performance. We choose the current popular deep Q-network (DQN) structure and its four improved algorithms, including DQN, Double DQN, Dueling DQN, and the combined Double DQN and Dueling DQN, and finally found that the combined Double DQN and Dueling DQN has a better effect. Our experiments and evaluations on Spark show that performance can be improved by ∼25% under best conditions.

中文翻译：

---

MonkeyKing：具有深度强化学习的大数据平台上的自适应参数调整。

为在大数据分析平台上运行的重复性作业选择正确的参数配置很困难，因为可能有数百种可能的参数配置可供选择。甚至参数配置的选择也是基于不同类型的应用和用户需求。最佳配置和最差配置之间的差异可能会对性能产生 10 倍以上的影响。然而，大数据平台的参数并不是独立的，这使得自动识别广泛应用的最佳配置成为一项挑战。为了缓解这些问题，我们提出了 MonkeyKing，这是一个利用过去的经验并收集新信息来调整大数据平台参数配置的系统。它可以推荐关键参数，根据工作类型对绩效产生强烈影响，然后结合深度强化学习（DRL）优化关键参数以提高工作绩效。我们选择了目前流行的深度Q网络（DQN）结构及其四种改进算法，包括DQN、Double DQN、Dueling DQN，以及Double DQN和Dueling DQN的组合，最终发现Double DQN和Dueling DQN的组合具有效果更好。我们对 Spark 的实验和评估表明，在最佳条件下，性能可以提高约 25%。以及Double DQN和Dueling DQN的组合，最后发现Double DQN和Dueling DQN的组合效果更好。我们对 Spark 的实验和评估表明，在最佳条件下，性能可以提高约 25%。以及结合Double DQN和Dueling DQN，最后发现结合Double DQN和Dueling DQN效果更好。我们对 Spark 的实验和评估表明，在最佳条件下，性能可以提高约 25%。