当前位置:
X-MOL 学术
›
arXiv.cs.MA
›
论文详情
Our official English website, www.x-mol.net, welcomes your feedback! (Note: you will need to create a separate account there.)
PowerNet: Multi-agent Deep Reinforcement Learning for Scalable Powergrid Control
arXiv - CS - Multiagent Systems Pub Date : 2020-11-24 , DOI: arxiv-2011.12354 Dong Chen, Zhaojian Li, Tianshu Chu, Rui Yao, Feng Qiu, Kaixiang Lin
arXiv - CS - Multiagent Systems Pub Date : 2020-11-24 , DOI: arxiv-2011.12354 Dong Chen, Zhaojian Li, Tianshu Chu, Rui Yao, Feng Qiu, Kaixiang Lin
This paper develops an efficient multi-agent deep reinforcement learning
algorithm for cooperative controls in powergrids. Specifically, we consider the
decentralized inverter-based secondary voltage control problem in distributed
generators (DGs), which is first formulated as a cooperative multi-agent
reinforcement learning (MARL) problem. We then propose a novel on-policy MARL
algorithm, PowerNet, in which each agent (DG) learns a control policy based on
(sub-)global reward but local states from its neighboring agents. Motivated by
the fact that a local control from one agent has limited impact on agents
distant from it, we exploit a novel spatial discount factor to reduce the
effect from remote agents, to expedite the training process and improve
scalability. Furthermore, a differentiable, learning-based communication
protocol is employed to foster the collaborations among neighboring agents. In
addition, to mitigate the effects of system uncertainty and random noise
introduced during on-policy learning, we utilize an action smoothing factor to
stabilize the policy execution. To facilitate training and evaluation, we
develop PGSim, an efficient, high-fidelity powergrid simulation platform.
Experimental results in two microgrid setups show that the developed PowerNet
outperforms a conventional model-based control, as well as several
state-of-the-art MARL algorithms. The decentralized learning scheme and high
sample efficiency also make it viable to large-scale power grids.
中文翻译:
PowerNet:用于可扩展Powergrid控制的多智能体深度强化学习
本文开发了一种有效的多智能体深度强化学习算法,用于电网中的协同控制。具体来说,我们考虑分布式发电机(DGs)中基于分散逆变器的二次电压控制问题,该问题首先被公式化为协作式多智能体强化学习(MARL)问题。然后,我们提出一种新颖的基于策略的MARL算法PowerNet,其中每个代理(DG)都基于(子)全局奖励但从其相邻代理获取本地状态来学习控制策略。由于来自一个代理的本地控制对与其远离的代理的影响有限,因此,我们利用一种新颖的空间折扣因子来减少来自远程代理的影响,以加快训练过程并提高可伸缩性。此外,基于学习的通信协议用于促进相邻代理之间的协作。另外,为了减轻在策略学习过程中引入的系统不确定性和随机噪声的影响,我们利用动作平滑因子来稳定策略执行。为了促进培训和评估,我们开发了PGSim,这是一种高效,高保真的Powergrid仿真平台。在两个微电网设置中的实验结果表明,所开发的PowerNet优于传统的基于模型的控制以及几种最新的MARL算法。分散式学习方案和高采样效率也使其适用于大型电网。我们利用行动平滑因素来稳定政策执行。为了促进培训和评估,我们开发了PGSim,这是一种高效,高保真的Powergrid仿真平台。在两个微电网设置中的实验结果表明,所开发的PowerNet优于传统的基于模型的控制以及几种最新的MARL算法。分散式学习方案和高采样效率也使其适用于大型电网。我们利用行动平滑因素来稳定政策执行。为了促进培训和评估,我们开发了PGSim,这是一种高效,高保真的Powergrid仿真平台。在两个微电网设置中的实验结果表明,所开发的PowerNet优于传统的基于模型的控制以及几种最新的MARL算法。分散式学习方案和高采样效率也使其适用于大型电网。
更新日期:2020-11-27
中文翻译:
PowerNet:用于可扩展Powergrid控制的多智能体深度强化学习
本文开发了一种有效的多智能体深度强化学习算法,用于电网中的协同控制。具体来说,我们考虑分布式发电机(DGs)中基于分散逆变器的二次电压控制问题,该问题首先被公式化为协作式多智能体强化学习(MARL)问题。然后,我们提出一种新颖的基于策略的MARL算法PowerNet,其中每个代理(DG)都基于(子)全局奖励但从其相邻代理获取本地状态来学习控制策略。由于来自一个代理的本地控制对与其远离的代理的影响有限,因此,我们利用一种新颖的空间折扣因子来减少来自远程代理的影响,以加快训练过程并提高可伸缩性。此外,基于学习的通信协议用于促进相邻代理之间的协作。另外,为了减轻在策略学习过程中引入的系统不确定性和随机噪声的影响,我们利用动作平滑因子来稳定策略执行。为了促进培训和评估,我们开发了PGSim,这是一种高效,高保真的Powergrid仿真平台。在两个微电网设置中的实验结果表明,所开发的PowerNet优于传统的基于模型的控制以及几种最新的MARL算法。分散式学习方案和高采样效率也使其适用于大型电网。我们利用行动平滑因素来稳定政策执行。为了促进培训和评估,我们开发了PGSim,这是一种高效,高保真的Powergrid仿真平台。在两个微电网设置中的实验结果表明,所开发的PowerNet优于传统的基于模型的控制以及几种最新的MARL算法。分散式学习方案和高采样效率也使其适用于大型电网。我们利用行动平滑因素来稳定政策执行。为了促进培训和评估,我们开发了PGSim,这是一种高效,高保真的Powergrid仿真平台。在两个微电网设置中的实验结果表明,所开发的PowerNet优于传统的基于模型的控制以及几种最新的MARL算法。分散式学习方案和高采样效率也使其适用于大型电网。