Demand flexibility is increasingly important for power grids, in light of growing penetration of renewable generation. Careful coordination of thermostatically controlled loads (TCLs) can potentially modulate energy demand, decrease operating costs, and increase grid resiliency. However, it is challenging to control a heterogeneous population of TCLs: the control problem has a large state action space; each TCL has unique and complex dynamics; and multiple system-level objectives need to be optimized simultaneously. To address these challenges, we propose a distributed control solution, which consists of a central load aggregator that optimizes system-level objectives and building-level controllers that track the load profiles planned by the aggregator. To optimize our agents' policies, we draw inspirations from both reinforcement learning (RL) and model predictive control. Specifically, the aggregator is updated with an evolutionary strategy, which was recently demonstrated to be a competitive and scalable alternative to more sophisticated RL algorithms and enables policy updates independent of the building-level controllers. We evaluate our proposed approach across four climate zones in four nine-building clusters, using the newly-introduced CityLearn simulation environment. Our approach achieved an average reduction of 16.8% in the environment cost compared to the benchmark rule-based controller.

中文翻译：

---

学习分布式控制方案以实现恒温控制负载的需求灵活性

鉴于可再生能源发电的日益普及，需求灵活性对电网越来越重要。仔细协调恒温控制负载 (TCL) 可以潜在地调节能源需求、降低运营成本并提高电网弹性。然而，控制异质性的 TCL 群体具有挑战性：控制问题具有很大的状态动作空间；每个TCL都有独特而复杂的动态；并且需要同时优化多个系统级目标。为了应对这些挑战，我们提出了一种分布式控制解决方案，它包括一个中央负载聚合器，用于优化系统级目标和建筑级控制器，用于跟踪聚合器规划的负载曲线。为了优化我们的代理商政策，我们从强化学习 (RL) 和模型预测控制中汲取灵感。具体来说，聚合器使用进化策略进行更新，最近证明该策略是更复杂的 RL 算法的一种具有竞争力和可扩展性的替代方案，并且能够独立于建筑物级别的控制器进行策略更新。我们使用新引入的 CityLearn 模拟环境，在四个九个建筑群中的四个气候区评估我们提出的方法。与基于规则的基准控制器相比，我们的方法平均降低了 16.8% 的环境成本。最近被证明是更复杂的 RL 算法的一种具有竞争力和可扩展性的替代方案，并且能够独立于建筑级控制器进行策略更新。我们使用新引入的 CityLearn 模拟环境，在四个九个建筑群中的四个气候区评估我们提出的方法。与基于规则的基准控制器相比，我们的方法平均降低了 16.8% 的环境成本。最近被证明是更复杂的 RL 算法的一种具有竞争力和可扩展性的替代方案，并且能够独立于建筑级控制器进行策略更新。我们使用新引入的 CityLearn 模拟环境，在四个九个建筑群中的四个气候区评估我们提出的方法。与基于规则的基准控制器相比，我们的方法平均降低了 16.8% 的环境成本。