Millions of battery-powered sensors deployed for monitoring purposes in a multitude of scenarios, e.g., agriculture, smart cities, industry, etc., require energy-efficient solutions to prolong their lifetime. When these sensors observe a phenomenon distributed in space and evolving in time, it is expected that collected observations will be correlated in time and space. In this paper, we propose a Deep Reinforcement Learning (DRL) based scheduling mechanism capable of taking advantage of correlated information. We design our solution using the Deep Deterministic Policy Gradient (DDPG) algorithm. The proposed mechanism is capable of determining the frequency with which sensors should transmit their updates, to ensure accurate collection of observations, while simultaneously considering the energy available. To evaluate our scheduling mechanism, we use multiple datasets containing environmental observations obtained in multiple real deployments. The real observations enable us to model the environment with which the mechanism interacts as realistically as possible. We show that our solution can significantly extend the sensors' lifetime. We compare our mechanism to an idealized, all-knowing scheduler to demonstrate that its performance is near-optimal. Additionally, we highlight the unique feature of our design, energy-awareness, by displaying the impact of sensors' energy levels on the frequency of updates.

中文翻译：

---

时空相关传感器的能量感知深度强化学习调度

在农业、智慧城市、工业等多种场景中部署的数百万个电池供电传感器用于监控目的，需要节能解决方案来延长其使用寿命。当这些传感器观测到一种分布在空间上并随时间演化的现象时，预计收集到的观测将在时间和空间上相关。在本文中，我们提出了一种基于深度强化学习（DRL）的调度机制，能够利用相关信息。我们使用深度确定性策略梯度 (DDPG) 算法设计我们的解决方案。所提出的机制能够确定传感器传输更新的频率，以确保准确收集观察结果，同时考虑可用能量。为了评估我们的调度机制，我们使用包含在多个实际部署中获得的环境观察结果的多个数据集。真实的观察使我们能够尽可能真实地模拟机制与之交互的环境。我们表明，我们的解决方案可以显着延长传感器的使用寿命。我们将我们的机制与理想化的、无所不知的调度程序进行比较，以证明其性能接近最佳。此外，我们通过显示传感器能量水平对更新频率的影响来突出我们设计的独特功能，即能量意识。我们表明，我们的解决方案可以显着延长传感器的使用寿命。我们将我们的机制与理想化的、无所不知的调度程序进行比较，以证明其性能接近最佳。此外，我们通过显示传感器能量水平对更新频率的影响来突出我们设计的独特功能，即能量意识。我们表明，我们的解决方案可以显着延长传感器的使用寿命。我们将我们的机制与理想化的、无所不知的调度程序进行比较，以证明其性能接近最佳。此外，我们通过显示传感器能量水平对更新频率的影响来突出我们设计的独特功能，即能量意识。