Unmanned aerial vehicles (UAVs) have emerged as a promising candidate solution for data collection of large-scale wireless sensor networks (WSNs). In this paper, we investigate a UAV-aided WSN, where cluster heads (CHs) receive data from their member nodes, and a UAV is dispatched to collect data from CHs. We aim to minimize the total energy consumption of the UAV-WSN system in a complete round of data collection. Toward this end, we formulate the energy consumption minimization problem as a constrained combinatorial optimization problem by jointly selecting CHs from clusters and planning the UAV's visiting order to the selected CHs. The formulated energy consumption minimization problem is NP-hard, and hence, hard to solve optimally. To tackle this challenge, we propose a novel deep reinforcement learning (DRL) technique, pointer network-A* (Ptr-A*), which can efficiently learn the UAV trajectory policy for minimizing the energy consumption. The UAV's start point and the WSN with a set of pre-determined clusters are fed into the Ptr-A*, and the Ptr-A* outputs a group of CHs and the visiting order of CHs, i.e., the UAV's trajectory. The parameters of the Ptr-A* are trained on small-scale clusters problem instances for faster training by using the actor-critic algorithm in an unsupervised manner. Simulation results show that the trained models based on 20-clusters and 40-clusters have a good generalization ability to solve the UAV's trajectory planning problem in WSNs with different numbers of clusters, without retraining the models. Furthermore, the results show that our proposed DRL algorithm outperforms two baseline techniques.

中文翻译：

---

通过深度强化学习实现能耗最小化的无线传感器网络中的无人机轨迹规划

无人机 (UAV) 已成为大规模无线传感器网络 (WSN) 数据收集的有前途的候选解决方案。在本文中，我们研究了无人机辅助 WSN，其中簇首 (CH) 从其成员节点接收数据，然后派遣无人机从 CH 收集数据。我们的目标是在完整的一轮数据收集中最小化 UAV-WSN 系统的总能耗。为此，我们通过从集群中联合选择 CHs 并规划 UAV 对所选 CHs 的访问顺序，将能耗最小化问题表述为约束组合优化问题。公式化的能耗最小化问题是 NP-hard 问题，因此很难最优解决。为了应对这一挑战，我们提出了一种新颖的深度强化学习 (DRL) 技术，指针网络-A*（Ptr-A*），可以有效地学习无人机轨迹策略以最小化能耗。无人机的起点和带有一组预先确定的簇的WSN 被馈送到Ptr-A*，Ptr-A* 输出一组CH 和CH 的访问顺序，即无人机的轨迹。Ptr-A* 的参数在小规模集群问题实例上进行训练，以便通过以无监督方式使用 actor-critic 算法进行更快的训练。仿真结果表明，基于20-clusters和40-clusters训练的模型具有很好的泛化能力，可以解决不同簇数WSN中无人机的轨迹规划问题，无需重新训练模型。此外，结果表明我们提出的 DRL 算法优于两种基线技术。它可以有效地学习无人机轨迹策略以最小化能量消耗。无人机的起点和带有一组预先确定的簇的WSN 被馈送到Ptr-A*，Ptr-A* 输出一组CH 和CH 的访问顺序，即无人机的轨迹。Ptr-A* 的参数在小规模集群问题实例上进行训练，以便通过以无监督方式使用 actor-critic 算法进行更快的训练。仿真结果表明，基于20-clusters和40-clusters训练的模型具有很好的泛化能力，可以解决不同簇数WSN中无人机的轨迹规划问题，无需重新训练模型。此外，结果表明我们提出的 DRL 算法优于两种基线技术。它可以有效地学习无人机轨迹策略以最小化能量消耗。无人机的起点和带有一组预先确定的簇的WSN 被馈送到Ptr-A*，Ptr-A* 输出一组CH 和CH 的访问顺序，即无人机的轨迹。Ptr-A* 的参数在小规模集群问题实例上进行训练，以便通过以无监督方式使用 actor-critic 算法进行更快的训练。仿真结果表明，基于20-clusters和40-clusters训练的模型具有很好的泛化能力，可以解决不同簇数WSN中无人机的轨迹规划问题，无需重新训练模型。此外，结果表明我们提出的 DRL 算法优于两种基线技术。