This article investigates adaptive power control in wireless radio frequency energy harvesting (EH) femtocell heterogeneous networks (HetNets), where some EH devices desire to harvest energy from the signals transmitted from both macro base stations (BSs), and femtocell BSs. An optimization problem is formulated to maximize the sum capacity of femtocells while satisfying the EH requirements of energy users, and information quality of service (QoS) requirements of macrocell users by adaptively controlling the transmit power of femtocell HetNets, where nonlinear EH model is adopted. Due to the discrete variables of transmit power, the formulated optimization problem is with combinatorial computational complexity, and cannot be solved with known solution methods. Thus, a Q-learning-based algorithm is presented, and a segmented reward function based on the distance factor, and the penalty parameter is designed. Simulation results show the effectiveness of the proposed Q-learning-based algorithm, and the presented segmented reward function. It is also demonstrated that by using the nonlinear EH model can effectively avoid the deviation brought by the traditional ideal linear EH model. Additionally, it shows that the convergence time of our proposed scheme grows linearly w.r.t. the number of femtocell BSs, and the number of selectable transmit power levels of femtocell BSs roughly.

中文翻译：

---

无线射频能量收集异构网络中基于 Q 学习的自适应功率控制

本文研究无线射频能量收集 (EH) 毫微微蜂窝异构网络 (HetNet) 中的自适应功率控制，其中一些 EH 设备希望从宏基站 (BS) 和毫微微蜂窝 BS 传输的信号中收集能量。提出了一个优化问题，通过自适应控制毫微微蜂窝 HetNets 的发射功率，在满足能源用户的 EH 要求和宏蜂窝用户的信息服务质量 (QoS) 要求的同时，最大化毫微微蜂窝的总容量，其中采用非线性 EH 模型。由于发射功率的离散变量，公式化的优化问题具有组合计算复杂度，并且不能用已知的求解方法来求解。因此，提出了一种基于 Q-learning 的算法，以及基于距离因子的分段奖励函数，并设计了惩罚参数。仿真结果表明了所提出的基于 Q 学习的算法的有效性，以及所提出的分段奖励函数。也证明了使用非线性EH模型可以有效避免传统理想线性EH模型带来的偏差。此外，它表明我们提出的方案的收敛时间随着毫微微蜂窝基站的数量和毫微微蜂窝基站的可选发射功率水平的数量而线性增长。也证明了使用非线性EH模型可以有效避免传统理想线性EH模型带来的偏差。此外，它表明我们提出的方案的收敛时间随着毫微微蜂窝基站的数量和毫微微蜂窝基站的可选发射功率水平的数量而线性增长。也证明了使用非线性EH模型可以有效避免传统理想线性EH模型带来的偏差。此外，它表明我们提出的方案的收敛时间随着毫微微蜂窝基站的数量和毫微微蜂窝基站的可选发射功率水平的数量而线性增长。