The present work explores mitigation in end-to-end outage probability in an energy harvesting (EH) enabled cognitive radio networks (CRNs) through reinforcement learning (RL) based multi-hop Q-routing. The operation of CRN follows a frame structure that includes cooperative spectrum sensing (CSS), based on the decision of which, secondary transmit nodes either do EH from the primary user (PU) signal or make an opportunistic data transmission. In either operation, both PU reappearance and disappearance probabilities are considered in mathematical analysis. An optimization problem is formulated that minimizes the outage probability in the CRN under the constraints of primary user interference protection, individual secondary link throughput, and energy causality in EH. The closed-form expressions are derived to find the optimal values of sensing duration, secondary power allocation fraction on SS and data transmission. The present multi-hop CRN studies RL-based Q-routing in different network topologies and analyzes the worst-case runtime complexities. It is observed that the tree structure based network reduces the complexity of Q-routing over the other topologies and provides a significant gain on the outage. The present work improves the CRN outage performance by $11.01$% and $39.89$% over the existing techniques.

中文翻译：

---

具有能量收集和 Q 路由的认知无线电网络中断分析

目前的工作通过基于强化学习 (RL) 的多跳 Q 路由探索在启用能量收集 (EH) 的认知无线电网络 (CRN) 中降低端到端中断概率。CRN 的操作遵循包括协作频谱感知 (CSS) 的帧结构，基于其决定，次要发送节点要么根据主要用户 (PU) 信号执行 EH，要么进行机会性数据传输。在任一操作中，在数学分析中都考虑了 PU 重新出现和消失的概率。在主用户干扰保护、单个辅助链路吞吐量和 EH 中的能量因果关系的约束下，制定了一个优化问题，以最小化 CRN 中的中断概率。推导出封闭形式的表达式以找到感测持续时间、SS和数据传输的次级功率分配分数的最优值。目前的多跳 CRN 研究了不同网络拓扑中基于 RL 的 Q 路由，并分析了最坏情况下的运行时复杂性。据观察，基于树结构的网络降低了 Q-routing 相对于其他拓扑的复杂性，并在中断方面提供了显着的收益。与现有技术相比，目前的工作将 CRN 中断性能提高了 11.01 美元和 39.89 美元。据观察，基于树结构的网络降低了 Q-routing 相对于其他拓扑的复杂性，并在中断方面提供了显着的收益。与现有技术相比，目前的工作将 CRN 中断性能提高了 11.01 美元和 39.89 美元。据观察，基于树结构的网络降低了 Q-routing 相对于其他拓扑的复杂性，并在中断方面提供了显着的收益。与现有技术相比，目前的工作将 CRN 中断性能提高了 11.01 美元和 39.89 美元。