In an offload-capable Long Term Evolution (LTE)- Wireless Fidelity (WiFi) Heterogeneous Network (HetNet), we consider the problem of maximization of the total system throughput under voice user blocking probability constraint. The optimal policy is threshold in nature. However, computation of optimal policy requires the knowledge of the statistics of system dynamics, viz., arrival processes of voice and data users, which may be difficult to obtain in reality. Motivated by the Post-Decision State (PDS) framework to learn the optimal policy under unknown statistics of system dynamics, we propose, in this paper, an online Radio Access Technology (RAT) selection algorithm using Relative Value Iteration Algorithm (RVIA). However, the convergence speed of this algorithm can be further improved if the underlying threshold structure of the optimal policy can be exploited. To this end, we propose a novel structure-aware online RAT selection algorithm which reduces the feasible policy space, thereby offering lesser storage and computational complexity and faster convergence. This algorithm provides a novel framework for designing online learning algorithms for other problems and hence is of independent interest. We prove that both the algorithms converge to the optimal policy. Simulation results demonstrate that the proposed algorithms converge faster than a traditional scheme. Also, the proposed schemes perform better than other benchmark algorithms under realistic network scenarios.

中文翻译：

---

LTE-WiFi HetNet中低复杂度在线无线接入技术选择算法

在具有卸载能力的长期演进 (LTE)-无线保真 (WiFi) 异构网络 (HetNet) 中，我们考虑了在语音用户阻塞概率约束下最大化系统总吞吐量的问题。最优策略本质上是阈值。然而，最优策略的计算需要系统动力学的统计知识，即语音和数据用户的到达过程，这在现实中可能很难获得。受决策后状态 (PDS) 框架的启发，在未知系统动力学统计数据下学习最优策略，我们在本文中提出了一种使用相对值迭代算法 (RVIA) 的在线无线接入技术 (RAT) 选择算法。然而，如果可以利用最优策略的底层阈值结构，可以进一步提高该算法的收敛速度。为此，我们提出了一种新颖的结构感知在线 RAT 选择算法，该算法减少了可行的策略空间，从而提供了更少的存储和计算复杂度以及更快的收敛速度。该算法为设计用于其他问题的在线学习算法提供了一种新颖的框架，因此具有独立的兴趣。我们证明这两种算法都收敛到最优策略。仿真结果表明，所提出的算法比传统方案收敛得更快。此外，所提出的方案在现实网络场景下的性能优于其他基准算法。我们提出了一种新颖的结构感知在线 RAT 选择算法，它减少了可行的策略空间，从而提供了更少的存储和计算复杂度以及更快的收敛速度。该算法为设计用于其他问题的在线学习算法提供了一个新颖的框架，因此具有独立的兴趣。我们证明这两种算法都收敛到最优策略。仿真结果表明，所提出的算法比传统方案收敛得更快。此外，所提出的方案在现实网络场景下的性能优于其他基准算法。我们提出了一种新颖的结构感知在线 RAT 选择算法，它减少了可行的策略空间，从而提供了更少的存储和计算复杂度以及更快的收敛速度。该算法为设计用于其他问题的在线学习算法提供了一个新颖的框架，因此具有独立的兴趣。我们证明这两种算法都收敛到最优策略。仿真结果表明，所提出的算法比传统方案收敛得更快。此外，所提出的方案在现实网络场景下的性能优于其他基准算法。该算法为设计用于其他问题的在线学习算法提供了一个新颖的框架，因此具有独立的兴趣。我们证明这两种算法都收敛到最优策略。仿真结果表明，所提出的算法比传统方案收敛得更快。此外，所提出的方案在现实网络场景下的性能优于其他基准算法。该算法为设计用于其他问题的在线学习算法提供了一个新颖的框架，因此具有独立的兴趣。我们证明这两种算法都收敛到最优策略。仿真结果表明，所提出的算法比传统方案收敛得更快。此外，所提出的方案在现实网络场景下的性能优于其他基准算法。