Internet of Things (IoT) is experiencing an explosion in the data traffic due to the increase in the number of heterogeneous applications. The existing cloud computing models will not be capable to support the IoT applications that are delay-sensitive and using high bandwidth. The Edge-IoT systems represented by shared edge clouds support a wide range of IoT applications. Edge clouds provide resources closer to the IoT devices to tackle the delay sensitivity and bandwidth issues. However, the allocation of these resources with guaranteed application's utility in the context of Edge-IoT with multiple heterogeneous IoT applications, various resource demands, and limited resource availability is challenging. In this paper, we propose a novel enhanced online Q-learning scheme to allocate resources from edge clouds to IoT applications to maximize their utility and maintain allocation fairness among them. The developed online Q-learning scheme approximates its Q-value to tackle the problem of large state space, reduce the required learning computation, and expedite the system convergence. It is implemented using two settings: centralized using a dedicated controller at the edge cloud and distributed where edge servers learn cooperatively to achieve a common goal of finding joint resource allocation policy that maximizes the IoT applications’ utilities. Extensive numerical results demonstrate the capability of the proposed scheme in improving applications’ utilities and allocation fairness.

中文翻译：

---

边缘物联网网络中具有最大效用和公平性的资源分配的增强在线 Q-Learning 方案

由于异构应用程序数量的增加，物联网 (IoT) 正在经历数据流量的爆炸式增长。现有的云计算模型将无法支持对延迟敏感且使用高带宽的物联网应用。以共享边缘云为代表的边缘物联网系统支持广泛的物联网应用。边缘云提供更靠近物联网设备的资源，以解决延迟敏感性和带宽问题。然而，在具有多个异构 IoT 应用程序、各种资源需求和有限资源可用性的 Edge-IoT 环境中，在保证应用程序效用的情况下分配这些资源具有挑战性。在本文中，我们提出了一种新颖的增强型在线 Q 学习方案，将资源从边缘云分配到物联网应用程序，以最大化其效用并保持它们之间的分配公平性。开发的在线 Q 学习方案近似其 Q 值以解决大状态空间的问题，减少所需的学习计算，并加快系统收敛。它使用两种设置来实现：集中使用边缘云上的专用控制器和分布式边缘服务器合作学习以实现共同目标，即找到最大化物联网应用程序效用的联合资源分配策略。大量的数值结果证明了所提出的方案在提高应用程序的效用和分配公平性方面的能力。开发的在线 Q 学习方案近似其 Q 值以解决大状态空间的问题，减少所需的学习计算，并加快系统收敛。它使用两种设置来实现：集中使用边缘云上的专用控制器和分布式边缘服务器合作学习以实现共同目标，即找到最大化物联网应用程序效用的联合资源分配策略。大量的数值结果证明了所提出的方案在提高应用程序的效用和分配公平性方面的能力。开发的在线 Q 学习方案近似其 Q 值以解决大状态空间的问题，减少所需的学习计算，并加快系统收敛。它使用两种设置来实现：集中使用边缘云上的专用控制器和分布式边缘服务器合作学习以实现共同目标，即找到最大化物联网应用程序效用的联合资源分配策略。大量的数值结果证明了所提出的方案在提高应用程序的效用和分配公平性方面的能力。在边缘云上使用专用控制器进行集中式管理，边缘服务器在分布式处进行协作学习，以实现共同目标，即找到使物联网应用程序效用最大化的联合资源分配策略。大量的数值结果证明了所提出的方案在提高应用程序的效用和分配公平性方面的能力。在边缘云上使用专用控制器进行集中式管理，边缘服务器在分布式处进行协作学习，以实现共同目标，即找到使物联网应用程序效用最大化的联合资源分配策略。大量的数值结果证明了所提出的方案在提高应用程序的效用和分配公平性方面的能力。