In this article, we study the pricing and resource management in the Internet of Things (IoT) system with blockchain-as-a-service (BaaS) and mobile-edge computing (MEC). The BaaS model includes the cloud-based server to perform blockchain tasks and the set of peers to collect data from local IoT devices. The MEC model consists of the set of terrestrial and aerial base stations (BSs), i.e., unmanned aerial vehicles (UAVs), to forward the tasks of peers to the BaaS server. Each BS is also equipped with an MEC server to run some blockchain tasks. As the BSs can be privately owned or controlled by different operators, there is no information exchange among them. We show that the resource management and pricing in the BaaS-MEC system are modeled as a stochastic Stackelberg game with multiple leaders and incomplete information about actions of leaders/BSs and followers/peers. We formulate a novel hierarchical reinforcement learning (RL) algorithm for the decision makings of BSs and peers. We also develop an unsupervised hierarchical deep learning (HDL) algorithm that combines deep $Q$ -learning (DQL) for BSs with the Bayesian deep learning (BDL) for peers. We prove that the proposed algorithms converge to stable states in which the peers’ actions are the best responses to optimal actions of BSs.

中文翻译：

---

具有多个服务提供商的支持无人机的移动边缘计算网络中用于计算分流的分层博弈论和强化学习框架

在本文中，我们研究了具有区块链即服务（BaaS）和移动边缘计算（MEC）的物联网（IoT）系统中的定价和资源管理。BaaS模型包括执行区块链任务的基于云的服务器，以及从本地物联网设备收集数据的对等体集合。MEC模型由一组地面和空中基站（BS）（即无人飞行器（UAV））组成，以将对等方的任务转发到BaaS服务器。每个BS还配备了MEC服务器来运行一些区块链任务。由于BS可以是私有的，也可以由不同的运营商控制，因此它们之间没有信息交换。我们显示，BaaS-MEC系统中的资源管理和定价被建模为具有多个领导者且关于领导者/ BS和追随者/对等者的行为的不完整信息的随机Stackelberg游戏。我们制定了一种新颖的分层强化学习（RL）算法，用于BS和同伴的决策。我们还开发了一种无监督的层次深度学习（HDL）算法，该算法将针对BS的深度$ Q $学习（DQL）与对等方的贝叶斯深度学习（BDL）相结合。我们证明了所提出的算法收敛到稳定状态，其中对等方的动作是对BS最佳动作的最佳响应。我们还开发了一种无监督的分层深度学习（HDL）算法，该算法将针对BS的深度$ Q $学习（DQL）与对等方的贝叶斯深度学习（BDL）相结合。我们证明了所提出的算法收敛到稳定状态，其中对等方的动作是对BS最佳动作的最佳响应。我们还开发了一种无监督的层次深度学习（HDL）算法，该算法将针对BS的深度$ Q $学习（DQL）与对等方的贝叶斯深度学习（BDL）相结合。我们证明了所提出的算法收敛到稳定状态，其中对等方的动作是对BS最佳动作的最佳响应。