This paper studies the problem of offloading an application consisting of dependent tasks in multi-access edge computing (MEC). This problem is challenging because multiple conflicting objectives exist, e.g., the completion time, energy consumption, and computation overhead should be optimized simultaneously. Recently, some reinforcement learning (RL) based methods have been proposed to address the problem. However, these methods, called single-objective RLs (SORLs), define the user utility as a linear scalarization. The conflict between objectives has been ignored. This paper formulates a multi-objective optimization problem to simultaneously minimize the application completion time, energy consumption of the mobile device, and usage charge for edge computing, subject to dependency constraints. Moreover, the relative importance (preferences) between the objectives may change over time in MEC, making it quite challenging for traditional SORLs to handle. To overcome this, we first model a multi-objective Markov decision process, where the scalar reward is extended to a vector-valued reward. Each element in the reward corresponds to one of the objectives. Then, we propose an improved multi-objective reinforcement learning (MORL) algorithm, where a tournament selection scheme is designed to select important preferences to effectively maintain previously learned policies. The simulation results demonstrate that the proposed algorithm obtains a good tradeoff between three objectives and has significant performance improvement compared with a number of existing algorithms.

本文研究了在多路访问边缘计算 (MEC) 中卸载由依赖任务组成的应用程序的问题。这个问题具有挑战性，因为存在多个相互冲突的目标，例如，应该同时优化完成时间、能量消耗和计算开销。最近，已经提出了一些基于强化学习（RL）的方法来解决这个问题。然而，这些称为单目标 RL (SORL) 的方法将用户效用定义为线性标量。目标之间的冲突被忽略了。本文制定了一个多目标优化问题，以同时最小化应用程序完成时间、移动设备的能耗和边缘计算的使用费用，受依赖性约束。而且，在 MEC 中，目标之间的相对重要性（偏好）可能会随着时间的推移而改变，这使得传统的 SORL 处理起来非常具有挑战性。为了克服这个问题，我们首先对多目标马尔可夫决策过程进行建模，其中标量奖励扩展为向量值奖励。奖励中的每个元素都对应一个目标。然后，我们提出了一种改进的多目标强化学习 (MORL) 算法，其中设计了一个锦标赛选择方案来选择重要的偏好以有效地维护先前学习的策略。仿真结果表明，所提出的算法在三个目标之间取得了很好的权衡，与现有的一些算法相比，性能有了显着的提升。使传统的 SORL 处理起来非常具有挑战性。为了克服这个问题，我们首先对多目标马尔可夫决策过程进行建模，其中标量奖励扩展为向量值奖励。奖励中的每个元素都对应一个目标。然后，我们提出了一种改进的多目标强化学习 (MORL) 算法，其中设计了一个锦标赛选择方案来选择重要的偏好以有效地维护先前学习的策略。仿真结果表明，所提出的算法在三个目标之间取得了良好的折衷，与现有的一些算法相比，具有显着的性能提升。使传统的 SORL 处理起来非常具有挑战性。为了克服这个问题，我们首先对多目标马尔可夫决策过程进行建模，其中标量奖励扩展为向量值奖励。奖励中的每个元素都对应一个目标。然后，我们提出了一种改进的多目标强化学习 (MORL) 算法，其中设计了一个锦标赛选择方案来选择重要的偏好以有效地维护先前学习的策略。仿真结果表明，所提出的算法在三个目标之间取得了很好的权衡，与现有的一些算法相比，性能有了显着的提升。奖励中的每个元素都对应一个目标。然后，我们提出了一种改进的多目标强化学习 (MORL) 算法，其中设计了一个锦标赛选择方案来选择重要的偏好以有效地维护先前学习的策略。仿真结果表明，所提出的算法在三个目标之间取得了很好的权衡，与现有的一些算法相比，性能有了显着的提升。奖励中的每个元素都对应一个目标。然后，我们提出了一种改进的多目标强化学习 (MORL) 算法，其中设计了一个锦标赛选择方案来选择重要的偏好以有效地维护先前学习的策略。仿真结果表明，所提出的算法在三个目标之间取得了很好的权衡，与现有的一些算法相比，性能有了显着的提升。