Nowadays, deep neural networks (DNNs) are the core enablers for many emerging edge AI applications. Conventional approaches to training DNNs are generally implemented at central servers or cloud centers for centralized learning, which is typically time-consuming and resource-demanding due to the transmission of a large amount of data samples from the device to the remote cloud. To overcome these disadvantages, we consider accelerating the learning process of DNNs on the Mobile-Edge-Cloud Computing (MECC) paradigm. In this paper, we propose HierTrain, a hierarchical edge AI learning framework, which efficiently deploys the DNN training task over the hierarchical MECC architecture. We develop a novel \textit{hybrid parallelism} method, which is the key to HierTrain, to adaptively assign the DNN model layers and the data samples across the three levels of edge device, edge server and cloud center. We then formulate the problem of scheduling the DNN training tasks at both layer-granularity and sample-granularity. Solving this optimization problem enables us to achieve the minimum training time. We further implement a hardware prototype consisting of an edge device, an edge server and a cloud server, and conduct extensive experiments on it. Experimental results demonstrate that HierTrain can achieve up to 6.9x speedup compared to the cloud-based hierarchical training approach.

中文翻译：

---

HierTrain：在移动-边缘-云计算中具有混合并行性的快速分层边缘 AI 学习

如今，深度神经网络 (DNN) 是许多新兴边缘 AI 应用程序的核心推动因素。训练 DNN 的传统方法通常在中央服务器或云中心实施以进行集中学习，由于将大量数据样本从设备传输到远程云，这通常非常耗时且需要资源。为了克服这些缺点，我们考虑在移动边缘云计算 (MECC) 范式上加速 DNN 的学习过程。在本文中，我们提出了 HierTrain，这是一种分层边缘 AI 学习框架，可在分层 MECC 架构上有效地部署 DNN 训练任务。我们开发了一种新颖的 \textit{hybrid parallelism} 方法，这是 HierTrain 的关键，在边缘设备、边缘服务器和云中心三个层次上自适应地分配 DNN 模型层和数据样本。然后我们制定了在层粒度和样本粒度上调度 DNN 训练任务的问题。解决这个优化问题使我们能够达到最短的训练时间。我们进一步实现了一个由边缘设备、边缘服务器和云服务器组成的硬件原型，并对其进行了广泛的实验。实验结果表明，与基于云的分层训练方法相比，HierTrain 可以实现高达 6.9 倍的加速。解决这个优化问题使我们能够达到最短的训练时间。我们进一步实现了一个由边缘设备、边缘服务器和云服务器组成的硬件原型，并对其进行了广泛的实验。实验结果表明，与基于云的分层训练方法相比，HierTrain 可以实现高达 6.9 倍的加速。解决这个优化问题使我们能够达到最短的训练时间。我们进一步实现了一个由边缘设备、边缘服务器和云服务器组成的硬件原型，并对其进行了广泛的实验。实验结果表明，与基于云的分层训练方法相比，HierTrain 可以实现高达 6.9 倍的加速。