Distributed ML at the network edge is a promising paradigm that can preserve both network bandwidth and privacy of data providers. However, heterogeneity and limited computation and communication resources on edge servers (or edges) pose great challenges on distributed ML and formulate a new paradigm of edge learning (i.e., edge-cloud collaborative machine learning). In this article, we propose a novel framework of "learning to learn" for effective EL on heterogeneous edges with resource constraints. We first model the dynamic determination of collaboration strategy (i.e., the allocation of local iterations at edge servers and global aggregations on the cloud during the collaborative learning process) as an online optimization problem to achieve the trade-off between the performance of EL and the resource consumption of edge servers. Then we propose an OL4EL framework based on the budget-limited multi-armed bandit model. OL4EL supports both synchronous and asynchronous learning patterns, and can be used for both supervised and unsupervised learning tasks. To evaluate the performance of OL4EL, we conducted both real-world testbed experiments and extensive simulations based on Docker containers, where both support vector machine and K-means were considered as use cases. Experimental results demonstrate that OL4EL significantly outperforms state-of-the-art EL and other collaborative ML approaches in terms of the trade-off between learning performance and resource consumption.

中文翻译：

---

OL4EL：具有资源约束的异构边缘边缘云协同学习的在线学习

网络边缘的分布式 ML 是一种很有前途的范例，可以保护网络带宽和数据提供者的隐私。然而，边缘服务器（或边缘）上的异构性和有限的计算和通信资源对分布式机器学习提出了巨大挑战，并制定了新的边缘学习范式（即边缘云协同机器学习）。在本文中，我们提出了一种新的“学习学习”框架，用于在具有资源约束的异构边缘上进行有效 EL。我们首先将协作策略的动态确定（即协作学习过程中边缘服务器的本地迭代分配和云上的全局聚合）建模为在线优化问题，以实现 EL 的性能和边缘服务器的资源消耗。然后我们提出了一个基于预算受限的多臂老虎机模型的 OL4EL 框架。OL4EL 支持同步和异步学习模式，可用于有监督和无监督学习任务。为了评估 OL4EL 的性能，我们基于 Docker 容器进行了真实世界的测试台实验和广泛的模拟，其中支持向量机和 K 均值都被视为用例。实验结果表明，OL4EL 在学习性能和资源消耗之间的权衡方面明显优于最先进的 EL 和其他协作 ML 方法。并且可用于有监督和无监督的学习任务。为了评估 OL4EL 的性能，我们基于 Docker 容器进行了真实世界的测试台实验和广泛的模拟，其中支持向量机和 K 均值都被视为用例。实验结果表明，OL4EL 在学习性能和资源消耗之间的权衡方面明显优于最先进的 EL 和其他协作 ML 方法。并且可用于有监督和无监督的学习任务。为了评估 OL4EL 的性能，我们基于 Docker 容器进行了真实世界的测试台实验和广泛的模拟，其中支持向量机和 K 均值都被视为用例。实验结果表明，OL4EL 在学习性能和资源消耗之间的权衡方面明显优于最先进的 EL 和其他协作 ML 方法。