当前位置: X-MOL 学术arXiv.cs.CR › 论文详情
Our official English website, www.x-mol.net, welcomes your feedback! (Note: you will need to create a separate account there.)
物联网分布式机器学习技术的评估与优化
arXiv - CS - Cryptography and Security Pub Date : 2021-03-03 , DOI: arxiv-2103.02762
Yansong Gao, Minki Kim, Chandra Thapa, Sharif Abuadbba, Zhi Zhang, Seyit A. Camtepe, Hyoungshick Kim, Surya Nepal

联合学习(FL)和拆分学习(SL)是最先进的分布式机器学习技术,可在不访问客户端或终端设备上的原始数据的情况下进行机器学习训练。但是,他们在真实资源受限的物联网(IoT)设备设置(例如Raspberry Pi)下的\ emph {比较训练效果}仍很少得到研究,据我们所知,尚未对其进行评估和比较。给从业者带来不便。这项工作首先提供了在现实物联网设置中FL和SL的经验比较,涉及(i)具有异构数据分布的学习性能和(ii)设备执行开销。我们在这项工作中的分析表明,在不平衡的数据分布下,SL的学习性能优于FL,但在极端的非IID数据分布下,则比FL差。最近,FL和SL结合在一起形成了组合学习(SFL),以利用它们的每个好处(例如,FL的并行训练和SL的轻型设备上计算要求)。然后,本文将考虑FL,SL和SFL,并将它们安装在Raspberry Pi设备上以评估其性能,包括培训时间,通信开销,功耗和内存使用情况。除了评估外,我们还应用了两个优化。首先,我们通过仔细检查服务器端混合类型的模型训练的可能性来概括SFL。通用SFL融合了模型训练的顺序(依赖)和并行(独立)过程,因此对于具有大规模IoT设备的系统(特别是在服务器端操作)有利。其次,我们提出了实用的技术,可将SL和(通用)SFL的通信开销大幅度减少多达四倍。



"点击查看英文标题和摘要"

更新日期:2021-03-05
down
wechat
bug