当前位置: X-MOL 学术arXiv.cs.LG › 论文详情
Our official English website, www.x-mol.net, welcomes your feedback! (Note: you will need to create a separate account there.)
拜占庭式鲁棒分布推断的方差减少均值中值估计
arXiv - CS - Machine Learning Pub Date : 2021-03-04 , DOI: arxiv-2103.02860
Jiyuan Tu, Weidong Liu, Xiaojun Mao, Xi Chen

本文开发了一种高效的分布式推理算法,该算法对中等比例的拜占庭式节点(即分布式学习系统中的任意机器和可能的对抗机器)具有鲁棒性。在稳健的统计数据中,均值中值(MOM)由于易于实施和计算效率高而成为对付拜占庭式故障的一种流行方法。但是,MOM估计器在统计效率方面存在不足。本文的第一个主要贡献是提出了一种方差减少的均值中位数(VRMOM)估计器,该估计器比香草MOM估计器提高了统计效率,并且在计算上与MOM一样有效。基于拟议的VRMOM估计器,我们开发了一种通用的分布式推理算法,该算法可抵抗拜占庭式故障。从理论上讲 我们的分布式算法仅需进行恒定数量的通信即可实现快速收敛。为了统计推断,我们还提供了渐近正态性结果。据我们所知,这是拜占庭式鲁棒分布式学习的第一个常态性结果。仿真结果也被提出来说明我们方法的有效性。



"点击查看英文标题和摘要"

更新日期:2021-03-05
down
wechat
bug