A central challenge in training classification models in the real-world federated system is learning with non-IID data. To cope with this, most of the existing works involve enforcing regularization in local optimization or improving the model aggregation scheme at the server. Other works also share public datasets or synthesized samples to supplement the training of under-represented classes or introduce a certain level of personalization. Though effective, they lack a deep understanding of how the data heterogeneity affects each layer of a deep classification model. In this paper, we bridge this gap by performing an experimental analysis of the representations learned by different layers. Our observations are surprising: (1) there exists a greater bias in the classifier than other layers, and (2) the classification performance can be significantly improved by post-calibrating the classifier after federated training. Motivated by the above findings, we propose a novel and simple algorithm called Classifier Calibration with Virtual Representations (CCVR), which adjusts the classifier using virtual representations sampled from an approximated gaussian mixture model. Experimental results demonstrate that CCVR achieves state-of-the-art performance on popular federated learning benchmarks including CIFAR-10, CIFAR-100, and CINIC-10. We hope that our simple yet effective method can shed some light on the future research of federated learning with non-IID data.

中文翻译：

---

无惧异构：使用非 IID 数据进行联邦学习的分类器校准

在真实世界的联邦系统中训练分类模型的一个核心挑战是使用非 IID 数据进行学习。为了解决这个问题，现有的大部分工作都涉及在局部优化中强制执行正则化或改进服务器端的模型聚合方案。其他作品也共享公共数据集或合成样本，以补充代表性不足的类的训练或引入一定程度的个性化。虽然有效，但他们缺乏对数据异质性如何影响深度分类模型的每一层的深入理解。在本文中，我们通过对不同层学习的表示进行实验分析来弥合这一差距。我们的观察结果令人惊讶：（1）分类器中存在比其他层更大的偏差，(2)通过联邦训练后对分类器进行后校准，可以显着提高分类性能。受上述发现的启发，我们提出了一种新颖且简单的算法，称为具有虚拟表示的分类器校准 (CCVR)，该算法使用从近似高斯混合模型中采样的虚拟表示来调整分类器。实验结果表明，CCVR 在流行的联邦学习基准测试（包括 CIFAR-10、CIFAR-100 和 CINIC-10）上实现了最先进的性能。我们希望我们简单而有效的方法可以为非 IID 数据的联邦学习的未来研究提供一些启示。我们提出了一种新颖且简单的算法，称为具有虚拟表示的分类器校准 (CCVR)，该算法使用从近似高斯混合模型中采样的虚拟表示来调整分类器。实验结果表明，CCVR 在流行的联邦学习基准测试（包括 CIFAR-10、CIFAR-100 和 CINIC-10）上实现了最先进的性能。我们希望我们简单而有效的方法可以为非 IID 数据的联邦学习的未来研究提供一些启示。我们提出了一种新颖且简单的算法，称为具有虚拟表示的分类器校准 (CCVR)，该算法使用从近似高斯混合模型中采样的虚拟表示来调整分类器。实验结果表明，CCVR 在流行的联邦学习基准测试（包括 CIFAR-10、CIFAR-100 和 CINIC-10）上实现了最先进的性能。我们希望我们简单而有效的方法可以为非 IID 数据的联邦学习的未来研究提供一些启示。