当前位置: X-MOL 学术Sensors › 论文详情
Our official English website, www.x-mol.net, welcomes your feedback! (Note: you will need to create a separate account there.)
Federated Learning Using Particle Swarm Optimization to Reduce Communication Costs
Sensors ( IF 3.4 ) Pub Date : 2021-01-16 , DOI: 10.3390/s21020600
Sunghwan Park , Yeryoung Suh , Jaewoo Lee

Federated learning is a learning method that collects only learned models on a server to ensure data privacy. This method does not collect data on the server but instead proceeds with data directly from distributed clients. Because federated learning clients often have limited communication bandwidth, communication between servers and clients should be optimized to improve performance. Federated learning clients often use Wi-Fi and have to communicate in unstable network environments. However, as existing federated learning aggregation algorithms transmit and receive a large amount of weights, accuracy is significantly reduced in unstable network environments. In this study, we propose the algorithm using particle swarm optimization algorithm instead of FedAvg, which updates the global model by collecting weights of learned models that were mainly used in federated learning. The algorithm is named as federated particle swarm optimization (FedPSO), and we increase its robustness in unstable network environments by transmitting score values rather than large weights. Thus, we propose a FedPSO, a global model update algorithm with improved network communication performance, by changing the form of the data that clients transmit to servers. This study showed that applying FedPSO significantly reduced the amount of data used in network communication and improved the accuracy of the global model by an average of 9.47%. Moreover, it showed an improvement in loss of accuracy by approximately 4% in experiments on an unstable network.

中文翻译:

使用粒子群优化降低通信成本的联合学习

联合学习是一种仅在服务器上收集学习的模型以确保数据隐私的学习方法。此方法不收集服务器上的数据,而是直接从分布式客户端处理数据。由于联合学习客户端通常具有有限的通信带宽,因此应优化服务器和客户端之间的通信以提高性能。联盟的学习客户端通常使用Wi-Fi,并且必须在不稳定的网络环境中进行通信。但是,由于现有的联合学习聚合算法会发送和接收大量权重,因此在不稳定的网络环境中,准确性会大大降低。在这项研究中,我们提出了使用粒子群优化算法代替FedAvg的算法,通过收集主要用于联合学习的学习模型的权重来更新全局模型。该算法被称为联邦粒子群优化(FedPSO),我们通过传输得分值而不是较大的权重来提高其在不稳定网络环境中的鲁棒性。因此,我们通过更改客户端传输到服务器的数据形式,提出了一种FedPSO,一种具有改进的网络通信性能的全局模型更新算法。这项研究表明,应用FedPSO可以显着减少网络通信中使用的数据量,并使全局模型的准确性平均提高9.47%。此外,在不稳定的网络上进行的实验显示,其准确性损失提高了约4%。该算法被称为联邦粒子群优化(FedPSO),我们通过传输得分值而不是较大的权重来提高其在不稳定网络环境中的鲁棒性。因此,我们通过更改客户端传输到服务器的数据形式,提出了一种FedPSO,一种具有改进的网络通信性能的全局模型更新算法。这项研究表明,应用FedPSO可以显着减少网络通信中使用的数据量,并将全局模型的准确性平均提高9.47%。此外,在不稳定的网络上进行的实验显示,其准确性损失提高了约4%。该算法被称为联邦粒子群优化(FedPSO),我们通过传输得分值而不是较大的权重来提高其在不稳定网络环境中的鲁棒性。因此,我们通过更改客户端传输到服务器的数据形式,提出了一种FedPSO,一种具有改进的网络通信性能的全局模型更新算法。这项研究表明,应用FedPSO可以显着减少网络通信中使用的数据量,并将全局模型的准确性平均提高9.47%。此外,在不稳定的网络上进行的实验显示,其准确性损失提高了约4%。通过更改客户端传输到服务器的数据的形式,具有改进的网络通信性能的全局模型更新算法。这项研究表明,应用FedPSO可以显着减少网络通信中使用的数据量,并将全局模型的准确性平均提高9.47%。此外,在不稳定的网络上进行的实验显示,其准确性损失提高了约4%。通过更改客户端传输到服务器的数据的形式,具有改进的网络通信性能的全局模型更新算法。这项研究表明,应用FedPSO可以显着减少网络通信中使用的数据量,并将全局模型的准确性平均提高9.47%。此外,在不稳定的网络上进行的实验表明,其准确性损失提高了约4%。
更新日期:2021-01-18
down
wechat
bug