The flying ad-hoc network (FANET) is a decentralized communication network for the unmanned aerial vehicles (UAVs). Because of the wireless nature and the unique network properties, FANET remains vulnerable to jamming attack with additional challenges. First, a decision from a centralized knowledge base is unsuitable because of the communication and power constraints in FANET. Second, the high mobility and the low density of the UAVs in FANET require constant adaptation to newly explored spatial environments containing unbalanced data; rendering a distributed jamming detection mechanism inadequate. Third, taking model-based jamming defense actions in a newly explored environment, without a precise estimation of the transitional probabilities, is challenging. Therefore, we propose an adaptive federated reinforcement learning-based jamming attack defense strategy. We developed a model-free Q-learning mechanism with an adaptive exploration-exploitation epsilon-greedy policy, directed by an ondevice federated jamming detection mechanism. The simulation results revealed that the proposed adaptive federated reinforcement learning-based defense strategy outperformed the baseline methods by significantly reducing the number of en route jammer location hop counts. The results also showed that the average accuracy of the federated jamming detection mechanism, leveraged in the defense strategy, was 39.9% higher than that of the distributed mechanism verified with the standard CRAWDAD jamming attack dataset and the ns-3 simulated FANET jamming attack dataset.

中文翻译：

---

AFRL：用于 FANET 中智能干扰防御的自适应联合强化学习

飞行自组织网络 (FANET) 是一种用于无人机 (UAV) 的分散式通信网络。由于无线性质和独特的网络特性，FANET 仍然容易受到干扰攻击和额外挑战。首先，由于 FANET 中的通信和功率限制，来自集中式知识库的决策是不合适的。其次，FANET 中无人机的高机动性和低密度需要不断适应新探索的包含不平衡数据的空间环境；导致分布式干扰检测机制不足。第三，在没有精确估计过渡概率的情况下，在新探索的环境中采取基于模型的干扰防御行动是具有挑战性的。所以，我们提出了一种基于自适应联邦强化学习的干扰攻击防御策略。我们开发了一种无模型 Q 学习机制，该机制具有自适应探索-利用 epsilon-贪婪策略，由设备上联合干扰检测机制指导。仿真结果表明，所提出的基于自适应联邦强化学习的防御策略通过显着减少途中干扰器定位跳数的数量而优于基线方法。结果还表明，在防御策略中利用的联合干扰检测机制的平均准确率比使用标准 CRAWDAD 干扰攻击数据集和 ns-3 模拟 FANET 干扰攻击数据集验证的分布式机制高 39.9%。我们开发了一种无模型 Q 学习机制，该机制具有自适应探索-利用 epsilon-贪婪策略，由设备上联合干扰检测机制指导。仿真结果表明，所提出的基于自适应联邦强化学习的防御策略通过显着减少途中干扰器定位跳数的数量而优于基线方法。结果还表明，在防御策略中利用的联合干扰检测机制的平均准确率比使用标准 CRAWDAD 干扰攻击数据集和 ns-3 模拟 FANET 干扰攻击数据集验证的分布式机制高 39.9%。我们开发了一种无模型 Q 学习机制，该机制具有自适应探索-利用 epsilon-贪婪策略，由设备上联合干扰检测机制指导。仿真结果表明，所提出的基于自适应联邦强化学习的防御策略通过显着减少途中干扰器定位跳数的数量而优于基线方法。结果还表明，在防御策略中利用的联合干扰检测机制的平均准确率比使用标准 CRAWDAD 干扰攻击数据集和 ns-3 模拟 FANET 干扰攻击数据集验证的分布式机制高 39.9%。仿真结果表明，所提出的基于自适应联邦强化学习的防御策略通过显着减少途中干扰器定位跳数的数量而优于基线方法。结果还表明，在防御策略中利用的联合干扰检测机制的平均准确率比使用标准 CRAWDAD 干扰攻击数据集和 ns-3 模拟 FANET 干扰攻击数据集验证的分布式机制高 39.9%。仿真结果表明，所提出的基于自适应联邦强化学习的防御策略通过显着减少途中干扰器定位跳数的数量而优于基线方法。结果还表明，在防御策略中利用的联合干扰检测机制的平均准确率比使用标准 CRAWDAD 干扰攻击数据集和 ns-3 模拟 FANET 干扰攻击数据集验证的分布式机制高 39.9%。