Predicting the daily variability of Equatorial Plasma Bubbles (EPBs) is an ongoing scientific challenge. Various methods for predicting EPBs have been developed, however, the research community is yet to scrutinize the methods for evaluating and comparing these prediction models/techniques. In this study, 12 months of co‐located GPS and UHF scintillation observations spanning South America, Atlantic/Western Africa, Southeast Asia, and Pacific sectors are used to evaluate the Generalized Rayleigh‐Taylor (R‐T) growth rates calculated from the Thermosphere Ionosphere Electrodynamics General Circulation Model (TIEGCM). Various assessment metrics are explored, including the use of significance testing on skill scores for threshold selection. The sensitivity of these skill scores to data set type (i.e., GPS versus UHF) and data set size (30, 50, 60, and 90 days/events) is also investigated. It is shown that between 50 and 90 days is required to achieve a statistically significant skill score. Methods for conducting model‐model comparisons are also explored, including the use of model “sufficiency.” However, it is shown that the results of model‐model comparisons must be carefully interpreted and can be heavily dependent on the data set used. It is also demonstrated that the observation data set must exhibit an appropriate level of daily EPB variability in order to assess the true strength of a given model/technique. Other limitations and considerations on assessment metrics and future challenges for EPB prediction studies are also discussed.

中文翻译：

---

每日赤道等离子气泡发生建模与预报的评估

预测赤道等离子气泡（EPB）的每日变化是一项持续的科学挑战。已经开发出各种用于预测EPB的方法，但是，研究界尚未审查评估和比较这些预测模型/技术的方法。在这项研究中，使用横跨南美洲，大西洋/西非，东南亚和太平洋地区的共12个月的GPS和UHF闪烁观测数据来评估由热圈计算的广义瑞利泰勒（RT）增长率电离层电动力学通用循环模型（TIEGCM）。探索了各种评估指标，包括对技能评分进行显着性测试以选择阈值。这些技能得分对数据集类型（即GPS与UHF）和数据集大小（30、50、60，和90天/事件）。结果表明，要获得统计学上显着的技能得分，需要50至90天。还探讨了进行模型与模型比较的方法，包括使用模型“充分性”。但是，结果表明，必须对模型-模型比较的结果进行仔细的解释，并且在很大程度上取决于所使用的数据集。还证明，观察数据集必须表现出适当水平的每日EPB变异性，以便评估给定模型/技术的真实强度。还讨论了评估指标的其他限制和考虑因素以及EPB预测研究的未来挑战。还探讨了进行模型与模型比较的方法，包括使用模型“充分性”。但是，结果表明，必须对模型-模型比较的结果进行仔细的解释，并且在很大程度上取决于所使用的数据集。还证明，观察数据集必须表现出适当水平的每日EPB变异性，以便评估给定模型/技术的真实强度。还讨论了评估指标的其他限制和考虑因素以及EPB预测研究的未来挑战。还探讨了进行模型与模型比较的方法，包括使用模型“充分性”。但是，结果表明，必须对模型-模型比较的结果进行仔细的解释，并且在很大程度上取决于所使用的数据集。还证明，观察数据集必须表现出适当水平的每日EPB变异性，以便评估给定模型/技术的真实强度。还讨论了评估指标的其他限制和考虑因素以及EPB预测研究的未来挑战。还证明，观察数据集必须表现出适当水平的每日EPB变异性，以便评估给定模型/技术的真实强度。还讨论了评估指标的其他限制和考虑因素以及EPB预测研究的未来挑战。还证明，观察数据集必须表现出适当水平的每日EPB变异性，以便评估给定模型/技术的真实强度。还讨论了评估指标的其他限制和考虑因素以及EPB预测研究的未来挑战。