Abstract

This article presents results and lessons learned from a prediction competition organized by ViEWS to improve collective scientific knowledge on forecasting (de-)escalation in Africa. The competition call asked participants to forecast changes in state-based violence for the true future (October 2020–March 2021) as well as for a held-out test partition. An external scoring committee, independent from both the organizers and participants, was formed to evaluate the models based on both qualitative and quantitative criteria, including performance, novelty, uniqueness, and replicability. All models contributed to advance the research frontier by providing novel methodological or theoretical insight, including new data, or adopting innovative model specifications. While we discuss several facets of the competition that could be improved moving forward, the collection passes an important test. When we build a simple ensemble prediction model—which draws on the unique insights of each contribution to differing degrees—we can measure an improvement in the prediction from the group, over and above what the average individual model can achieve. This wisdom of the crowd effect suggests that future competitions that build on both the successes and failures of ours, can contribute to scientific knowledge by incentivizing diverse contributions as well as focusing a group’s attention on a common problem.

Este artículo presenta los resultados y las enseñanzas extraídas en el marco de un certamen de predicción organizado por los responsables del proyecto Sistema de Alerta Temprana de Violencia (Violence Early-Warning System, ViEWS) con el propósito de mejorar los conocimientos científicos colectivos sobre la previsión de la (des)escalada en el continente africano. En el certamen se pidió a los participantes que desarrollaran una previsión con respecto a los cambios en la violencia estatal para el futuro real (de octubre de 2020 a marzo de 2021), así como para una muestra de prueba que se mantendría. Se formó un comité de calificación externo, independiente tanto de los organizadores como de los participantes, para evaluar los modelos en función de criterios cualitativos y cuantitativos, como el rendimiento, la novedad, la singularidad y la replicabilidad. Todos los modelos contribuyeron a avanzar en la frontera de la investigación mediante el aporte de nuevos conocimientos metodológicos o teóricos, la inclusión de nuevos datos o la adopción de especificaciones innovadoras del modelo. Aunque se debarió sobre varios aspectos del certamen que podrían mejorarse de cara al futuro, lo que se recopiló pasó una prueba importante. Cuando se construye un simple modelo de predicción de conjunto, que se basa en los conocimientos únicos de cada contribución en diferentes grados, se puede medir una mejora en la predicción del grupo, por encima de lo que el modelo individual promedio puede lograr. Este efecto de la sabiduría de la multitud sugiere que los futuros certámenes que se basen tanto en los éxitos como en los fracasos propios, pueden contribuir al conocimiento científico incentivando diversas contribuciones, así como centrando la atención de un grupo en un problema común.

Cet article présente les résultats et les enseignements tirés d’un concours de prédiction organisé par ViEWS (Violence early-warning system, système d’alerte précoce sur la violence) pour améliorer nos connaissances scientifiques collectives en prévision de la (dés)escalade de la violence sur le continent africain. L’appel à concours demandait aux participants de prévoir les évolutions de la violence étatique pour le futur réel (octobre 2020-mars 2021) ainsi que pour une partition test retenue. Un comité de notation externe, indépendant à la fois des organisateurs et des participants, a été constitué pour évaluer les modèles à la fois sur des critères qualitatifs et quantitatifs, notamment sur leurs performances, leur nouveauté, leur unicité et leur reproductibilité. Tous les modèles ont contribué à faire avancer la frontière des recherches en apportant un éclairage méthodologique ou théorique inédit, en incluant de nouvelles données ou en adoptant des caractéristiques de modèle innovantes. Bien que nous abordions plusieurs facettes du concours qui pourraient être améliorées en allant de l’avant, l’ensemble de modèles a réussi un test important. Lorsque nous concevons un modèle de prédiction par ensemble simple - qui s’appuie sur les renseignements uniques de chaque contribution aux différents degrés -, nous pouvons mesurer une amélioration de la prédiction du groupe par rapport à ce que le modèle individuel moyen permet d’obtenir. Cet effet de sagesse de la foule suggère que les futurs concours, qui s’appuieront à la fois sur les réussites et les échecs du nôtre, pourront contribuer aux connaissances scientifiques en encourageant des contributions diverses et en concentrant l’attention d’un groupe sur un problème commun.

摘要

本文介绍了从 ViEWS 组织的预测竞赛中获得的结果和经验教训，以提高有关非洲预测（降级）升级的集体科学知识。比赛电话要求参与者预测变化为真正的未来（2020 年 10 月至 2021 年 3 月）以及坚持的测试分区进行基于国家的暴力。成立了一个独立于组织者和参与者的外部评分委员会，根据定性和定量标准评估模型，包括性能、新颖性、独特性和可复制性。所有模型都通过提供新的方法或理论见解（包括新数据）或采用创新的模型规范，为推进研究前沿做出了贡献。虽然我们讨论了未来可以改进的竞争的几个方面，但该系列通过了一项重要的测试。当我们建立一个简单的集成预测模型时——它利用每个贡献在不同程度上的独特见解——我们可以衡量该组预测的改进，超出了普通个体模型所能达到的水平。这种群体效应的智慧表明，未来的竞赛既建立在我们的成功和失败的基础上，也可以通过激励不同的贡献以及将团队的注意力集中在一个共同的问题上来为科学知识做出贡献。

本文介绍了由 Sistema de Alerta Temprana de Violencia（暴力预警系统，ViEWS）con el propósito de mjorar los conocimientos científicos colectivos sur 项目负责人组织的结果和训练 extraídas en el marco de un certamen de prediction la 预测非洲大陆的（降）升级。En el certamen se pidió a los参与者que déarrollaran una forecast con respecto a los cambios en la暴力 estatal para el futuro real (de octubre de 2020 a marzo de 2021), así como para una muestra de prueba que se mantendría。成立了一个独立于组织者和参与者的外部资格委员会，以评估模型在定性和定量标准方面的功能，如回报、新颖性、单一性和可复制性。所有模型都有助于推进中值调查的前沿，并带来新的方法或理论conocimientos，包含新数据或采用模型的创新规范。Aunque debarió sobre varios aspectos del certamen que podrían 改善 de cara al futuro, lo que se compiló pasó una prueba 很重要。Cuando 构建了一个简单的组预测模型，该模型基于该贡献在不同级别的统一conocimientos，可以通过 encima de lo que el modelo 个人平均 puede lograr 来改进组预测。Este efecto de la sabiduríade la multitud 建议 los futuros certámenes que se base tanto en los éxitos como en los fracasos propios,

本文介绍了 ViEWS（暴力预警系统）组织的预测竞赛的结果和经验教训，以提高我们的集体科学知识，以应对非洲大陆的暴力（降级）升级。竞赛呼吁要求参与者预测未来（2020 年 10 月至 2021 年 3 月）国家暴力的演变以及选定的考试成绩。成立了一个独立于组织者和参与者的外部评级委员会，以根据定性和定量标准评估模型，包括性能、新颖性、独特性和可重复性。所有模型都通过提供新的方法或理论见解（包括新数据）或采用创新的模型特征，为推进研究前沿做出了贡献。虽然我们谈到了竞赛中可以改进的几个方面，但模板集通过了一项重要的测试。当我们设计一个简单的集成预测模型时——它依赖于每个贡献在不同阶段的独特见解——我们可以衡量群体预测相对于平均个体模型所取得的改进。这种群众智慧效应表明，未来的比赛将建立在我们成功和失败的基础上，