BACKGROUND Labelling outbreaks in surveillance data is necessary to train advanced analytical methods for outbreak detection, but there is a lack of software tools dedicated to this task. AIM To evaluate the usability of a web-based tool by infection control practitioners for labelling potential outbreaks. METHODS A mixed methods design was used to evaluate how 25 experts from France and Canada interacted with a web-based application to identify potential outbreaks. Each expert used the application to retrospectively review 11-12 1-year incidence time series from 23 different types of micro-organism. The interactions between the users and the application were recorded and analysed using mixed effect models. The users' comments were analysed via qualitative methods. FINDINGS From the 240 reviews completed, 439 potential outbreaks were labelled, approximately half with a high probability. Significant heterogeneity was observed between users regarding their answers and behaviours (evaluation time, usage of the different options). A significant learning effect was also observed for the experts' interactions with the tool, but this did not seem to impact their answers. The content analysis of the comments highlighted the difficulty of early outbreak identification for practitioners, but also the potential utility of web applications such as that evaluated for routine surveillance. CONCLUSION The interactive web application was both usable and useful for infection control practitioners. Its implementation in routine practice could help professionals to identify potential outbreaks while creating data to train automated detection algorithms.

中文翻译：

---

评估基于网络的工具以标记潜在的医院暴发：一项混合方法研究。

背景技术在监视数据中标记爆发是训练用于爆发检测的高级分析方法所必需的，但是缺少专用于此任务的软件工具。目的评估感染控制从业人员基于Web的工具对潜在爆发的标签的可用性。方法采用混合方法设计来评估来自法国和加拿大的25名专家如何与基于Web的应用程序进行交互以识别潜在的疾病爆发。每位专家都使用该应用程序回顾了23种不同类型微生物的11-12个1年发病率时间序列。使用混合效果模型记录并分析了用户与应用程序之间的交互。通过定性方法分析了用户的评论。结果从完成的240条评论中，标记了439次潜在的暴发，大约一半很有可能。在用户之间关于他们的答案和行为（评估时间，不同选项的使用），观察到了显着的异质性。专家与工具的交互也观察到了显着的学习效果，但这似乎并没有影响他们的答案。评论内容的分析强调了从业人员早期识别爆发的困难，但也突出了Web应用程序的潜在效用，例如用于常规监视的Web应用程序。结论交互式Web应用程序对于感染控制从业人员既有用又有用。它在常规实践中的实施可以帮助专业人员在创建数据以训练自动检测算法的同时识别潜在的爆发。大约一半的可能性很高。在用户之间关于他们的答案和行为（评估时间，不同选项的使用），观察到了显着的异质性。专家与工具的交互也观察到了显着的学习效果，但这似乎并没有影响他们的答案。评论内容的分析强调了从业人员早期识别爆发的困难，但也突出了Web应用程序的潜在效用，例如用于常规监视的Web应用程序。结论交互式Web应用程序对于感染控制从业人员既有用又有用。它在常规实践中的实施可以帮助专业人员在创建数据以训练自动检测算法的同时识别潜在的爆发。大约一半的可能性很高。在用户之间关于他们的答案和行为（评估时间，不同选项的使用），观察到了显着的异质性。专家与工具的交互也观察到了显着的学习效果，但这似乎并没有影响他们的答案。评论内容的分析强调了从业人员早期识别爆发的困难，但也突出了Web应用程序的潜在效用，例如用于常规监视的Web应用程序。结论交互式Web应用程序对于感染控制从业人员既有用又有用。它在常规实践中的实施可以帮助专业人员在创建数据以训练自动检测算法的同时识别潜在的爆发。在用户之间关于他们的答案和行为（评估时间，不同选项的使用），观察到了显着的异质性。专家与工具的交互也观察到了显着的学习效果，但这似乎并没有影响他们的答案。评论内容的分析强调了从业人员早期识别爆发的困难，但也突出了Web应用程序的潜在效用，例如用于常规监视的Web应用程序。结论交互式Web应用程序既可用于感染控制人员，又可用于感染控制人员。它在常规实践中的实施可以帮助专业人员在创建数据以训练自动检测算法的同时识别潜在的爆发。在用户之间关于他们的答案和行为（评估时间，不同选项的使用），观察到了显着的异质性。专家与工具的交互也观察到了显着的学习效果，但这似乎并没有影响他们的答案。评论内容的分析强调了从业人员早期识别爆发的困难，但也突出了Web应用程序的潜在效用，例如用于常规监视的Web应用程序。结论交互式Web应用程序对于感染控制从业人员既有用又有用。它在常规实践中的实施可以帮助专业人员在创建数据以训练自动检测算法的同时识别潜在的爆发。