BACKGROUND Crowdsourcing is used increasingly in health and medical research. Crowdsourcing is the process of aggregating crowd wisdom to solve a problem. The purpose of this systematic review is to summarize quantitative evidence on crowdsourcing to improve health. METHODS We followed Cochrane systematic review guidance and systematically searched seven databases up to September 4th 2019. Studies were included if they reported on crowdsourcing and related to health or medicine. Studies were excluded if recruitment was the only use of crowdsourcing. We determined the level of evidence associated with review findings using the GRADE approach. RESULTS We screened 3508 citations, accessed 362 articles, and included 188 studies. Ninety-six studies examined effectiveness, 127 examined feasibility, and 37 examined cost. The most common purposes were to evaluate surgical skills (17 studies), to create sexual health messages (seven studies), and to provide layperson cardio-pulmonary resuscitation (CPR) out-of-hospital (six studies). Seventeen observational studies used crowdsourcing to evaluate surgical skills, finding that crowdsourcing evaluation was as effective as expert evaluation (low quality). Four studies used a challenge contest to solicit human immunodeficiency virus (HIV) testing promotion materials and increase HIV testing rates (moderate quality), and two of the four studies found this approach saved money. Three studies suggested that an interactive technology system increased rates of layperson initiated CPR out-of-hospital (moderate quality). However, studies analyzing crowdsourcing to evaluate surgical skills and layperson-initiated CPR were only from high-income countries. Five studies examined crowdsourcing to inform artificial intelligence projects, most often related to annotation of medical data. Crowdsourcing was evaluated using different outcomes, limiting the extent to which studies could be pooled. CONCLUSIONS Crowdsourcing has been used to improve health in many settings. Although crowdsourcing is effective at improving behavioral outcomes, more research is needed to understand effects on clinical outcomes and costs. More research is needed on crowdsourcing as a tool to develop artificial intelligence systems in medicine. TRIAL REGISTRATION PROSPERO: CRD42017052835. December 27, 2016.

中文翻译：

---

卫生和医学研究中的众包：系统评价。

背景技术众包在健康和医学研究中越来越多地被使用。众包是聚集众智以解决问题的过程。本系统综述的目的是总结有关众包改善健康的定量证据。方法截至2019年9月4日，我们遵循Cochrane系统评价指南并系统搜索了七个数据库。如果研究报告了关于众包且与健康或医学相关的研究，则将其包括在内。如果招聘是众包的唯一用途，则将研究排除在外。我们使用GRADE方法确定了与审查结果相关的证据水平。结果我们筛选了3508篇文献，收录362篇文章，包括188篇研究。九十六项研究检查了有效性，127项检查了可行性，37项检查了成本。最常见的目的是评估手术技能（17项研究），创建性健康信息（7项研究），以及在院外提供非专业人员的心肺复苏（CPR）（6项研究）。十七项观察性研究使用众包评估手术技能，发现众包评估与专家评估一样有效（低质量）。四项研究使用挑战竞赛征集人类免疫缺陷病毒（HIV）测试促进材料并提高HIV测试率（中等质量），四项研究中的两项发现此方法可省钱。三项研究表明，交互式技术系统提高了院外心肺复苏的门诊率（中等质量）。然而，仅在高收入国家/地区进行了分析众包以评估手术技能和非专业人士发起的CPR的研究。有五项研究检查了众包，以为人工智能项目提供信息，这通常与医学数据的注释有关。使用不同的结果对众包进行了评估，从而限制了汇总研究的范围。结论众包已被用于改善许多环境中的健康状况。尽管众包可有效改善行为结局，但仍需要更多研究来了解对临床结局和成本的影响。作为开发医学人工智能系统的工具，需要对众包进行更多研究。试用注册PROSPERO：CRD42017052835。2016年12月27日。有五项研究检查了众包，以为人工智能项目提供信息，这通常与医学数据的注释有关。使用不同的结果对众包进行了评估，从而限制了汇总研究的范围。结论众包已被用于改善许多环境中的健康。尽管众包可有效改善行为结局，但仍需要更多研究来了解对临床结局和成本的影响。作为开发医学人工智能系统的工具，需要对众包进行更多研究。试用注册PROSPERO：CRD42017052835。2016年12月27日。有五项研究检查了众包，以为人工智能项目提供信息，这通常与医学数据的注释有关。使用不同的结果对众包进行了评估，从而限制了汇总研究的范围。结论众包已被用于改善许多环境中的健康状况。尽管众包可有效改善行为结局，但仍需要更多研究来了解对临床结局和成本的影响。作为开发医学人工智能系统的工具，需要对众包进行更多研究。试用注册PROSPERO：CRD42017052835。2016年12月27日。结论众包已被用于改善许多环境中的健康状况。尽管众包可有效改善行为结局，但仍需要更多研究来了解对临床结局和成本的影响。作为开发医学人工智能系统的工具，需要对众包进行更多研究。试用注册PROSPERO：CRD42017052835。2016年12月27日。结论众包已被用于改善许多环境中的健康状况。尽管众包可有效改善行为结局，但仍需要更多研究来了解对临床结局和成本的影响。作为开发医学人工智能系统的工具，需要对众包进行更多研究。试用注册PROSPERO：CRD42017052835。2016年12月27日。