Learnersourcing is emerging as a viable approach for mobilizing the learner community and harnessing the intelligence of learners as creators of learning resources. Previous works have demonstrated that the quality of resources developed by students is quite diverse with some resources meeting rigorous judgmental criteria, whereas other resources are ineffective, inappropriate, or incorrect. Consequently, to effectively utilize these large repositories of resources in student learning, there is a need for a selection and moderation process to separate high-quality resources from low-quality ones in such repositories. Instructors and domain experts are potentially the most reliable source for doing this task; however, their availability is often quite limited. This article explores whether and how learnersourcing, as an alternative approach, can be used for evaluating the quality of learning resources. To do so, we first follow a data-driven approach to explore students’ ability in judging the quality of learning resources. Results from this study suggest that, overall, ratings provided by students strongly correlate with ratings from experts; however, students’ ability in evaluating learning resources can also vary significantly. We then present a consensus approach based on matrix factorization and indicate how it can be used for improving the accuracy of aggregating learnersourced decisions. In this article, we also demonstrate how utilizing information on student performance and incorporating ratings from domain experts on a limited number of learning resources can be leveraged to further improve the accuracy of the results.

中文翻译：

---

评估学习资源的质量：一种学习者外包的方法

学习者外包正在成为一种动员学习者社区并利用学习者作为学习资源创建者的智慧的可行方法。以前的工作表明，学生开发的资源质量差异很大，有些资源符合严格的判断标准，而其他资源则无效，不合适或不正确。因此，为了在学生学习中有效利用这些大型资源库，需要一种选择和审核过程，以将此类资源库中的高质量资源与劣质资源区分开。指导员和领域专家可能是执行此任务的最可靠来源。但是，它们的可用性通常非常有限。本文探讨了作为一种替代方法的学习者外包是否以及如何进行，可用于评估学习资源的质量。为此，我们首先采用数据驱动的方法来探索学生判断学习资源质量的能力。这项研究的结果表明，总的来说，学生提供的评分与专家的评分密切相关。但是，学生评估学习资源的能力也可能有很大差异。然后，我们提出一种基于矩阵分解的共识方法，并指出如何将其用于提高汇总学习者决策的准确性。在本文中，我们还将演示如何利用学生表现信息并结合领域专家在有限数量的学习资源上的评级来进一步提高结果的准确性。为此，我们首先采用数据驱动的方法来探索学生判断学习资源质量的能力。这项研究的结果表明，总的来说，学生提供的评分与专家的评分密切相关。但是，学生评估学习资源的能力也可能有很大差异。然后，我们提出一种基于矩阵分解的共识方法，并指出如何将其用于提高汇总学习者决策的准确性。在本文中，我们还将演示如何利用学生表现信息并结合领域专家在有限数量的学习资源上的评级来进一步提高结果的准确性。为此，我们首先采用数据驱动的方法来探索学生判断学习资源质量的能力。这项研究的结果表明，总的来说，学生提供的评分与专家的评分密切相关。但是，学生评估学习资源的能力也可能有很大差异。然后，我们提出一种基于矩阵分解的共识方法，并指出如何将其用于提高汇总学习者决策的准确性。在本文中，我们还将演示如何利用学生表现信息并结合领域专家在有限数量的学习资源上的评级来进一步提高结果的准确性。我们首先采用数据驱动的方法来探索学生判断学习资源质量的能力。这项研究的结果表明，总的来说，学生提供的评分与专家的评分密切相关。但是，学生评估学习资源的能力也可能有很大差异。然后，我们提出一种基于矩阵分解的共识方法，并指出如何将其用于提高汇总学习者决策的准确性。在本文中，我们还将演示如何利用学生表现信息并结合领域专家在有限数量的学习资源上的评级来进一步提高结果的准确性。我们首先采用数据驱动的方法来探索学生判断学习资源质量的能力。这项研究的结果表明，总的来说，学生提供的评分与专家的评分密切相关。但是，学生评估学习资源的能力也可能有很大差异。然后，我们提出一种基于矩阵分解的共识方法，并指出如何将其用于提高汇总学习者决策的准确性。在本文中，我们还将演示如何利用学生表现信息并结合领域专家在有限数量的学习资源上的评级来进一步提高结果的准确性。但是，学生评估学习资源的能力也可能有很大差异。然后，我们提出一种基于矩阵分解的共识方法，并指出如何将其用于提高汇总学习者决策的准确性。在本文中，我们还将演示如何利用学生表现信息并结合领域专家在有限数量的学习资源上的评级来进一步提高结果的准确性。但是，学生评估学习资源的能力也可能有很大差异。然后，我们提出一种基于矩阵分解的共识方法，并指出如何将其用于提高汇总学习者决策的准确性。在本文中，我们还将演示如何利用学生表现信息并结合领域专家在有限数量的学习资源上的评级来进一步提高结果的准确性。