In recent years, crowdsourcing has gained tremendous attention in the machine learning community due to the increasing demand for labeled data. However, the labels collected by crowdsourcing are usually unreliable and noisy. This issue is mainly caused by: 1) nonflexible data collection mechanisms; 2) nonincentive payment functions; and 3) inexpert crowd workers. We propose a new robust crowdsourcing framework as a comprehensive solution for all these challenging problems. Our unified framework consists of three novel components. First, we introduce a new flexible data collection mechanism based on the cumulative voting system, allowing crowd workers to express their confidence for each option in multi-choice questions. Second, we design a novel payment function regarding the settings of our data collection mechanism. The payment function is theoretically proved to be incentive-compatible, encouraging crowd workers to disclose truthfully their beliefs to get the maximum payment. Third, we propose efficient aggregation models, which are compatible with both single-option and multi-option crowd labels. We define a new aggregation model, called simplex constrained majority voting (SCMV), and enhance it by using the probabilistic generative model. Furthermore, fast optimization algorithms are derived for the proposed aggregation models. Experimental results indicate higher quality for the crowd labels collected by our proposed mechanism without increasing the cost. Our aggregation models also outperform the state-of-the-art models on multiple crowdsourcing data sets in terms of accuracy and convergence speed.

中文翻译：

---

使用新的激励支付功能和联合聚集模型的稳健累积众包框架。

近年来，由于对标记数据的需求不断增长，众包在机器学习社区中获得了极大的关注。但是，通过众包收集的标签通常不可靠且嘈杂。这个问题主要是由于：1）不灵活的数据收集机制；2）非激励性支付功能；3）不熟练的人群工作者。我们提出了一个新的强大的众包框架，作为针对所有这些挑战性问题的综合解决方案。我们的统一框架由三个新颖的组件组成。首先，我们引入了一种基于累积投票系统的新的灵活数据收集机制，使人群工作者可以表达对多项选择题中每个选项的信心。其次，我们针对数据收集机制的设置设计了一种新颖的支付功能。理论上证明了支付功能具有激励相容性，鼓励人群工作者如实披露自己的信念以获得最大的支付。第三，我们提出了有效的聚合模型，该模型与单选项和多选项人群标签兼容。我们定义了一个新的聚合模型，称为单纯形约束多数投票（SCMV），并通过使用概率生成模型对其进行了增强。此外，针对所提出的聚集模型导出了快速优化算法。实验结果表明，在不增加成本的情况下，通过我们提出的机制收集的人群标签质量更高。我们的汇总模型在准确性和收敛速度方面也优于多个众包数据集的最新模型。鼓励群众工作者如实披露自己的信念，以获取最大的报酬。第三，我们提出了有效的聚合模型，该模型与单选项和多选项人群标签兼容。我们定义了一个新的聚合模型，称为单纯形约束多数投票（SCMV），并通过使用概率生成模型对其进行了增强。此外，针对所提出的聚集模型导出了快速优化算法。实验结果表明，在不增加成本的情况下，通过我们提出的机制收集的人群标签质量更高。我们的汇总模型在准确性和收敛速度方面也优于多个众包数据集的最新模型。鼓励群众工作者如实披露自己的信念，以获取最大的报酬。第三，我们提出了有效的聚合模型，该模型与单选项和多选项人群标签兼容。我们定义了一个新的聚合模型，称为单纯形约束多数投票（SCMV），并通过使用概率生成模型对其进行了增强。此外，针对所提出的聚集模型导出了快速优化算法。实验结果表明，在不增加成本的情况下，通过我们提出的机制收集的人群标签质量更高。我们的汇总模型在准确性和收敛速度方面也优于多个众包数据集的最新模型。与单选项和多选项人群标签兼容。我们定义了一个新的聚合模型，称为单纯形约束多数投票（SCMV），并通过使用概率生成模型对其进行了增强。此外，针对所提出的聚集模型导出了快速优化算法。实验结果表明，在不增加成本的情况下，通过我们提出的机制收集的人群标签质量更高。我们的汇总模型在准确性和收敛速度方面也优于多个众包数据集的最新模型。与单选项和多选项人群标签兼容。我们定义了一个新的聚合模型，称为单纯形约束多数投票（SCMV），并通过使用概率生成模型对其进行了增强。此外，针对所提出的聚集模型导出了快速优化算法。实验结果表明，在不增加成本的情况下，通过我们提出的机制收集的人群标签质量更高。我们的聚合模型在准确性和收敛速度方面也优于多个众包数据集的最新模型。针对所提出的聚集模型推导了快速优化算法。实验结果表明，在不增加成本的情况下，通过我们提出的机制收集的人群标签质量更高。我们的汇总模型在准确性和收敛速度方面也优于多个众包数据集的最新模型。针对所提出的聚集模型推导了快速优化算法。实验结果表明，在不增加成本的情况下，通过我们提出的机制收集的人群标签质量更高。我们的汇总模型在准确性和收敛速度方面也优于多个众包数据集的最新模型。