当前位置: X-MOL 学术arXiv.cs.GT › 论文详情
Our official English website, www.x-mol.net, welcomes your feedback! (Note: you will need to create a separate account there.)
Mitigating Manipulation in Peer Review via Randomized Reviewer Assignments
arXiv - CS - Computer Science and Game Theory Pub Date : 2020-06-29 , DOI: arxiv-2006.16437
Steven Jecmen, Hanrui Zhang, Ryan Liu, Nihar B. Shah, Vincent Conitzer, Fei Fang

We consider three important challenges in conference peer review: (i) reviewers maliciously attempting to get assigned to certain papers to provide positive reviews, possibly as part of quid-pro-quo arrangements with the authors; (ii) "torpedo reviewing," where reviewers deliberately attempt to get assigned to certain papers that they dislike in order to reject them; (iii) reviewer de-anonymization on release of the similarities and the reviewer-assignment code. On the conceptual front, we identify connections between these three problems and present a framework that brings all these challenges under a common umbrella. We then present a (randomized) algorithm for reviewer assignment that can optimally solve the reviewer-assignment problem under any given constraints on the probability of assignment for any reviewer-paper pair. We further consider the problem of restricting the joint probability that certain suspect pairs of reviewers are assigned to certain papers, and show that this problem is NP-hard for arbitrary constraints on these joint probabilities but efficiently solvable for a practical special case. Finally, we experimentally evaluate our algorithms on datasets from past conferences, where we observe that they can limit the chance that any malicious reviewer gets assigned to their desired paper to 50% while producing assignments with over 90% of the total optimal similarity. Our algorithms still achieve this similarity while also preventing reviewers with close associations from being assigned to the same paper.

中文翻译:

通过随机评审员分配减少同行评审中的操纵

我们考虑了会议同行评审中的三个重要挑战:(i) 审稿人恶意试图分配给某些论文以提供积极的评审,这可能是与作者交换条件的一部分;(ii) “鱼雷式审阅”,审稿人故意分配给他们不喜欢的某些论文以拒绝它们;(iii) 在发布相似性和审阅者分配代码时对审阅者进行去匿名化。在概念方面,我们确定了这三个问题之间的联系,并提出了一个框架,将所有这些挑战置于一个共同的保护伞之下。然后,我们提出了一个(随机的)审稿人分配算法,该算法可以在任何审稿人-论文对的分配概率的任何给定约束下最佳地解决审稿人-分配问题。我们进一步考虑了限制某些可疑审稿人被分配给某些论文的联合概率的问题,并表明这个问题对于这些联合概率的任意约束是 NP 难的,但对于实际的特殊情况可以有效地解决。最后,我们在过去会议的数据集上对我们的算法进行了实验评估,我们观察到它们可以将任何恶意审稿人被分配到他们想要的论文的机会限制在 50%,同时产生超过 90% 的总最佳相似度的分配。我们的算法仍然实现了这种相似性,同时也防止了具有密切关联的审稿人被分配到同一篇论文。并表明这个问题对于这些联合概率的任意约束是 NP-hard 的,但对于实际的特殊情况可以有效地解决。最后,我们在过去会议的数据集上对我们的算法进行了实验评估,我们观察到它们可以将任何恶意审稿人被分配到他们想要的论文的机会限制在 50%,同时产生超过 90% 的总最佳相似度的分配。我们的算法仍然实现了这种相似性,同时也防止了具有密切关联的审稿人被分配到同一篇论文。并表明这个问题对于这些联合概率的任意约束是 NP-hard 的,但对于实际的特殊情况可以有效地解决。最后,我们在过去会议的数据集上对我们的算法进行了实验评估,我们观察到它们可以将任何恶意审稿人被分配到他们想要的论文的机会限制在 50%,同时产生超过 90% 的总最佳相似度的分配。我们的算法仍然实现了这种相似性,同时也防止了具有密切关联的审稿人被分配到同一篇论文。我们观察到,他们可以将任何恶意审稿人被分配到他们想要的论文的机会限制在 50%,同时产生超过 90% 的总最佳相似度的分配。我们的算法仍然实现了这种相似性,同时也防止了具有密切关联的审稿人被分配到同一篇论文。我们观察到,他们可以将任何恶意审稿人被分配到他们想要的论文的机会限制在 50%,同时产生超过 90% 的总最佳相似度的分配。我们的算法仍然实现了这种相似性,同时也防止了具有密切关联的审稿人被分配到同一篇论文。
更新日期:2020-10-27
down
wechat
bug