In recent years, the need for neutral benchmark studies that focus on the comparison of methods coming from computational sciences has been increasingly recognized by the scientific community. While general advice on the design and analysis of neutral benchmark studies can be found in recent literature, a certain flexibility always exists. This includes the choice of data sets and performance measures, the handling of missing performance values, and the way the performance values are aggregated over the data sets. As a consequence of this flexibility, researchers may be concerned about how their choices affect the results or, in the worst case, may be tempted to engage in questionable research practices (e.g., the selective reporting of results or the post hoc modification of design or analysis components) to fit their expectations. To raise awareness for this issue, we use an example benchmark study to illustrate how variable benchmark results can be when all possible combinations of a range of design and analysis options are considered. We then demonstrate how the impact of each choice on the results can be assessed using multidimensional unfolding. In conclusion, based on previous literature and on our illustrative example, we claim that the multiplicity of design and analysis options combined with questionable research practices lead to biased interpretations of benchmark results and to over-optimistic conclusions. This issue should be considered by computational researchers when designing and analyzing their benchmark studies and by the scientific community in general in an effort towards more reliable benchmark results.

中文翻译：

---

对基准研究的过度乐观以及在解释其结果时设计和分析选项的多样性

近年来，科学界越来越认识到需要专注于比较计算科学方法的中性基准研究。虽然在最近的文献中可以找到关于设计和分析中性基准研究的一般建议，但始终存在一定的灵活性。这包括数据集和性能度量的选择、缺失性能值的处理以及性能值在数据集上聚合的方式。由于这种灵活性，研究人员可能会担心他们的选择如何影响结果，或者在最坏的情况下，可能会倾向于参与有问题的研究实践（例如，选择性报告结果或事后修改设计或分析组件）以符合他们的期望。为了提高对这个问题的认识，我们使用一个示例基准研究来说明当考虑到一系列设计和分析选项的所有可能组合时，基准结果是如何变化的。然后，我们展示了如何使用多维展开来评估每个选择对结果的影响。总之，基于以前的文献和我们的说明性示例，我们声称设计和分析选项的多样性与可疑的研究实践相结合会导致对基准结果的偏见解释和过度乐观的结论。计算研究人员在设计和分析他们的基准研究时以及整个科学界都应该考虑这个问题，以努力获得更可靠的基准结果。我们使用一个示例基准研究来说明当考虑到一系列设计和分析选项的所有可能组合时，基准结果是如何变化的。然后，我们展示了如何使用多维展开来评估每个选择对结果的影响。总之，基于以前的文献和我们的说明性示例，我们声称设计和分析选项的多样性与可疑的研究实践相结合会导致对基准结果的偏见解释和过度乐观的结论。计算研究人员在设计和分析他们的基准研究时以及整个科学界都应该考虑这个问题，以努力获得更可靠的基准结果。我们使用一个示例基准研究来说明当考虑到一系列设计和分析选项的所有可能组合时，基准结果是如何变化的。然后，我们展示了如何使用多维展开来评估每个选择对结果的影响。总之，基于以前的文献和我们的说明性示例，我们声称设计和分析选项的多样性与可疑的研究实践相结合会导致对基准结果的偏见解释和过度乐观的结论。计算研究人员在设计和分析他们的基准研究时以及整个科学界都应该考虑这个问题，以努力获得更可靠的基准结果。