Open-science initiatives have gained substantial momentum in computer science, and particularly in software-engineering research. A critical aspect of open-science is the public availability of artifacts (e.g., tools), which facilitates the replication, reproduction, extension, and verification of results. While we experienced that many artifacts are not publicly available, we are not aware of empirical evidence supporting this subjective claim. In this article, we report an empirical study on software artifact papers (SAPs) published at the International Conference on Software Engineering (ICSE), in which we investigated whether and how researchers have published their software artifacts, and whether this had scientific impact. Our dataset comprises 789 ICSE research track papers, including 604 SAPs (76.6 %), from the years 2007 to 2017. While showing a positive trend towards artifact availability, our results are still sobering. Even in 2017, only 58.5 % of the papers that stated to have developed a software artifact made that artifact publicly available. As we did find a small, but statistically significant, positive correlation between linking to artifacts in a paper and its scientific impact in terms of citations, we hope to motivate the research community to share more artifacts. With our insights, we aim to support the advancement of open science by discussing our results in the context of existing initiatives and guidelines. In particular, our findings advocate the need for clearly communicating artifacts and the use of non-commercial, persistent archives to provide replication packages.

中文翻译：

---

发布或消亡，但不要忘记您的软件工件

开放科学计划在计算机科学领域获得了巨大的推动力，尤其是在软件工程研究中。开放科学的一个关键方面是工件（例如工具）的公共可用性，这有助于结果的复制、复制、扩展和验证。虽然我们经历过许多人工制品不是公开可用的，但我们不知道支持这种主观主张的经验证据。在本文中，我们报告了在国际软件工程会议 (ICSE) 上发表的软件工件论文 (SAP) 的实证研究，其中我们调查了研究人员是否以及如何发布他们的软件工件，以及这是否具有科学影响。我们的数据集包含 2007 年至 2017 年的 789 篇 ICSE 研究跟踪论文，其中包括 604 篇 SAP（76.6%）。虽然显示出工件可用性的积极趋势，但我们的结果仍然令人警醒。即使在 2017 年，声称开发了软件工件的论文中也只有 58.5% 公开了该工件。由于我们确实发现了论文中与人工制品的链接与其在引用方面的科学影响之间存在微小但具有统计显着性的正相关，因此我们希望激励研究界分享更多的人工制品。凭借我们的见解，我们旨在通过在现有倡议和指南的背景下讨论我们的结果来支持开放科学的进步。特别是，我们的发现主张需要清楚地传达工件，并使用非商业的、持久的档案来提供复制包。即使在 2017 年，声称开发了软件工件的论文中也只有 58.5% 公开了该工件。由于我们确实发现了论文中与人工制品的链接与其在引用方面的科学影响之间存在微小但具有统计显着性的正相关，因此我们希望激励研究界分享更多的人工制品。凭借我们的见解，我们旨在通过在现有倡议和指南的背景下讨论我们的结果来支持开放科学的进步。特别是，我们的发现主张需要清楚地传达工件，并使用非商业的、持久的档案来提供复制包。即使在 2017 年，声称开发了软件工件的论文中也只有 58.5% 公开了该工件。由于我们确实发现了论文中与人工制品的链接与其在引用方面的科学影响之间存在微小但具有统计显着性的正相关，因此我们希望激励研究界分享更多的人工制品。凭借我们的见解，我们旨在通过在现有倡议和指南的背景下讨论我们的结果来支持开放科学的进步。特别是，我们的发现主张需要清楚地传达工件，并使用非商业的、持久的档案来提供复制包。论文中与人工制品的链接与其在引用方面的科学影响之间存在正相关关系，我们希望激励研究界分享更多的人工制品。凭借我们的见解，我们旨在通过在现有倡议和指南的背景下讨论我们的结果来支持开放科学的进步。特别是，我们的发现主张需要清楚地传达工件，并使用非商业的、持久的档案来提供复制包。论文中与人工制品的链接与其在引用方面的科学影响之间存在正相关关系，我们希望激励研究界分享更多的人工制品。凭借我们的洞察力，我们旨在通过在现有倡议和指南的背景下讨论我们的结果来支持开放科学的进步。特别是，我们的发现主张需要清楚地传达工件，并使用非商业的、持久的档案来提供复制包。