Many Stack Overflow answers have associated informative comments that can strengthen them and assist developers. A prior study found that comments can provide additional information to point out issues in their associated answer, such as the obsolescence of an answer. By showing more informative comments (e.g., the ones with higher scores) and hiding less informative ones, developers can more effectively retrieve information from the comments that are associated with an answer. Currently, Stack Overflow prioritizes the display of comments, and, as a result, 4.4 million comments (possibly including informative comments) are hidden by default from developers. In this study, we investigate whether this mechanism effectively organizes informative comments. We find that (1) the current comment organization mechanism does not work well due to the large amount of tie-scored comments (e.g., 87% of the comments have 0-score) and (2) in 97.3% of answers with hidden comments, at least one comment that is possibly informative is hidden while another comment with the same score is shown (i.e., unfairly hidden comments). The longest unfairly hidden comment is more likely to be informative than the shortest one. Our findings highlight that Stack Overflow should consider adjusting the comment organization mechanism to help developers effectively retrieve informative comments. Furthermore, we build a classifier that can effectively distinguish informative comments from uninformative comments. We also evaluate two alternative comment organization mechanisms (i.e., the Length mechanism and the Random mechanism) based on text similarity and the prediction of our classifier.

中文翻译：

---

Stack Overflow 上的评论是否组织良好，便于开发人员检索？

许多 Stack Overflow 答案都有相关的信息性评论，可以加强它们并帮助开发人员。先前的一项研究发现，评论可以提供额外的信息来指出相关答案中的问题，例如答案已过时。通过显示更多信息的评论（例如，具有较高分数的评论）并隐藏信息较少的评论，开发人员可以更有效地从与答案相关联的评论中检索信息。目前，Stack Overflow 优先显示评论，因此默认情况下对开发人员隐藏了 440 万条评论（可能包括信息性评论）。在这项研究中，我们调查了这种机制是否有效地组织了信息丰富的评论。我们发现（1）当前的评论组织机制不能很好地工作，因为大量的并列评分的评论（例如，87% 的评论有 0 分）和（2）在 97.3% 的答案中有隐藏评论，至少一个可能提供信息的评论被隐藏，而另一个具有相同分数的评论被显示（即，不公平地隐藏的评论）。最长的不公平隐藏的评论比最短的评论更有可能提供信息。我们的研究结果强调，Stack Overflow 应该考虑调整评论组织机制，以帮助开发人员有效地检索信息丰富的评论。此外，我们构建了一个分类器，可以有效地区分信息性评论和非信息性评论。我们还评估了两种可供选择的评论组织机制（即 87% 的评论为 0 分）和（2）在 97.3% 的带有隐藏评论的答案中，至少隐藏了一条可能提供信息的评论，同时显示了另一条具有相同分数的评论（即不公平地隐藏评论）。最长的不公平隐藏的评论比最短的评论更有可能提供信息。我们的研究结果强调，Stack Overflow 应该考虑调整评论组织机制，以帮助开发人员有效地检索信息丰富的评论。此外，我们构建了一个分类器，可以有效地区分信息性评论和非信息性评论。我们还评估了两种可供选择的评论组织机制（即 87% 的评论为 0 分）和（2）在 97.3% 的带有隐藏评论的答案中，至少隐藏了一条可能提供信息的评论，同时显示了另一条具有相同分数的评论（即不公平地隐藏评论）。最长的不公平隐藏的评论比最短的评论更有可能提供信息。我们的研究结果强调，Stack Overflow 应该考虑调整评论组织机制，以帮助开发人员有效地检索信息丰富的评论。此外，我们构建了一个分类器，可以有效地区分信息性评论和非信息性评论。我们还评估了两种可供选择的评论组织机制（即 至少一个可能提供信息的评论被隐藏，而另一个具有相同分数的评论被显示（即，不公平地隐藏的评论）。最长的不公平隐藏的评论比最短的评论更有可能提供信息。我们的研究结果强调，Stack Overflow 应该考虑调整评论组织机制，以帮助开发人员有效地检索信息丰富的评论。此外，我们构建了一个分类器，可以有效地区分信息性评论和非信息性评论。我们还评估了两种可供选择的评论组织机制（即 至少一个可能提供信息的评论被隐藏，而另一个具有相同分数的评论被显示（即，不公平地隐藏的评论）。最长的不公平隐藏的评论比最短的评论更有可能提供信息。我们的研究结果强调，Stack Overflow 应该考虑调整评论组织机制，以帮助开发人员有效地检索信息丰富的评论。此外，我们构建了一个分类器，可以有效地区分信息性评论和非信息性评论。我们还评估了两种可供选择的评论组织机制（即 我们的研究结果强调，Stack Overflow 应该考虑调整评论组织机制，以帮助开发人员有效地检索信息丰富的评论。此外，我们构建了一个分类器，可以有效地区分信息性评论和非信息性评论。我们还评估了两种可供选择的评论组织机制（即 我们的研究结果强调，Stack Overflow 应该考虑调整评论组织机制，以帮助开发人员有效地检索信息丰富的评论。此外，我们构建了一个分类器，可以有效地区分信息性评论和非信息性评论。我们还评估了两种可供选择的评论组织机制（即长度机制和随机的机制）基于文本相似性和我们的分类器的预测。