While bibliometric analysis is normally able to rely on complete publication sets this is not universally the case. For example, Australia (in ERA) and the UK (in the RAE/REF) use institutional research assessment that may rely on small or fractional parts of researcher output. Using the Category Normalised Citation Impact (CNCI) for the publications of ten universities with similar output (21,000–28,000 articles and reviews) indexed in the Web of Science for 2014–2018, we explore the extent to which a ‘sample’ of institutional data can accurately represent the averages and/or the correct relative status of the population CNCIs. Starting with full institutional data, we find a high variance in average CNCI across 10,000 institutional samples of fewer than 200 papers, which we suggest may be an analytical minimum although smaller samples may be acceptable for qualitative review. When considering the ‘top’ CNCI paper in researcher sets represented by DAIS-ID clusters, we find that samples of 1000 papers provide a good guide to relative (but not absolute) institutional citation performance, which is driven by the abundance of high performing individuals. However, such samples may be perturbed by scarce ‘highly cited’ papers in smaller or less research-intensive units. We draw attention to the significance of this for assessment processes and the further evidence that university rankings are innately unstable and generally unreliable.

中文翻译：

---

文献计量分析中的样本量

虽然文献计量分析通常能够依赖完整的出版物集，但情况并非普遍如此。例如，澳大利亚（在 ERA 中）和英国（在 RAE/REF 中）使用的机构研究评估可能依赖于研究人员产出的一小部分或一小部分。使用分类标准化引文影响 (CNCI) 对 2014-2018 年在 Web of Science 中索引的具有相似产出（21,000-28,000 篇文章和评论）的十所大学的出版物进行研究，我们探索了机构数据“样本”的程度可以准确地表示总体 CNCI 的平均值和/或正确的相对状态。从完整的机构数据开始，我们发现少于 200 篇论文的 10,000 个机构样本的平均 CNCI 差异很大，我们建议这可能是分析的最低限度，尽管较小的样本可能可以接受定性审查。在考虑以 DAIS-ID 集群为代表的研究人员集中的“顶级”CNCI 论文时，我们发现 1000 篇论文的样本为相对（但不是绝对）机构引用表现提供了很好的指导，这是由大量高绩效个人驱动的. 但是，此类样本可能会受到较小或研究密集度较低的单位中稀缺的“高引用”论文的干扰。我们提请注意这对于评估过程的重要性以及大学排名天生不稳定且通常不可靠的进一步证据。我们发现 1000 篇论文的样本为相对（但不是绝对）机构引用表现提供了很好的指导，这是由大量高绩效个人驱动的。但是，此类样本可能会受到较小或研究密集度较低的单位中稀缺的“高引用”论文的干扰。我们提请注意这对于评估过程的重要性以及大学排名天生不稳定且通常不可靠的进一步证据。我们发现 1000 篇论文的样本为相对（但不是绝对）机构引用表现提供了很好的指导，这是由大量高绩效个人驱动的。但是，此类样本可能会受到较小或研究密集度较低的单位中稀缺的“高引用”论文的干扰。我们提请注意这对于评估过程的重要性以及大学排名天生不稳定且通常不可靠的进一步证据。