Policy document mention is considered to indicate the significance and societal impact of scientific product. However, the accuracy of policy document altmetrics data needs to be evaluated to fully understand its strength and limitation. An in-depth coding analysis was conducted on sample policy documents records of Altmetric.com database. The sample consists of 2079 records from all 79 distinct policy document source platforms tracked by the database. Errors about mentioned publications in the policy documents (type A error) are found in 8% of the records, while errors about either the recorded policy documents or the mentioned publications in the altmetrics database (type B error) are found in 70% of the records. In type B error, policy document link error (5% of the records) could be attributable to the policy document website, transcription error (52% of the records) could be attributable to the third-party bibliographic data provider. These two categories of error are relatively minor and may have limited influence on altmetrics research and practices. False positive policy document mention (13% of the records), however, could be attributable to the Altmetric database and may diminish the validity of research based on the policy document altmetrics data. The underlying reasons remain to be further investigated. Considering the high complexity of extracting mentions of publications from various sources and formats of policy documents as well as its short history, Altmetric database has achieved excellent performance.

中文翻译：

---

政策文件提及的准确度如何？初看altmetrics数据库的作用

政策文件提及被认为表明科学产品的重要性和社会影响。但是，需要评估政策文件 altmetrics 数据的准确性，以充分了解其优势和局限性。对 Altmetric.com 数据库的样本政策文件记录进行了深入的编码分析。该样本包含来自数据库跟踪的所有 79 个不同政策文档源平台的 2079 条记录。在 8% 的记录中发现了有关政策文件中提及的出版物的错误（A 类错误），而在 70% 的记录中发现了有关记录的政策文件或 altmetrics 数据库中提及的出版物的错误（B 类错误）记录。在 B 类错误中，政策文件链接错误（占记录的 5%）可归因于政策文件网站，转录错误（52% 的记录）可归因于第三方书目数据提供商。这两类错误相对较小，对替代度量研究和实践的影响可能有限。然而，误报政策文件提及（13% 的记录）可能归因于 Altmetric 数据库，并可能降低基于政策文件 Altmetrics 数据的研究的有效性。根本原因有待进一步调查。考虑到从政策文件的各种来源和格式中提取出版物提及的高度复杂性以及其历史较短，Altmetric 数据库取得了出色的性能。这两类错误相对较小，对替代度量研究和实践的影响可能有限。然而，误报政策文件提及（13% 的记录）可能归因于 Altmetric 数据库，并可能降低基于政策文件 Altmetrics 数据的研究的有效性。根本原因有待进一步调查。考虑到从政策文件的各种来源和格式中提取出版物提及的高度复杂性以及其历史较短，Altmetric 数据库取得了出色的性能。这两类错误相对较小，对替代度量研究和实践的影响可能有限。然而，误报政策文件提及（13% 的记录）可能归因于 Altmetric 数据库，并可能降低基于政策文件 Altmetrics 数据的研究的有效性。根本原因有待进一步调查。考虑到从政策文件的各种来源和格式中提取出版物提及的高度复杂性以及其历史较短，Altmetric 数据库取得了出色的性能。根本原因有待进一步调查。考虑到从政策文件的各种来源和格式中提取出版物提及的高度复杂性以及其历史较短，Altmetric 数据库取得了出色的性能。根本原因有待进一步调查。考虑到从政策文件的各种来源和格式中提取出版物提及的高度复杂性以及其历史较短，Altmetric 数据库取得了出色的性能。