当前位置:
X-MOL 学术
›
arXiv.cs.DL
›
论文详情
Our official English website, www.x-mol.net, welcomes your
feedback! (Note: you will need to create a separate account there.)
Convergent validity of several indicators measuring disruptiveness with milestone assignments to physics papers by experts
arXiv - CS - Digital Libraries Pub Date : 2020-06-18 , DOI: arxiv-2006.10606 Lutz Bornmann, Alexander Tekles
arXiv - CS - Digital Libraries Pub Date : 2020-06-18 , DOI: arxiv-2006.10606 Lutz Bornmann, Alexander Tekles
This study focuses on a recently introduced type of indicator measuring
disruptiveness in science. Disruptive research diverges from current lines of
research by opening up new lines. In the current study, we included the
initially proposed indicator of this new type (Wu, Wang, & Evans, 2019) and
several variants with DI1: DI5, DI1n, DI5n, and DEP. Since indicators should
measure what they propose to measure, we investigated the convergent validity
of the indicators. We used a list of milestone papers, selected and published
by editors of Physical Review Letters, and investigated whether this human
(experts - based list is related to values of the several disruption indicators
variants and - if so - which variants show the highest correlation with expert
judgements. We used bivariate statistics, multiple regression models, and
(coarsened) exact matching (CEM) to investigate the convergent validity of the
indicators. The results show that the indicators correlate differently with the
milestone paper assignments by the editors. It is not the initially proposed
disruption index that performed best (DI1), but the variant DI5 which has been
introduced by Bornmann, Devarakonda, Tekles, and Chacko (2019). In the CEM
analysis of this study, the DEP variant - introduced by Bu, Waltman, and Huang
(2019) - also showed favorable results.
中文翻译:
测量破坏性的几个指标的收敛效度与专家对物理论文的里程碑分配
这项研究的重点是最近引入的一种衡量科学破坏性的指标。颠覆性研究通过开辟新的研究线来偏离当前的研究线。在当前的研究中,我们包括了这种新类型的最初提出的指标(Wu、Wang 和 Evans,2019 年)以及带有 DI1 的几个变体:DI5、DI1n、DI5n 和 DEP。由于指标应该衡量它们建议衡量的内容,因此我们调查了指标的收敛效度。我们使用了由《物理评论快报》的编辑选择和发表的里程碑论文列表,并调查了这个人类(基于专家的列表与几个破坏指标变体的值相关,如果是的话,哪些变体与专家判断。我们使用了双变量统计、多元回归模型、和(粗化)精确匹配(CEM)来研究指标的收敛效度。结果表明,指标与编辑的里程碑论文分配有不同的相关性。表现最好的并不是最初提出的中断指数 (DI1),而是 Bornmann、Devarakonda、Tekles 和 Chacko (2019) 引入的变体 DI5。在本研究的 CEM 分析中,Bu、Waltman 和 Huang(2019 年)引入的 DEP 变体也显示出良好的结果。和查科(2019 年)。在本研究的 CEM 分析中,Bu、Waltman 和 Huang(2019 年)引入的 DEP 变体也显示出良好的结果。和查科(2019 年)。在本研究的 CEM 分析中,Bu、Waltman 和 Huang(2019 年)引入的 DEP 变体也显示出良好的结果。
更新日期:2020-06-19
中文翻译:
测量破坏性的几个指标的收敛效度与专家对物理论文的里程碑分配
这项研究的重点是最近引入的一种衡量科学破坏性的指标。颠覆性研究通过开辟新的研究线来偏离当前的研究线。在当前的研究中,我们包括了这种新类型的最初提出的指标(Wu、Wang 和 Evans,2019 年)以及带有 DI1 的几个变体:DI5、DI1n、DI5n 和 DEP。由于指标应该衡量它们建议衡量的内容,因此我们调查了指标的收敛效度。我们使用了由《物理评论快报》的编辑选择和发表的里程碑论文列表,并调查了这个人类(基于专家的列表与几个破坏指标变体的值相关,如果是的话,哪些变体与专家判断。我们使用了双变量统计、多元回归模型、和(粗化)精确匹配(CEM)来研究指标的收敛效度。结果表明,指标与编辑的里程碑论文分配有不同的相关性。表现最好的并不是最初提出的中断指数 (DI1),而是 Bornmann、Devarakonda、Tekles 和 Chacko (2019) 引入的变体 DI5。在本研究的 CEM 分析中,Bu、Waltman 和 Huang(2019 年)引入的 DEP 变体也显示出良好的结果。和查科(2019 年)。在本研究的 CEM 分析中,Bu、Waltman 和 Huang(2019 年)引入的 DEP 变体也显示出良好的结果。和查科(2019 年)。在本研究的 CEM 分析中,Bu、Waltman 和 Huang(2019 年)引入的 DEP 变体也显示出良好的结果。