当前位置:
X-MOL 学术
›
arXiv.cs.DL
›
论文详情
Our official English website, www.x-mol.net, welcomes your
feedback! (Note: you will need to create a separate account there.)
Interpreting the outcomes of research assessments: a geometrical approach
arXiv - CS - Digital Libraries Pub Date : 2021-04-02 , DOI: arxiv-2104.06495 Beniamino Cappelletti-Montano, Silvia Columbu, Stefano Montaldo, Monica Musio
arXiv - CS - Digital Libraries Pub Date : 2021-04-02 , DOI: arxiv-2104.06495 Beniamino Cappelletti-Montano, Silvia Columbu, Stefano Montaldo, Monica Musio
Research evaluations and comparison of the assessments of academic
institutions (scientific areas, departments, universities etc.) are among the
major issues in recent years in higher education systems. One method, followed
by some national evaluation agencies, is to assess the research quality by the
evaluation of a limited number of publications in a way that each publication
is rated among $n$ classes. This method produces, for each institution, a
distribution of the publications in the $n$ classes. In this paper we introduce
a natural geometric way to compare these assessments by introducing an ad hoc
distance from the performance of an institution to the best possible achievable
assessment. Moreover, to avoid the methodological error of comparing
non-homogeneous institutions, we introduce a {\em geometric score} based on
such a distance. The latter represents the probability that an ideal
institution, with the same configuration as the one under evaluation, performs
worst. We apply our method, based on the geometric score, to rank, in two
specific scientific areas, the Italian universities using the results of the
evaluation exercise VQR 2011-2014.
中文翻译:
解释研究评估的结果:一种几何方法
研究评估和学术机构(科学领域,系,大学等)评估的比较是近年来高等教育系统中的主要问题。一些国家评估机构采用的一种方法是通过对有限数量的出版物进行评估来评估研究质量,以使每个出版物都被评为$ n $类。此方法为每个机构生成$ n $类中的出版物分发。在本文中,我们介绍了一种自然的几何方法,通过引入从机构绩效到可能的最佳可行评估的特殊距离来比较这些评估。此外,为避免比较非均质机构的方法学错误,我们基于这种距离引入了{\ em几何分数}。后者代表具有与所评估机构相同配置的理想机构表现最差的概率。我们根据几何分数应用我们的方法,使用VQR 2011-2014评估结果在两个特定的科学领域对意大利大学进行排名。
更新日期:2021-04-15
中文翻译:
解释研究评估的结果:一种几何方法
研究评估和学术机构(科学领域,系,大学等)评估的比较是近年来高等教育系统中的主要问题。一些国家评估机构采用的一种方法是通过对有限数量的出版物进行评估来评估研究质量,以使每个出版物都被评为$ n $类。此方法为每个机构生成$ n $类中的出版物分发。在本文中,我们介绍了一种自然的几何方法,通过引入从机构绩效到可能的最佳可行评估的特殊距离来比较这些评估。此外,为避免比较非均质机构的方法学错误,我们基于这种距离引入了{\ em几何分数}。后者代表具有与所评估机构相同配置的理想机构表现最差的概率。我们根据几何分数应用我们的方法,使用VQR 2011-2014评估结果在两个特定的科学领域对意大利大学进行排名。