In this study, the efficiency of various random sampling methods to reduce the number of items rated by judges in an Angoff standard-setting study was examined and the methods were compared with each other. Firstly, the full-length test was formed by combining Placement Test 2012 and 2013 mathematics subsets. After then, simple random sampling (SRS), content stratified (C-SRS), item-difficulty stratified (D-SRS) and content-by-difficulty random sampling (CD-SRS) methods were used to constitute different length of subsets (30%, 40%, 50%, 70%) from the full-test. In total, 16 different study conditions (4 methods x 4 subsets) were investigated. In data analysis part, ANOVA analysis was conducted to examine whether minimum passing scores (MPSs) for the subsets were significantly different from the MPSs of the full-length test. As a follow-up analysis, RMSE and SEE (Standard Error of Estimation) values were calculated for each study condition. Results indicated that the estimated Angoff MPSs were significantly different from the full-test Angoff MPS (45.12) only in the study conditions of 30%-C-SRS, 40% C-SRS, 30% D-SRS and 30%-CD-SRS. According to RMSE values, the C-SRS method had the smallest error while the SRS method had the biggest one. Moreover, SEE examinations revealed that to achieve estimations similar to the full-test Angoff MPS (within one SEE), it is sufficient to get 50% of items with the C-SRS method. C-SRS method was the more effective one compared to the others in reducing the number of items rated by judges in MPS setting studies conducted with the Angoff method.

中文翻译：

---

Angoff方法确定的不同项目样本的及格分数比较

在这项研究中，研究了各种随机抽样方法在减少Angoff标准制定研究中法官评定的项目数量方面的效率，并将这些方法相互比较。首先，通过结合2012年和2013年数学测验子集形成全长测验。此后，使用简单随机抽样（SRS），内容分层（C-SRS），项目难度分层（D-SRS）和逐项内容随机抽样（CD-SRS）方法来构成不同长度的子集（ 30％，40％，50％，70％）。总共研究了16种不同的研究条件（4种方法x 4个子集）。在数据分析部分，进行了方差分析，以检查子集的最低通过分数（MPS）是否与全长测试的MPS显着不同。作为后续分析，针对每种研究条件计算RMSE和SEE（估计的标准误差）值。结果表明，仅在研究条件为30％-C-SRS，40％C-SRS，30％D-SRS和30％-CD-S的研究条件下，估计的Angoff MPS与完全测试的Angoff MPS显着不同（45.12）。 SRS。根据RMSE值，C-SRS方法的误差最小，而SRS方法的误差最大。此外，SEE检查显示，要获得与完整测试的Angoff MPS（一次SEE内）相似的估计，使用C-SRS方法足以获得50％的项目。在减少使用Angoff方法进行的MPS设置研究中法官评判的项目数量方面，C-SRS方法是一种比其他方法更为有效的方法。结果表明，仅在研究条件为30％-C-SRS，40％C-SRS，30％D-SRS和30％-CD-S的研究条件下，估计的Angoff MPS与完全测试的Angoff MPS显着不同（45.12）。 SRS。根据RMSE值，C-SRS方法的误差最小，而SRS方法的误差最大。此外，SEE检查显示，要获得与完整测试的Angoff MPS（一次SEE内）相似的估计，使用C-SRS方法足以获得50％的项目。在减少使用Angoff方法进行的MPS设置研究中法官评判的项目数量方面，C-SRS方法是一种比其他方法更为有效的方法。结果表明，仅在研究条件为30％-C-SRS，40％C-SRS，30％D-SRS和30％-CD-S的研究条件下，估计的Angoff MPS与完全测试的Angoff MPS显着不同（45.12）。 SRS。根据RMSE值，C-SRS方法的误差最小，而SRS方法的误差最大。此外，SEE检查显示，要获得与完整测试的Angoff MPS（一次SEE内）相似的估计，使用C-SRS方法就足以获得50％的项目。在减少使用Angoff方法进行的MPS设置研究中法官评判的项目数量方面，C-SRS方法是一种比其他方法更为有效的方法。C-SRS方法的误差最小，而SRS方法的误差最大。此外，SEE检查显示，要获得与完整测试的Angoff MPS（一次SEE内）相似的估计，使用C-SRS方法足以获得50％的项目。C-SRS方法在减少使用Angoff方法进行的MPS设置研究中法官评定的项目数方面比其他方法更为有效。C-SRS方法的误差最小，而SRS方法的误差最大。此外，SEE检查显示，要获得与完整测试的Angoff MPS（一次SEE内）相似的估计，使用C-SRS方法足以获得50％的项目。在减少使用Angoff方法进行的MPS设置研究中法官评判的项目数量方面，C-SRS方法是一种比其他方法更为有效的方法。