Our official English website, www.x-mol.net, welcomes your feedback! (Note: you will need to create a separate account there.)
Developing an Item Bank for Progress Tests and Application of Computerized Adaptive Testing by Simulation in Medical Education
International Journal of Assessment Tools in Education ( IF 0.8 ) Pub Date : 2019-12-18 , DOI: 10.21449/ijate.635675
Ayşen Melek AYTUĞ KOŞAN 1 , Nizamettin KOÇ 2 , Atilla Halil ELHAN 3 , Derya ÖZTUNA 3
Affiliation  

Progress Test (PT) is a form of assessment that simultaneously measures ability levels of all students in a certain educational program and their progress over time by providing them with same questions and repeating the process at regular intervals with parallel tests. Our objective was to generate an item bank for the PT and to examine the possible fit of CAT for PT application. This study is a descriptive study. 1206 medical students participated. During the analysis of the psychometric properties of PT item bank, “the Rasch model for dichotomous items was used”. Several CAT simulations were performed by applying various stopping rules of different standard errors. CAT simulation estimates were compared with the estimates generated from the original calibration of the Rasch model where all items were included. After Rasch analysis, a unidimensional PT item bank consisting of 103 items was obtained. The item bank reliability was calculated as 0.77 with Person Separation Index (PSI) and Kuder-Richardson Formula 20 (KR-20). A high correlation between θ estimations obtained from paper-and-pencil (θRM) and CAT applications (θ CAT ) was detected for simulation conditions ([N(0,1)] and [N(0,3)]) at the end of our analysis. In CAT, estimation can be made with an average of 14 questions (reduced 86,4%) and 17 questions (reduced 83,4%) [for N(0,1) and [N(0,3) respectively] with reliability of 0,75. This study reveals that it is possible to develop an appropriate item bank for the PT, and the difficulty of administering large number of items in PT can be scaled down by incorporating CAT application.

中文翻译:

开发用于进度测试的项目库,并通过模拟在医学教育中应用计算机自适应测试

进度测试(PT)是一种评估形式,它通过向他们提供相同的问题并定期通过并行测试重复该过程,来同时衡量特定教育计划中所有学生的能力水平及其随时间的进步。我们的目标是为PT生成一个物料库,并检查CAT在PT应用中的适用性。这项研究是描述性研究。1206名医学院学生参加了会议。在分析PT项目库的心理测量特性时,“使用了二分项目的Rasch模型”。通过应用具有不同标准误差的各种停止规则进行了几种CAT仿真。将CAT模拟估算值与从Rasch模型的原始校准(其中包括所有项目)生成的估算值进行比较。经过拉施分析,获得了包含103个项目的一维PT项目库。使用人员分离指数(PSI)和Kuder-Richardson公式20(KR-20)计算出的项目库可靠性为0.77。最后,针对模拟条件([N(0,1)]和[N(0,3)]),检测到了从纸笔(θRM)和CAT应用程序(θCAT)获得的θ估计值之间的高度相关性我们的分析。在CAT中,可以可靠地使用平均14个问题(减少86.4%)和17个问题(减少83.4%)进行估计[对于N(0,1)和[N(0,3)]为0.75。这项研究表明,有可能为PT开发适当的项目库,并且通过合并CAT应用程序可以减少在PT中管理大量项目的难度。使用人员分离指数(PSI)和Kuder-Richardson公式20(KR-20)计算出的项目库可靠性为0.77。最后,针对模拟条件([N(0,1)]和[N(0,3)]),检测到了从纸笔(θRM)和CAT应用程序(θCAT)获得的θ估计值之间的高度相关性我们的分析。在CAT中,可以可靠地使用平均14个问题(减少86.4%)和17个问题(减少83.4%)进行估计[对于N(0,1)和[N(0,3)]为0.75。这项研究表明,有可能为PT开发适当的项目库,并且通过合并CAT应用程序可以减少在PT中管理大量项目的难度。使用人员分离指数(PSI)和Kuder-Richardson公式20(KR-20)计算出的项目库可靠性为0.77。最后,针对模拟条件([N(0,1)]和[N(0,3)]),检测到了从纸笔(θRM)和CAT应用程序(θCAT)获得的θ估计值之间的高度相关性我们的分析。在CAT中,可以可靠地使用平均14个问题(减少86.4%)和17个问题(减少83.4%)进行估计[对于N(0,1)和[N(0,3)]为0.75。这项研究表明,有可能为PT开发适当的项目库,并且通过合并CAT应用程序可以减少在PT中管理大量项目的难度。最后,针对模拟条件([N(0,1)]和[N(0,3)]),检测到了从纸笔(θRM)和CAT应用程序(θCAT)获得的θ估计值之间的高度相关性我们的分析。在CAT中,可以可靠地使用平均14个问题(减少86.4%)和17个问题(减少83.4%)进行估计[对于N(0,1)和[N(0,3)]为0.75。这项研究表明,有可能为PT开发适当的项目库,并且通过合并CAT应用程序可以减少在PT中管理大量项目的难度。最后,针对模拟条件([N(0,1)]和[N(0,3)]),检测到了从纸笔(θRM)和CAT应用程序(θCAT)获得的θ估计值之间的高度相关性我们的分析。在CAT中,可以可靠地使用平均14个问题(减少86.4%)和17个问题(减少83.4%)进行估计[对于N(0,1)和[N(0,3)]为0.75。这项研究表明,有可能为PT开发适当的项目库,并且通过合并CAT应用程序可以减少在PT中管理大量项目的难度。3)[]的可靠性为0.75。这项研究表明,有可能为PT开发适当的项目库,并且通过合并CAT应用程序可以减少在PT中管理大量项目的难度。3)[]的可靠性为0.75。这项研究表明,有可能为PT开发适当的项目库,并且通过合并CAT应用程序可以减少在PT中管理大量项目的难度。
更新日期:2019-12-18
down
wechat
bug