Abstract

Over the last five years, tremendous strides have been made in advancing the AIG methodology required to produce items in diverse content areas. However, the one content area where enormous problems remain unsolved is language arts, generally, and reading comprehension, more specifically. While reading comprehension test items can be created using many different item formats, fill-in-the-blank remains one of the most common when the goal is to measure inferential knowledge. Currently, the item development process used to create fill-in-the-blank reading comprehension items is time-consuming and expensive. Hence, the purpose of the study is to introduce a new systematic method for generating fill-in-the-blank reading comprehension items using an item modeling approach. We describe the use of different unsupervised learning methods that can be paired with natural language processing techniques to identify the salient item models within existing texts. To demonstrate the capacity of our method, 1,013 test items were generated from 100 input texts taken from fill-in-the-blank reading comprehension items used on a high-stakes college entrance exam in South Korea. Our validation results indicated that the generated items produced higher semantic similarities between the item options while depicting little to no syntactic differences with the traditionally written test items.

摘要

在过去的五年中，在推进制作不同内容领域的项目所需的 AIG 方法方面取得了巨大进步。然而，仍有大量问题尚未解决的内容领域是语言艺术，更具体地说是阅读理解。虽然可以使用许多不同的项目格式创建阅读理解测试项目，但当目标是衡量推理知识时，填空仍然是最常见的测试项目之一。目前，用于创建填空阅读理解项目的项目开发过程既耗时又昂贵。因此，本研究的目的是介绍一种新的系统方法，使用项目建模方法生成填空阅读理解项目。我们描述了不同的无监督学习方法的使用，这些方法可以与自然语言处理技术相结合，以识别现有文本中的显着项目模型。为了证明我们方法的能力，从 100 个输入文本中生成了 1,013 个测试项目，这些文本取自韩国高风险高考中使用的填空阅读理解项目。我们的验证结果表明，生成的项目在项目选项之间产生了更高的语义相似性，同时与传统编写的测试项目几乎没有句法差异。013 个测试项目是从 100 个输入文本中生成的，这些文本取自韩国高风险高考中使用的填空阅读理解项目。我们的验证结果表明，生成的项目在项目选项之间产生了更高的语义相似性，同时与传统编写的测试项目几乎没有句法差异。013 个测试项目是从 100 个输入文本中生成的，这些文本取自韩国高风险高考中使用的填空阅读理解项目。我们的验证结果表明，生成的项目在项目选项之间产生了更高的语义相似性，同时与传统编写的测试项目几乎没有句法差异。