This paper extends a recent study by Kaplan and Su (J Educ Behav Stat 41: 51–80, 2016) examining the problem of matrix sampling of context questionnaire scales with respect to the generation of plausible values of cognitive outcomes in large-scale assessments. Following Weirich et al. (Nested multiple imputation in large-scale assessments. In: Large-scale assessments in education, 2. http://www.largescaleassessmentsineducation.com/content/2/1/9 , 2014) we examine single + multiple imputation and multiple + multiple imputation methods using predictive mean matching imputation under three different context questionnaire matrix sampling designs: a two-form design studied by Adams et al. (On the use of rotated context questionnaires in conjunction with multilevel item response models. In: Large-scale assessments in education. http://www.largescaleassessmentsineducation.com/content/1/1/5 , 2013), a three-form design implemented in PISA 2012, and a partially-balanced incomplete design studied by Kaplan and Su (J Educ Behav Stat 41: 51–80, 2016). Our results show that the choice of design has a larger impact on the reduction of bias than the choice of imputation method. Specifically, the three-form design used in PISA 2012 yields considerably less bias compared to the two-form design and the partially balanced incomplete design. We further show that the partially balanced incomplete block design produces less bias than the two-form design despite having the same amount of missing data. We discuss the results in terms of implications for the design of context questionnaires in large-scale assessments.

中文翻译：

---

关于使用合理值对上下文调查表中计划的缺失数据进行插补：三种设计的比较

本文扩展了Kaplan和Su的最新研究（J Educ Behav Stat 41：51–80，2016），研究了在大规模评估中与上下文调查问卷量表的矩阵抽样有关的认知结果看似合理的值的问题。继魏里奇等。（在大规模评估中嵌套多重插补。在：教育中的大规模评估中，第2版。http://www.largescaleassessmentsineducation.com/content/2/1/9，2014年）在三种不同的背景调查表矩阵抽样设计下使用预测均值匹配插补的多种插补方法：Adams等人研究的两种形式的设计。（关于将旋转式背景调查表与多级项目响应模型结合使用。在：教育方面的大规模评估。http：// www。largescaleassessmentsineducation.com/content/1/1/5，2013年），在PISA 2012中实施的三形式设计，以及由Kaplan和Su研究的部分平衡的不完整设计（J Educ Behav Stat 41：51-80，2016） 。我们的结果表明，选择设计比选择插补方法对减少偏差有更大的影响。具体而言，与两种形式的设计和部分平衡的不完整设计相比，PISA 2012中使用的三种形式的设计产生的偏差要小得多。我们进一步表明，尽管具有相同数量的缺失数据，但部分平衡的不完全块设计产生的偏差比两种形式的设计少。我们根据对大型评估中的上下文调查表设计的影响来讨论结果。在PISA 2012中实施的三形式设计，以及由Kaplan和Su研究的部分平衡的不完整设计（J Educ Behav Stat 41：51-80，2016）。我们的结果表明，选择设计比选择插补方法对减少偏差有更大的影响。具体而言，与两种形式的设计和部分平衡的不完整设计相比，PISA 2012中使用的三种形式的设计产生的偏差要小得多。我们进一步表明，尽管具有相同数量的缺失数据，但部分平衡的不完全块设计产生的偏差比两种形式的设计要小。我们根据对大型评估中的上下文调查表设计的影响来讨论结果。在PISA 2012中实施的三形式设计，以及由Kaplan和Su研究的部分平衡的不完整设计（J Educ Behav Stat 41：51-80，2016）。我们的结果表明，选择设计比选择插补方法对减少偏差有更大的影响。具体而言，与两种形式的设计和部分平衡的不完整设计相比，PISA 2012中使用的三种形式的设计产生的偏差要小得多。我们进一步表明，尽管具有相同数量的缺失数据，但部分平衡的不完全块设计产生的偏差比两种形式的设计要小。我们根据对大型评估中的上下文调查表设计的影响来讨论结果。我们的结果表明，选择设计比选择插补方法对减少偏差有更大的影响。具体而言，与两种形式的设计和部分平衡的不完整设计相比，PISA 2012中使用的三种形式的设计产生的偏差要小得多。我们进一步表明，尽管具有相同数量的缺失数据，但部分平衡的不完全块设计产生的偏差比两种形式的设计要小。我们讨论了在大规模评估中对上下文调查表设计的影响方面的结果。我们的结果表明，选择设计比选择插补方法对减少偏差有更大的影响。具体而言，与两种形式的设计和部分平衡的不完整设计相比，PISA 2012中使用的三种形式的设计产生的偏差要小得多。我们进一步表明，尽管具有相同数量的缺失数据，但部分平衡的不完全块设计产生的偏差比两种形式的设计要小。我们根据对大型评估中的上下文调查表设计的影响来讨论结果。我们进一步表明，尽管具有相同数量的缺失数据，但部分平衡的不完全块设计产生的偏差比两种形式的设计要小。我们根据对大型评估中的上下文调查表设计的影响来讨论结果。我们进一步表明，尽管具有相同数量的缺失数据，但部分平衡的不完全块设计产生的偏差要小于两种形式的设计。我们根据对大型评估中的上下文调查表设计的影响来讨论结果。