This study presents a new approach to synthesizing differential item functioning (DIF) effect size: First, using correlation matrices from each study, we perform a multigroup confirmatory factor analysis (MGCFA) that examines measurement invariance of a test item between two subgroups (i.e., focal and reference groups). Then we synthesize, across the studies, the differences in the estimated factor loadings between the two subgroups, resulting in a meta-analytic summary of the MGCFA effect sizes (MGCFA-ES). The performance of this new approach was examined using a Monte Carlo simulation, where we created 108 conditions by four factors: (1) three levels of item difficulty, (2) four magnitudes of DIF, (3) three levels of sample size, and (4) three types of correlation matrix (tetrachoric, adjusted Pearson, and Pearson). Results indicate that when MGCFA is fitted to tetrachoric correlation matrices, the meta-analytic summary of the MGCFA-ES performed best in terms of bias and mean square error values, 95% confidence interval coverages, empirical standard errors, Type I error rates, and statistical power; and reasonably well with adjusted Pearson correlation matrices. In addition, when tetrachoric correlation matrices are used, a meta-analytic summary of the MGCFA-ES performed well, particularly, under the condition that a high difficulty item with a large DIF was administered to a large sample size. Our result offers an option for synthesizing the magnitude of DIF on a flagged item across studies in practice.

中文翻译：

---

Meta 分析的多组验证性因素分析中的差异项目功能效应大小：模拟研究

本研究提出了一种合成差异项目功能 (DIF) 效应大小的新方法：首先，使用每项研究的相关矩阵，我们执行多组验证性因子分析 (MGCFA)，检查两个子组之间测试项目的测量不变性（即，焦点组和参考组）。然后，我们在整个研究中综合了两个亚组之间估计的因子载荷的差异，从而得出了 MGCFA 效应大小 (MGCFA-ES) 的荟萃分析总结。使用蒙特卡罗模拟检查了这种新方法的性能，其中我们通过四个因素创建了 108 个条件：（1）三个级别的项目难度，（2）四个级别的 DIF，（3）三个级别的样本量，以及(4) 三种类型的相关矩阵(tetrachoric,adjusted Pearson, and Pearson)。结果表明，当 MGCFA 拟合四色相关矩阵时，MGCFA-ES 的元分析总结在偏差和均方误差值、95% 置信区间覆盖率、经验标准误差、I 类错误率和统计能力；并且与调整后的 Pearson 相关矩阵相当好。此外，当使用四色相关矩阵时，MGCFA-ES 的元分析总结表现良好，特别是在将具有大 DIF 的高难度项目应用于大样本量的情况下。我们的结果提供了一个选项，用于在实践研究中综合标记项目上 DIF 的大小。95% 的置信区间覆盖率、经验标准误差、I 类错误率和统计功效；并且与调整后的 Pearson 相关矩阵相当好。此外，当使用四色相关矩阵时，MGCFA-ES 的元分析总结表现良好，特别是在将具有大 DIF 的高难度项目应用于大样本量的情况下。我们的结果提供了一个选项，用于在实践研究中综合标记项目上 DIF 的大小。95% 的置信区间覆盖率、经验标准误差、I 类错误率和统计功效；并且与调整后的 Pearson 相关矩阵相当好。此外，当使用四色相关矩阵时，MGCFA-ES 的元分析总结表现良好，特别是在将具有大 DIF 的高难度项目应用于大样本量的情况下。我们的结果提供了一个选项，用于在实践研究中综合标记项目上 DIF 的大小。在将具有大 DIF 的高难度项目管理到大样本量的情况下。我们的结果提供了一个选项，用于在实践研究中综合标记项目上 DIF 的大小。在将具有大 DIF 的高难度项目管理到大样本量的情况下。我们的结果提供了一个选项，用于在实践研究中综合标记项目上 DIF 的大小。