ABSTRACT

This study compares the estimated grammar school effect in different regression models, and explains why previous evidence of the effetiveness of grammar school is mixed. Like most studies of school effectiveness evaluation, previous research on grammar school effect usually applies regression to control for confounding between-school factors and determines whether attending grammar schools is associated with an academic benefit. While this value-added approach is very feasible and widely adopted, there is usually substantial variation in the evidence produced when statistical choices differ. Applying the national data with more than 149,000 pupils, the study presents the sensitivity of grammar school effectiveness when baseline variables, outcome variables, and regression techniques differ. The findings will help researchers understand the mixed evidence of the effectiveness of grammar schools so far, and the unsettled debate on grammar schools nationally. While inconsistent estimations due to passive design is a common trait in school effectiveness evaluation studies, grammar schools’ effectiveness might be even more sensitive to statistical choices due to their special student intakes. Interpreting the variation between different statistical models, the findings caution researchers in dealing with the evidence in grammar school effectiveness and call for stronger designs as well as more carefully selected explanatory variables.

摘要

本研究比较了不同回归模型中估计的文法学校效应，并解释了为什么先前关于文法学校有效性的证据是混合的。与大多数学校效能评估研究一样，以往关于文法学校效应的研究通常采用回归来控制学校间的混杂因素，并确定就读文法学校是否与学业利益相关。虽然这种增值方法非常可行并被广泛采用，但当统计选择不同时，产生的证据通常会有很大差异。该研究应用了超过 149,000 名学生的全国数据，展示了当基线变量、结果变量和回归技术不同时文法学校有效性的敏感性。这些发现将帮助研究人员了解迄今为止文法学校有效性的混合证据，以及全国范围内关于文法学校的悬而未决的争论。虽然由于被动设计导致的估计不一致是学校效能评估研究的一个共同特征，但文法学校的效能可能对统计选择更加敏感，因为它们的学生入学情况特殊。解释不同统计模型之间的差异，研究结果提醒研究人员处理文法学校有效性的证据，并呼吁更强大的设计以及更仔细选择的解释变量。虽然由于被动设计导致的估计不一致是学校效能评估研究的一个共同特征，但文法学校的效能可能对统计选择更加敏感，因为它们的学生入学情况特殊。解释不同统计模型之间的差异，研究结果提醒研究人员处理文法学校有效性的证据，并呼吁更强大的设计以及更仔细选择的解释变量。虽然由于被动设计导致的估计不一致是学校效能评估研究的一个共同特征，但文法学校的效能可能对统计选择更加敏感，因为它们的学生入学情况特殊。解释不同统计模型之间的差异，研究结果提醒研究人员处理文法学校有效性的证据，并呼吁更强大的设计以及更仔细选择的解释变量。