Abstract In some applications, researchers using the synthetic control method (SCM) to evaluate the effect of a policy may struggle to determine whether they have identified a “good match” between the control group and treated group. In this paper, we demonstrate the utility of the mean and maximum Absolute Standardized Mean Difference (ASMD) as a test of balance between a synthetic control unit and treated unit, and provide guidance on what constitutes a poor fit when using a synthetic control. We explore and compare other potential metrics using a simulation study. We provide an application of our proposed balance metric to the 2013 Los Angeles (LA) Firearm Study [9]. Using Uniform Crime Report data, we apply the SCM to obtain a counterfactual for the LA firearm-related crime rate based on a weighted combination of control units in a donor pool of cities. We use this counterfactual to estimate the effect of the LA Firearm Study intervention and explore the impact of changing the donor pool and pre-intervention duration period on resulting matches and estimated effects. We demonstrate how decision-making about the quality of a synthetic control can be improved by using ASMD. The mean and max ASMD clearly differentiate between poor matches and good matches. Researchers need better guidance on what is a meaningful imbalance between synthetic control and treated groups. In addition to the use of gap plots, the proposed balance metric can provide an objective way of determining fit.

中文翻译：

---

什么时候匹配足够？综合控制方法的基于分数的平衡度量

摘要 在某些应用中，研究人员使用综合控制方法 (SCM) 来评估策略的效果可能难以确定他们是否已经确定了控制组和处理组之间的“良好匹配”。在本文中，我们展示了平均值和最大绝对标准化平均差 (ASMD) 作为合成控制单元和处理单元之间平衡测试的效用，并提供了有关使用合成控制时构成不良拟合的指导。我们使用模拟研究探索和比较其他潜在指标。我们将我们提出的平衡指标应用于 2013 年洛杉矶 (LA) 枪支研究 [9]。使用统一犯罪报告数据，我们应用 SCM 以基于城市捐助池中控制单元的加权组合获得洛杉矶枪支相关犯罪率的反事实。我们使用这个反事实来估计 LA Firearm Study 干预的效果，并探讨改变捐赠者池和干预前持续时间对结果匹配和估计效果的影响。我们展示了如何通过使用 ASMD 改进关于合成控制质量的决策。平均和最大 ASMD 清楚地区分差匹配和好的匹配。研究人员需要更好地指导合成对照组和治疗组之间的有意义的不平衡。除了使用间隙图外，建议的平衡度量还可以提供一种确定拟合的客观方法。我们使用这个反事实来估计 LA Firearm Study 干预的效果，并探讨改变捐赠者池和干预前持续时间对结果匹配和估计效果的影响。我们展示了如何通过使用 ASMD 改进关于合成控制质量的决策。平均和最大 ASMD 清楚地区分差匹配和好的匹配。研究人员需要更好地指导合成对照组和治疗组之间的有意义的不平衡。除了使用间隙图外，建议的平衡度量还可以提供一种确定拟合的客观方法。我们使用这个反事实来估计 LA Firearm Study 干预的效果，并探讨改变捐助者池和干预前持续时间对结果匹配和估计效果的影响。我们展示了如何通过使用 ASMD 改进关于合成控制质量的决策。平均和最大 ASMD 清楚地区分差匹配和好的匹配。研究人员需要更好地指导合成对照组和治疗组之间的有意义的不平衡。除了使用间隙图外，建议的平衡度量还可以提供一种确定拟合的客观方法。我们展示了如何通过使用 ASMD 改进关于合成控制质量的决策。平均和最大 ASMD 清楚地区分差匹配和好的匹配。研究人员需要更好地指导合成对照组和治疗组之间的有意义的不平衡。除了使用间隙图外，建议的平衡度量还可以提供一种确定拟合的客观方法。我们展示了如何通过使用 ASMD 改进关于合成控制质量的决策。平均和最大 ASMD 清楚地区分差匹配和好的匹配。研究人员需要更好地指导合成对照组和治疗组之间的有意义的不平衡。除了使用间隙图外，建议的平衡度量还可以提供一种确定拟合的客观方法。