Over the last three decades, a research design has emerged to evaluate the performance of nonexperimental (NE) designs and design features in field settings. It is called the within-study comparison (WSC) approach or the design replication study. In the traditional WSC design, treatment effects from a randomized experiment are compared to those produced by an NE approach that shares the same target population. The nonexperiment may be a quasi-experimental design, such as a regression-discontinuity or an interrupted time-series design, or an observational study approach that includes matching methods, standard regression adjustments, and difference-in-differences methods. The goals of the WSC are to determine whether the nonexperiment can replicate results from a randomized experiment (which provides the causal benchmark estimate), and the contexts and conditions under which these methods work in practice. This article presents a coherent theory of the design and implementation of WSCs for evaluating NE methods. It introduces and identifies the multiple purposes of WSCs, required design components, common threats to validity, design variants, and causal estimands of interest in WSCs. It highlights two general approaches for empirical evaluations of methods in field settings, WSC designs with independent and dependent benchmark and NE arms. This article highlights advantages and disadvantages for each approach, and conditions and contexts under which each approach is optimal for addressing methodological questions.

中文翻译：

---

野外环境中非实验方法的经验评估设计。

在过去的三十年中，出现了一种研究设计，用于评估非实验（NE）设计和野外环境中设计特征的性能。这称为研究内比较（WSC）方法或设计复制研究。在传统的WSC设计中，将来自随机实验的治疗效果与共享相同目标人群的NE方法产生的效果进行比较。非实验可以是准实验设计，例如回归不连续或中断的时间序列设计，也可以是观察性研究方法，其中包括匹配方法，标准回归调整和差异差异方法。WSC的目标是确定非实验是否可以复制随机实验（提供因果基准估计）的结果，以及这些方法在实践中适用的环境和条件。本文介绍了用于评估NE方法的WSC设计和实现的连贯理论。它介绍并确定了WSC的多种用途，所需的设计组件，对有效性的常见威胁，设计变体以及WSC的兴趣因果关系。它着重介绍了两种实地评估方法的通用方法，即具有独立基准和相关基准的WSC设计以及NE臂。本文重点介绍了每种方法的优缺点，以及每种方法最适合解决方法论问题的条件和背景。本文介绍了用于评估NE方法的WSC设计和实现的连贯理论。它介绍并确定了WSC的多种用途，所需的设计组件，对有效性的常见威胁，设计变体以及WSC的兴趣因果关系。它着重介绍了两种实地评估方法的通用方法，即具有独立基准和相关基准的WSC设计以及NE臂。本文重点介绍了每种方法的优缺点，以及每种方法最适合解决方法论问题的条件和背景。本文介绍了用于评估NE方法的WSC设计和实现的连贯理论。它介绍并确定了WSC的多种用途，所需的设计组件，对有效性的常见威胁，设计变体以及WSC的兴趣因果关系。它着重介绍了两种实地评估方法的通用方法，即具有独立基准和相关基准的WSC设计以及NE臂。本文重点介绍了每种方法的优缺点，以及每种方法最适合解决方法论问题的条件和背景。它着重介绍了两种实地评估方法的通用方法，即具有独立基准和相关基准的WSC设计以及NE臂。本文重点介绍了每种方法的优缺点，以及每种方法最适合解决方法论问题的条件和背景。它着重介绍了两种实地评估方法的通用方法，即具有独立基准和相关基准的WSC设计以及NE臂。本文重点介绍了每种方法的优缺点，以及每种方法最适合解决方法论问题的条件和背景。