Observational studies often benefit from an abundance of observational units. This can lead to studies that—while challenged by issues of internal validity—have inferences derived from sample sizes substantially larger than randomized controlled trials. But is the information provided by an observational unit best used in the analysis phase? We propose the use of a “pilot design,” in which observations are expended in the design phase of the study, and the posttreatment information from these observations is used to improve study design. In modern observational studies, which are data rich but control poor, pilot designs can be used to gain information about the structure of posttreatment variation. This information can then be used to improve instrumental variable designs, propensity score matching, doubly robust estimation, and other observational study designs. We illustrate one version of a pilot design, which aims to reduce within‐set heterogeneity and improve performance in sensitivity analyses. This version of a pilot design expends observational units during the design phase to fit a prognostic model, avoiding concerns of overfitting. In addition, it enables the construction of “assignment‐control plots,” which visualize the relationship between propensity and prognostic scores. We first show some examples of these plots, then we demonstrate in a simulation setting how this alternative use of the observations can lead to gains in terms of both treatment effect estimation and sensitivity analyses of unobserved confounding.

中文翻译：

---

观测研究的先导设计：周到地使用大量数据

观察研究通常得益于丰富的观察单位。这可能导致一些研究，尽管受到内部有效性问题的挑战，但其推论的样本量远大于随机对照试验的样本量。但是，由观察单位提供的信息是否最适合用于分析阶段？我们建议使用“试点设计”，其中在研究的设计阶段扩展观察，并使用来自这些观察的后处理信息来改进研究设计。在现代观测研究中，数据丰富但控制性差，可以使用试点设计来获取有关后处理变异结构的信息。然后，这些信息可用于改进工具变量设计，倾向得分匹配，双重鲁棒估计，和其他观察性研究设计。我们举例说明了一个试验设计版本，该版本旨在减少内部异质性并提高灵敏度分析的性能。此版本的先导设计在设计阶段会花费观察单元，以适应预测模型，从而避免过拟合的问题。此外，它还可以构建“任务控制图”，以可视化倾向和预后评分之间的关​​系。我们首先显示这些图的一些示例，然后在模拟环境中演示观察方法的这种替代使用如何在治疗效果估计和未观察到的混杂因素的敏感性分析方面带来收益。其目的是减少内部异质性并提高灵敏度分析的性能。此版本的先导设计在设计阶段会花费观察单元，以适应预测模型，从而避免过拟合的问题。此外，它还可以构建“任务控制图”，以可视化倾向和预后评分之间的关​​系。我们首先显示这些图的一些示例，然后在模拟环境中演示观察方法的这种替代使用如何在治疗效果估计和未观察到的混杂因素的敏感性分析方面带来收益。其目的是减少内部异质性并提高灵敏度分析的性能。此版本的先导设计在设计阶段会花费观察单元，以适应预测模型，从而避免过拟合的问题。此外，它还可以构建“任务控制图”，以可视化倾向和预后评分之间的关​​系。我们首先显示这些图的一些示例，然后在模拟环境中演示观察方法的这种替代使用如何在治疗效果估计和未观察到的混杂因素的敏感性分析方面带来收益。它可以构建“任务控制图”，从而可视化倾向和预后评分之间的关​​系。我们首先显示这些图的一些示例，然后在模拟环境中演示观察方法的这种替代使用如何在治疗效果估计和未观察到的混杂因素的敏感性分析方面带来收益。它可以构建“任务控制图”，从而可视化倾向和预后评分之间的关​​系。我们首先显示这些图的一些示例，然后在模拟环境中演示观察方法的这种替代使用如何在治疗效果估计和未观察到的混杂因素的敏感性分析方面带来收益。