External pilot trials of complex interventions are used to help determine if and how a confirmatory trial should be undertaken, providing estimates of parameters such as recruitment, retention, and adherence rates. The decision to progress to the confirmatory trial is typically made by comparing these estimates to pre‐specified thresholds known as progression criteria, although the statistical properties of such decision rules are rarely assessed. Such assessment is complicated by several methodological challenges, including the simultaneous evaluation of multiple endpoints, complex multi‐level models, small sample sizes, and uncertainty in nuisance parameters. In response to these challenges, we describe a Bayesian approach to the design and analysis of external pilot trials. We show how progression decisions can be made by minimizing the expected value of a loss function, defined over the whole parameter space to allow for preferences and trade‐offs between multiple parameters to be articulated and used in the decision‐making process. The assessment of preferences is kept feasible by using a piecewise constant parametrization of the loss function, the parameters of which are chosen at the design stage to lead to desirable operating characteristics. We describe a flexible, yet computationally intensive, nested Monte Carlo algorithm for estimating operating characteristics. The method is used to revisit the design of an external pilot trial of a complex intervention designed to increase the physical activity of care home residents.

中文翻译：

---

复杂干预措施的外部试点试验的贝叶斯设计和分析

复杂干预措施的外部试点试验用于帮助确定是否以及如何进行验证性试验，提供招募、保留和依从率等参数的估计值。进入验证性试验的决定通常是通过将这些估计值与称为进展标准的预先指定的阈值进行比较来做出的，尽管很少评估此类决策规则的统计特性。这种评估因几个方法学挑战而变得复杂，包括同时评估多个端点、复杂的多层次模型、小样本量和有害参数的不确定性。为了应对这些挑战，我们描述了一种贝叶斯方法来设计和分析外部试点试验。我们展示了如何通过最小化损失函数的预期值来做出进展决策，损失函数在整个参数空间上定义，以允许在决策过程中阐明和使用多个参数之间的偏好和权衡。通过使用损失函数的分段常数参数化，使偏好的评估保持可行，其参数在设计阶段选择以产生理想的操作特性。我们描述了一种灵活但计算量大的嵌套蒙特卡罗算法，用于估计操作特性。该方法用于重新审视旨在增加护理院居民身体活动的复杂干预措施的外部试点试验的设计。在整个参数空间上定义，以允许在决策过程中阐明和使用多个参数之间的偏好和权衡。通过使用损失函数的分段常数参数化，使偏好的评估保持可行，其参数在设计阶段选择以产生理想的操作特性。我们描述了一种灵活但计算量大的嵌套蒙特卡罗算法，用于估计操作特性。该方法用于重新审视旨在增加护理院居民身体活动的复杂干预措施的外部试点试验的设计。在整个参数空间上定义，以允许在决策过程中阐明和使用多个参数之间的偏好和权衡。通过使用损失函数的分段常数参数化，使偏好的评估保持可行，其参数在设计阶段选择以产生理想的操作特性。我们描述了一种灵活但计算量大的嵌套蒙特卡罗算法，用于估计操作特性。该方法用于重新审视旨在增加护理院居民身体活动的复杂干预措施的外部试点试验的设计。通过使用损失函数的分段常数参数化，使偏好的评估保持可行，其参数在设计阶段选择以产生理想的操作特性。我们描述了一种灵活但计算量大的嵌套蒙特卡罗算法，用于估计操作特性。该方法用于重新审视旨在增加护理院居民身体活动的复杂干预措施的外部试点试验的设计。通过使用损失函数的分段常数参数化，使偏好的评估保持可行，其参数在设计阶段选择以产生理想的操作特性。我们描述了一种灵活但计算量大的嵌套蒙特卡罗算法，用于估计操作特性。该方法用于重新审视旨在增加护理院居民身体活动的复杂干预措施的外部试点试验的设计。