当前位置: X-MOL 学术Stat. Med. › 论文详情
Our official English website, www.x-mol.net, welcomes your feedback! (Note: you will need to create a separate account there.)
Evaluation of predictive model performance of an existing model in the presence of missing data
Statistics in Medicine ( IF 2 ) Pub Date : 2021-04-11 , DOI: 10.1002/sim.8978
Pin Li 1 , Jeremy M G Taylor 1, 2 , Daniel E Spratt 2 , R Jeffery Karnes 3 , Matthew J Schipper 1, 2
Affiliation  

In medical research, the Brier score (BS) and the area under the receiver operating characteristic (ROC) curves (AUC) are two common metrics used to evaluate prediction models of a binary outcome, such as using biomarkers to predict the risk of developing a disease in the future. The assessment of an existing prediction models using data with missing covariate values is challenging. In this article, we propose inverse probability weighted (IPW) and augmented inverse probability weighted (AIPW) estimates of AUC and BS to handle the missing data. An alternative approach uses multiple imputation (MI), which requires a model for the distribution of the missing variable. We evaluated the performance of IPW and AIPW in comparison with MI in simulation studies under missing completely at random, missing at random, and missing not at random scenarios. When there are missing observations in the data, MI and IPW can be used to obtain unbiased estimates of BS and AUC if the imputation model for the missing variable or the model for the missingness is correctly specified. MI is more efficient than IPW. Our simulation results suggest that AIPW can be more efficient than IPW, and also achieves double robustness from miss-specification of either the missingness model or the imputation model. The outcome variable should be included in the model for the missing variable under all scenarios, while it only needs to be included in missingness model if the missingness depends on the outcome. We illustrate these methods using an example from prostate cancer.

中文翻译:

在存在缺失数据的情况下评估现有模型的预测模型性能

在医学研究中,Brier 评分 (BS) 和受试者工作特征 (ROC) 曲线下面积 (AUC) 是用于评估二元结果预测模型的两个常用指标,例如使用生物标志物来预测患将来得病。使用缺少协变量值的数据评估现有预测模型具有挑战性。在本文中,我们提出了 AUC 和 BS 的逆概率加权 (IPW) 和增强逆概率加权 (AIPW) 估计来处理缺失数据。另一种方法是使用多重插补 (MI),这需要一个模型用于缺失变量的分布。我们在完全随机缺失、随机缺失和非随机缺失场景下的模拟研究中评估了 IPW 和 AIPW 与 MI 相比的性能。当数据中存在缺失观测值时,如果正确指定了缺失变量的插补模型或缺失模型,则 MI 和 IPW 可用于获得 BS 和 AUC 的无偏估计。MI 比 IPW 更有效。我们的模拟结果表明,AIPW 可以比 IPW 更有效,并且还可以从缺失模型或插补模型的错误规范中实现双重鲁棒性。在所有情景下,结果变量都应包含在缺失变量的模型中,而如果缺失取决于结果,则只需将其包含在缺失模型中。我们以前列腺癌为例来说明这些方法。如果正确指定了缺失变量的插补模型或缺失模型,则 MI 和 IPW 可用于获得 BS 和 AUC 的无偏估计。MI 比 IPW 更有效。我们的模拟结果表明,AIPW 可以比 IPW 更有效,并且还可以从缺失模型或插补模型的错误规范中实现双重鲁棒性。在所有情景下,结果变量都应包含在缺失变量的模型中,而如果缺失取决于结果,则只需将其包含在缺失模型中。我们以前列腺癌为例来说明这些方法。如果正确指定了缺失变量的插补模型或缺失模型,则 MI 和 IPW 可用于获得 BS 和 AUC 的无偏估计。MI 比 IPW 更有效。我们的模拟结果表明,AIPW 可以比 IPW 更有效,并且还可以从缺失模型或插补模型的错误规范中实现双重鲁棒性。在所有情景下,结果变量都应包含在缺失变量的模型中,而如果缺失取决于结果,则只需将其包含在缺失模型中。我们以前列腺癌为例来说明这些方法。并且还从缺失模型或插补模型的错误规范中实现双重鲁棒性。在所有情景下,结果变量都应包含在缺失变量的模型中,而如果缺失取决于结果,则只需将其包含在缺失模型中。我们以前列腺癌为例来说明这些方法。并且还从缺失模型或插补模型的错误规范中实现双重鲁棒性。在所有情景下,结果变量都应包含在缺失变量的模型中,而如果缺失取决于结果,则只需将其包含在缺失模型中。我们以前列腺癌为例来说明这些方法。
更新日期:2021-06-05
down
wechat
bug