当前位置: X-MOL 学术Transl. Psychiaty › 论文详情
Our official English website, www.x-mol.net, welcomes your feedback! (Note: you will need to create a separate account there.)
Hard for humans, hard for machines: predicting readmission after psychiatric hospitalization using narrative notes
Translational Psychiatry ( IF 5.8 ) Pub Date : 2021-01-11 , DOI: 10.1038/s41398-020-01104-w
William Boag 1 , Olga Kovaleva 2 , Thomas H McCoy 3 , Anna Rumshisky 2 , Peter Szolovits 1 , Roy H Perlis 3
Affiliation  

Machine learning has been suggested as a means of identifying individuals at greatest risk for hospital readmission, including psychiatric readmission. We sought to compare the performance of predictive models that use interpretable representations derived via topic modeling to the performance of human experts and nonexperts. We examined all 5076 admissions to a general psychiatry inpatient unit between 2009 and 2016 using electronic health records. We developed multiple models to predict 180-day readmission for these admissions based on features derived from narrative discharge summaries, augmented by baseline sociodemographic and clinical features. We developed models using a training set comprising 70% of the cohort and evaluated on the remaining 30%. Baseline models using demographic features for prediction achieved an area under the curve (AUC) of 0.675 [95% CI 0.674–0.676] on an independent testing set, while language-based models also incorporating bag-of-words features, discharge summaries topics identified by Latent Dirichlet allocation (LDA), and prior psychiatric admissions achieved AUC of 0.726 [95% CI 0.725–0.727]. To characterize the difficulty of the task, we also compared the performance of these classifiers to both expert and nonexpert human raters, with and without feedback, on a subset of 75 test cases. These models outperformed humans on average, including predictions by experienced psychiatrists. Typical note tokens or topics associated with readmission risk were related to pregnancy/postpartum state, family relationships, and psychosis.



中文翻译:

难于人类,难于机器:使用叙述性注释预测精神病住院后的再入院

有人建议使用机器学习来识别最有可能再次住院(包括精神病再入院)的个人。我们试图将使用通过主题建模得出的可解释表示形式的预测模型的性能与人类专家和非专家的性能进行比较。我们使用电子健康记录检查了2009年至2016年之间所有5076例普通精神病住院患者的入院情况。我们根据叙述性出院摘要得出的特征,并通过基线社会人口统计学和临床​​特征进行了补充,开发了多种模型来预测这些入院的180天再入院。我们使用了包含70%同类群组的训练集来开发模型,并对剩余的30%进行了评估。使用人口统计学特征进行预测的基准模型在独立测试集上的曲线下面积(AUC)为0.675 [95%CI 0.674–0.676],而基于语言的模型还结合了词袋特征,确定了排放摘要主题根据潜在的Dirichlet分配(LDA),先前的精神科住院治疗的AUC为0.726 [95%CI 0.725-0.727]。为了描述任务的难度,我们还在75个测试用例的子集上,将这些分类器的性能与具有或不具有反馈的专家和非专家人类评分者进行了比较。这些模型的平均表现优于人类,包括经验丰富的精神科医生的预测。与再入院风险相关的典型音符或主题与怀孕/产后状态,家庭关系和精神病有关。[676]在独立的测试集上,而基于语言的模型还结合了词袋功能,通过潜在狄利克雷分配(LDA)识别的出院摘要主题以及先前的精神科入院,AUC为0.726 [95%CI 0.725-0.727] 。为了描述任务的难度,我们还在75个测试用例的子集上,将这些分类器的性能与具有或不具有反馈的专家和非专家人类评分者进行了比较。这些模型的平均表现优于人类,包括经验丰富的精神科医生的预测。与再入院风险相关的典型音符或主题与怀孕/产后状态,家庭关系和精神病有关。[676]在独立的测试集上,而基于语言的模型还结合了词袋功能,通过潜在狄利克雷分配(LDA)识别的出院摘要主题以及先前的精神科入院,AUC为0.726 [95%CI 0.725-0.727] 。为了描述任务的难度,我们还在75个测试用例的子集上,将这些分类器的性能与具有或不具有反馈的专家和非专家人类评分者进行了比较。这些模型的平均表现优于人类,包括经验丰富的精神科医生的预测。与再入院风险相关的典型音符或主题与怀孕/产后状态,家庭关系和精神病有关。通过潜在的狄利克雷分配(LDA)确定的出院摘要主题,以及先前的精神科入院,AUC为0.726 [95%CI 0.725-0.727]。为了描述任务的难度,我们还在75个测试用例的子集上,将这些分类器的性能与具有或不具有反馈的专家和非专家人类评分者进行了比较。这些模型的平均表现优于人类,包括经验丰富的精神科医生的预测。与再入院风险相关的典型音符或主题与怀孕/产后状态,家庭关系和精神病有关。通过潜在的狄利克雷分配(LDA)确定的出院摘要主题,以及先前的精神科入院,AUC为0.726 [95%CI 0.725-0.727]。为了描述任务的难度,我们还在75个测试用例的子集上,将这些分类器的性能与具有或不具有反馈的专家和非专家人类评分者进行了比较。这些模型的平均表现优于人类,包括经验丰富的精神科医生的预测。与再入院风险相关的典型音符或主题与怀孕/产后状态,家庭关系和精神病有关。在75个测试用例的子集中。这些模型的平均表现优于人类,包括经验丰富的精神科医生的预测。与再入院风险相关的典型音符或主题与怀孕/产后状态,家庭关系和精神病有关。在75个测试用例的子集中。这些模型的平均表现优于人类,包括经验丰富的精神科医生的预测。与再入院风险相关的典型音符或主题与怀孕/产后状态,家庭关系和精神病有关。

更新日期:2021-01-11
down
wechat
bug