BackgroundConventional prognostic scores usually require predefined clinical variables to predict outcome. The advancement of natural language processing has made it feasible to derive meaning from unstructured data. We aimed to test whether using unstructured text in electronic health records can improve the prediction of functional outcome after acute ischemic stroke.Methods and ResultsPatients hospitalized for acute ischemic stroke were identified from 2 hospital stroke registries (3847 and 2668 patients, respectively). Prediction models developed using the first cohort were externally validated using the second cohort, and vice versa. Free text in the history of present illness and computed tomography reports was used to build machine learning models using natural language processing to predict poor functional outcome at 90 days poststroke. Four conventional prognostic models were used as baseline models. The area under the receiver operating characteristic curves of the model using history of present illness in the internal and external validation sets were 0.820 and 0.792, respectively, which were comparable to the National Institutes of Health Stroke Scale score (0.811 and 0.807). The model using computed tomography reports achieved area under the receiver operating characteristic curves of 0.758 and 0.658. Adding information from clinical text significantly improved the predictive performance of each baseline model in terms of area under the receiver operating characteristic curves, net reclassification improvement, and integrated discrimination improvement indices (all P<0.001). Swapping the study cohorts led to similar results.ConclusionsBy using natural language processing, unstructured text in electronic health records can provide an alternative tool for stroke prognostication, and even enhance the performance of existing prognostic scores.

中文翻译：

---

自然语言处理增强对急性缺血性中风后功能结果的预测

背景传统的预后评分通常需要预定义的临床变量来预测结果。自然语言处理的进步使得从非结构化数据中获取意义成为可能。我们旨在测试在电子健康记录中使用非结构化文本是否可以提高对急性缺血性卒中后功能结果的预测。方法和结果从 2 个医院卒中登记处（分别为 3847 和 2668 名患者）中确定了因急性缺血性卒中住院的患者。使用第一组开发的预测模型使用第二组进行外部验证，反之亦然。现病史和计算机断层扫描报告中的自由文本被用于构建机器学习模型，使用自然语言处理来预测中风后 90 天的不良功能结果。四种常规预后模型被用作基线模型。在内部和外部验证集中使用现病史模型的受试者工作特征曲线下面积分别为 0.820 和 0.792，与美国国立卫生研究院卒中量表评分（0.811 和 0.807）相当。使用计算机断层扫描的模型报告在接受者操作特征曲线下实现了 0.758 和 0.658 的面积。从临床文本中添加信息显着提高了每个基线模型在接受者操作特征曲线下面积、净重新分类改进和综合辨别改进指数方面的预测性能（所有 在内部和外部验证集中使用现病史模型的受试者工作特征曲线下面积分别为 0.820 和 0.792，与美国国立卫生研究院卒中量表评分（0.811 和 0.807）相当。使用计算机断层扫描的模型报告在接受者操作特征曲线下实现了 0.758 和 0.658 的面积。从临床文本中添加信息显着提高了每个基线模型在接受者操作特征曲线下面积、净重新分类改进和综合辨别改进指数方面的预测性能（所有 在内部和外部验证集中使用现病史模型的受试者工作特征曲线下面积分别为 0.820 和 0.792，与美国国立卫生研究院卒中量表评分（0.811 和 0.807）相当。使用计算机断层扫描的模型报告在接受者操作特征曲线下实现了 0.758 和 0.658 的面积。从临床文本中添加信息显着提高了每个基线模型在接受者操作特征曲线下面积、净重新分类改进和综合辨别改进指数方面的预测性能（所有 这与美国国立卫生研究院卒中量表评分（0.811 和 0.807）相当。使用计算机断层扫描的模型报告在接受者操作特征曲线下实现了 0.758 和 0.658 的面积。从临床文本中添加信息显着提高了每个基线模型在接受者操作特征曲线下面积、净重新分类改进和综合辨别改进指数方面的预测性能（所有 这与美国国立卫生研究院卒中量表评分（0.811 和 0.807）相当。使用计算机断层扫描的模型报告在接受者操作特征曲线下实现了 0.758 和 0.658 的面积。从临床文本中添加信息显着提高了每个基线模型在接受者操作特征曲线下面积、净重新分类改进和综合辨别改进指数方面的预测性能（所有P <0.001)。交换研究队列导致了类似的结果。结论通过使用自然语言处理，电子健康记录中的非结构化文本可以为中风预后提供替代工具，甚至可以提高现有预后评分的性能。