The objective of our work is to demonstrate the feasibility of utilizing deep learning models to extract safety signals related to the use of dietary supplements (DS) in clinical text. Two tasks were performed in this study. For the named entity recognition (NER) task, Bi-LSTM-CRF (Bidirectional Long-Short-Term-Memory Conditional Random Fields) and BERT (Bidirectional Encoder Representations from Transformers) models were trained and compared with CRF model as a baseline to recognize the named entities of DS and Events from clinical notes. In the relation extraction (RE) task, two deep learning models, including attention-based Bi-LSTM and CNN (Convolutional Neural Network), and a random forest model were trained to extract the relations between DS and Events, which were categorized into three classes: positive (i.e., indication), negative (i.e., adverse events), and not related. The best performed NER and RE models were further applied on clinical notes mentioning 88 DS for discovering DS adverse events and indications, which were compared with a DS knowledge base. For the NER task, deep learning models achieved a better performance than CRF, with F1 scores above 0.860. The attention-based Bi-LSTM model performed the best in the relation extraction task, with the F1 score of 0.893. When comparing DS event pairs generated by the deep learning models with the knowledge base for DS and Event, we found both known and unknown pairs. Deep learning models can detect adverse events and indication of DS in clinical notes, which hold great potential for monitoring the safety of DS use.

中文翻译：

---

从临床文本中提取膳食补充剂不良事件和适应症的深度学习方法

我们工作的目的是证明利用深度学习模型提取与临床文本中使用膳食补充剂 (DS) 相关的安全信号的可行性。本研究执行了两项任务。对于命名实体识别 (NER) 任务，训练了 Bi-LSTM-CRF（双向长短期记忆条件随机场）和 BERT（来自 Transformers 的双向编码器表示）模型，并与 CRF 模型作为基线进行比较以进行识别来自临床笔记的 DS 和事件的命名实体。在关系提取 (RE) 任务中，训练了两种深度学习模型，包括基于注意力的 Bi-LSTM 和 CNN（卷积神经网络）以及随机森林模型来提取 DS 和事件之间的关系，将其分为三类类别：阳性（即适应症）、阴性（即 不良事件），并且不相关。将表现最好的 NER 和 RE 模型进一步应用于提及 88 DS 以发现 DS 不良事件和适应症的临床笔记，并将其与 DS 知识库进行比较。对于 NER 任务，深度学习模型取得了比 CRF 更好的性能，F1 分数高于 0.860。基于注意力的 Bi-LSTM 模型在关系提取任务中表现最好，F1 得分为 0.893。在将深度学习模型生成的 DS 事件对与 DS 和事件的知识库进行比较时，我们发现了已知和未知对。深度学习模型可以检测临床记录中 DS 的不良事件和指征，这对于监测 DS 使用的安全性具有巨大潜力。将表现最好的 NER 和 RE 模型进一步应用于提及 88 DS 以发现 DS 不良事件和适应症的临床笔记，并将其与 DS 知识库进行比较。对于 NER 任务，深度学习模型取得了比 CRF 更好的性能，F1 分数高于 0.860。基于注意力的 Bi-LSTM 模型在关系提取任务中表现最好，F1 得分为 0.893。在将深度学习模型生成的 DS 事件对与 DS 和事件的知识库进行比较时，我们发现了已知和未知对。深度学习模型可以检测临床记录中 DS 的不良事件和指征，这对于监测 DS 使用的安全性具有巨大潜力。将表现最好的 NER 和 RE 模型进一步应用于提及 88 DS 以发现 DS 不良事件和适应症的临床笔记，并将其与 DS 知识库进行比较。对于 NER 任务，深度学习模型取得了比 CRF 更好的性能，F1 分数高于 0.860。基于注意力的 Bi-LSTM 模型在关系提取任务中表现最好，F1 得分为 0.893。在将深度学习模型生成的 DS 事件对与 DS 和事件的知识库进行比较时，我们发现了已知和未知对。深度学习模型可以检测临床记录中 DS 的不良事件和指征，这对于监测 DS 使用的安全性具有巨大潜力。深度学习模型取得了比 CRF 更好的性能，F1 分数在 0.860 以上。基于注意力的 Bi-LSTM 模型在关系提取任务中表现最好，F1 得分为 0.893。在将深度学习模型生成的 DS 事件对与 DS 和事件的知识库进行比较时，我们发现了已知和未知对。深度学习模型可以检测临床记录中 DS 的不良事件和指征，这对于监测 DS 使用的安全性具有巨大潜力。深度学习模型取得了比 CRF 更好的性能，F1 分数在 0.860 以上。基于注意力的 Bi-LSTM 模型在关系提取任务中表现最好，F1 得分为 0.893。在将深度学习模型生成的 DS 事件对与 DS 和事件的知识库进行比较时，我们发现了已知和未知对。深度学习模型可以检测临床记录中 DS 的不良事件和指征，这对于监测 DS 使用的安全性具有巨大潜力。