Word representations are mathematical objects that capture the semantic and syntactic properties of words in a way that is interpretable by machines. Recently, encoding word properties into low‐dimensional vector spaces using neural networks has become increasingly popular. Word embeddings are now used as the main input to natural language processing (NLP) applications, achieving cutting‐edge results. Nevertheless, most word‐embedding studies are carried out with general‐domain text and evaluation datasets, and their results do not necessarily apply to text from other domains (e.g., biomedicine) that are linguistically distinct from general English. To achieve maximum benefit when using word embeddings for biomedical NLP tasks, they need to be induced and evaluated using in‐domain resources. Thus, it is essential to create a detailed review of biomedical embeddings that can be used as a reference for researchers to train in‐domain models. In this paper, we review biomedical word embedding studies from three key aspects: the corpora, models and evaluation methods. We first describe the characteristics of various biomedical corpora, and then compare popular embedding models. After that, we discuss different evaluation methods for biomedical embeddings. For each aspect, we summarize the various challenges discussed in the literature. Finally, we conclude the paper by proposing future directions that will help advance research into biomedical embeddings.

中文翻译：

---

生物医学自然语言处理中的单词嵌入：一项调查

单词表示形式是数学对象，它们以机器可以解释的方式捕获单词的语义和句法属性。最近，使用神经网络将单词属性编码到低维向量空间中变得越来越流行。现在，单词嵌入被用作自然语言处理（NLP）应用程序的主要输入，从而获得了最先进的结果。但是，大多数词嵌入研究都是使用通用领域的文本和评估数据集进行的，其结果不一定适用于其他领域（例如生物医学）在语言上不同于通用英语的文本。为了在将单词嵌入用于生物医学NLP任务时获得最大的收益，需要使用域内资源来诱导和评估它们。因此，创建对生物医学嵌入的详细审查非常重要，可作为研究人员训练域内模型的参考。在本文中，我们从语料库，模型和评估方法三个方面对生物医学词嵌入研究进行了综述。我们首先描述各种生物医学语料库的特征，然后比较流行的嵌入模型。之后，我们讨论了生物医学嵌入的不同评估方法。对于每个方面，我们总结了文献中讨论的各种挑战。最后，我们通过提出未来的方向来总结本文，这些方向将有助于推进对生物医学嵌入的研究。模型和评估方法。我们首先描述各种生物医学语料库的特征，然后比较流行的嵌入模型。之后，我们讨论了生物医学嵌入的不同评估方法。对于每个方面，我们总结了文献中讨论的各种挑战。最后，我们通过提出未来的方向来总结本文，这些方向将有助于推进对生物医学嵌入的研究。模型和评估方法。我们首先描述各种生物医学语料库的特征，然后比较流行的嵌入模型。之后，我们讨论了生物医学嵌入的不同评估方法。对于每个方面，我们总结了文献中讨论的各种挑战。最后，我们通过提出未来的方向来总结本文，这些方向将有助于推进对生物医学嵌入的研究。