Semantic tagging, which has extensive applications in text mining, predicts whether a given piece of text conveys the meaning of a given semantic tag. The problem of semantic tagging is largely solved with supervised learning and today, deep learning models are widely perceived to be better for semantic tagging. However, there is no comprehensive study supporting the popular belief. Practitioners often have to train different types of models for each semantic tagging task to identify the best model. This process is both expensive and inefficient. We embark on a systematic study to investigate the following question: Are deep models the best performing model for all semantic tagging tasks? To answer this question, we compare deep models against "simple models" over datasets with varying characteristics. Specifically, we select three prevalent deep models (i.e. CNN, LSTM, and BERT) and two simple models (i.e. LR and SVM), and compare their performance on the semantic tagging task over 21 datasets. Results show that the size, the label ratio, and the label cleanliness of a dataset significantly impact the quality of semantic tagging. Simple models achieve similar tagging quality to deep models on large datasets, but the runtime of simple models is much shorter. Moreover, simple models can achieve better tagging quality than deep models when targeting datasets show worse label cleanliness and/or more severe imbalance. Based on these findings, our study can systematically guide practitioners in selecting the right learning model for their semantic tagging task.

中文翻译：

---

语义标记的深度模型还是简单模型？这取决于您的数据[实验]

语义标记在文本挖掘中有着广泛的应用，它可以预测给定的文本是否传达了给定语义标记的含义。监督学习在很大程度上解决了语义标记的问题，如今，人们广泛认为深度学习模型更适合语义标记。但是，还没有全面的研究支持流行的信念。从业人员通常必须为每个语义标记任务训练不同类型的模型，以识别最佳模型。该过程既昂贵又效率低下。我们着手进行系统研究以调查以下问题：深度模型是否是所有语义标记任务的最佳性能模型？为了回答这个问题，我们将深层模型与具有不同特征的数据集的“简单模型”进行了比较。特别，我们选择了三个流行的深度模型（即CNN，LSTM和BERT）和两个简单​​的模型（即LR和SVM），并比较了它们在21个数据集的语义标记任务中的性能。结果表明，数据集的大小，标签比率和标签清洁度会显着影响语义标签的质量。简单模型的标签质量与大型数据集上的深层模型相似，但是简单模型的运行时间要短得多。此外，当目标数据集显示较差的标签清洁度和/或更严重的不平衡时，简单模型可以比深度模型实现更好的标记质量。基于这些发现，我们的研究可以系统地指导从业者为其语义标记任务选择正确的学习模型。并比较它们在21个数据集中的语义标记任务中的性能。结果表明，数据集的大小，标签比率和标签清洁度会显着影响语义标签的质量。简单模型的标签质量与大型数据集上的深层模型相似，但是简单模型的运行时间要短得多。此外，当目标数据集显示较差的标签清洁度和/或更严重的不平衡时，简单模型可以比深度模型实现更好的标记质量。基于这些发现，我们的研究可以系统地指导从业者为其语义标记任务选择正确的学习模型。并比较它们在21个数据集中的语义标记任务中的性能。结果表明，数据集的大小，标签比率和标签清洁度会显着影响语义标签的质量。简单模型的标签质量与大型数据集上的深层模型相似，但是简单模型的运行时间要短得多。此外，当目标数据集显示较差的标签清洁度和/或更严重的不平衡时，简单模型可以比深度模型实现更好的标记质量。基于这些发现，我们的研究可以系统地指导从业者为其语义标记任务选择正确的学习模型。简单模型的标签质量与大型数据集上的深层模型相似，但是简单模型的运行时间要短得多。此外，当目标数据集显示较差的标签清洁度和/或更严重的不平衡时，简单模型可以比深度模型实现更好的标记质量。基于这些发现，我们的研究可以系统地指导从业者为其语义标记任务选择正确的学习模型。简单模型的标签质量与大型数据集上的深层模型相似，但是简单模型的运行时间要短得多。此外，当目标数据集显示较差的标签清洁度和/或更严重的不平衡时，简单模型可以比深度模型实现更好的标记质量。基于这些发现，我们的研究可以系统地指导从业者为其语义标记任务选择正确的学习模型。