当前位置: X-MOL 学术Multimed. Tools Appl. › 论文详情
Our official English website, www.x-mol.net, welcomes your feedback! (Note: you will need to create a separate account there.)
Using recurrent neural network structure with Enhanced Multi-Head Self-Attention for sentiment analysis
Multimedia Tools and Applications ( IF 3.6 ) Pub Date : 2021-01-12 , DOI: 10.1007/s11042-020-10336-3
Xue-Liang Leng , Xiao-Ai Miao , Tao Liu

Sentiment analysis is a process of analysis, processing, induction, and reasoning of subjective text with emotional color. It is a research direction of Natural Language Processing (NLP). It is often used to extract the attitudes towards someone or something of people. That can help users find potential problems to improve or predict. As one of the main resources of online media data, film review information is often used as a dataset in the field of sentiment analysis. Researchers put forward many models in sentiment analysis to analyze the film review dataset. Accuracy, precision, recall rate, F1-scores are important standards to measure the quality of a model. To improve these criteria, a new model is proposed in this paper. The new model combines a bidirectional Long Short-Term Memory network (biLSTM) or a bidirectional Gated Recurrent Unit (biGRU) and an Enhanced Multi-Head Self-Attention mechanism. The Enhanced Multi-Head Self-Attention is a two-layer modified Transformer encoder. This modified Transformer encoder is that its masking operation and the last feedforward layer are removed. Besides, the loss function of this new model is the sum of the weighted root mean square error (RMSE) and the cross entropy loss. The operation of this sum can improve the ability of auto-encoder to reproduce. That can improve classification accuracy. The proposed model is an autoencoder classification model. In this model, biLSTM or biGRU are used as encoders and decoders at both ends of the network. Enhanced Multi-Head Self-Attention is used to encode the inter-sentence information as the middle hidden layer. A four-layer autoencoder network model is constructed to perform sentiment analysis on movie review in this paper. The movie review data sets (IMDB movie comment data set and SST-2 sentiment data set) are used in experiments. Experiment results show that the proposed model performs better in terms of accuracy, precision, recall rate, and F1-scores comparing with the baseline models. BiLSTM is better than biGRU by comparing the effect of them in the model. Finally, Bidirectional Encoder Representations from Transformers (BERT) is used in our method instead of word2vec as a pre-training structure. Compared with the baseline model based on BERT, the proposed model is better.



中文翻译:

使用具有增强的多头自注意力的递归神经网络结构进行情感分析

情感分析是对具有情感色彩的主观文本进行分析,处理,归纳和推理的过程。这是自然语言处理(NLP)的研究方向。它通常用于提取对某人或某物的态度。这可以帮助用户发现潜在的问题以进行改进或预测。电影评论信息作为在线媒体数据的主要资源之一,在情感分析领域经常被用作数据集。研究人员提出了许多情感分析模型来分析电影评论数据集。准确性,准确性,召回率,F1分数是衡量模型质量的重要标准。为了提高这些标准,本文提出了一种新的模型。新模型结合了双向长期短期记忆网络(biLSTM)或双向门控循环单元(biGRU)和增强的多头自我注意机制。增强型多头自注意力是两层改进的Transformer编码器。修改后的Transformer编码器是去除了其屏蔽操作和最后一个前馈层。此外,该新模型的损失函数是加权均方根误差(RMSE)与交叉熵损失之和。该和的运算可以提高自动编码器的再现能力。这样可以提高分类的准确性。提出的模型是自动编码器分类模型。在此模型中,biLSTM或biGRU用作网络两端的编码器和解码器。增强型多头自注意用于将句子间信息编码为中间隐藏层。本文建立了一个四层的自动编码器网络模型,对电影评论进行情感分析。电影评论数据集(IMDB电影评论数据集和SST-2情感数据集)用于实验中。实验结果表明,与基准模型相比,该模型在准确性,准确性,召回率和F1得分方面表现更好。通过在模型中比较BiLSTM的效果,BiLSTM优于biGRU。最后,在我们的方法中使用了来自变压器的双向编码器表示(BERT),而不是将word2vec用作预训练结构。与基于BERT的基线模型相比,该模型更好。本文建立了一个四层的自动编码器网络模型,对电影评论进行情感分析。电影评论数据集(IMDB电影评论数据集和SST-2情感数据集)用于实验中。实验结果表明,与基准模型相比,该模型在准确性,准确性,召回率和F1得分方面表现更好。通过在模型中比较BiLSTM的效果,BiLSTM优于biGRU。最后,在我们的方法中使用了来自变压器的双向编码器表示(BERT),而不是将word2vec用作预训练结构。与基于BERT的基线模型相比,该模型更好。本文建立了一个四层的自动编码器网络模型,对电影评论进行情感分析。电影评论数据集(IMDB电影评论数据集和SST-2情感数据集)用于实验中。实验结果表明,与基准模型相比,该模型在准确性,准确性,召回率和F1得分方面表现更好。通过在模型中比较BiLSTM的效果,BiLSTM优于biGRU。最后,在我们的方法中使用了来自变压器的双向编码器表示(BERT),而不是将word2vec用作预训练结构。与基于BERT的基线模型相比,该模型更好。电影评论数据集(IMDB电影评论数据集和SST-2情感数据集)用于实验中。实验结果表明,与基准模型相比,该模型在准确性,准确性,召回率和F1得分方面表现更好。通过在模型中比较BiLSTM的效果,BiLSTM优于biGRU。最后,在我们的方法中使用了来自变压器的双向编码器表示(BERT),而不是将word2vec用作预训练结构。与基于BERT的基线模型相比,该模型更好。电影评论数据集(IMDB电影评论数据集和SST-2情感数据集)用于实验中。实验结果表明,与基准模型相比,该模型在准确性,准确性,召回率和F1得分方面表现更好。通过在模型中比较它们的效果,BiLSTM优于biGRU。最后,在我们的方法中使用了来自变压器的双向编码器表示(BERT),而不是将word2vec用作预训练结构。与基于BERT的基线模型相比,该模型更好。在我们的方法中,使用了来自变压器的双向编码器表示(BERT),而不是将word2vec用作预训练结构。与基于BERT的基线模型相比,该模型更好。在我们的方法中,使用了来自变压器的双向编码器表示(BERT),而不是将word2vec用作预训练结构。与基于BERT的基线模型相比,该模型更好。

更新日期:2021-01-12
down
wechat
bug