基于BERT与记忆网络的长文本方面级情感分析

李攀; 吴亚东; 褚琦凯; 付朝帅; 张贵宇

doi:10.13873/J.1000-9787(2022)02-0118-05

Chinese

您当前的位置：

首页 >

文章列表页 >

基于BERT与记忆网络的长文本方面级情感分析

计算与测试 | 更新时间：2025-09-11

- 基于BERT与记忆网络的长文本方面级情感分析
- 基于BERT与记忆网络的长文本方面级情感分析
- 传感器与微系统 2022年第2期页码：118-122
- 作者机构：
  
  四川轻化工大学自动化与信息工程学院 2. 四川轻化工大学人工智能四川省重点实验室 3. 四川省大数据可视分析工程技术实验室 4. 四川轻化工大学计算机科学与工程学院
- 作者简介：
- 基金信息：
- DOI：10.13873/J.1000-9787(2022)02-0118-05
  中图分类号： TP18;TP391.1
- 纸质出版：2022
- 稿件说明：
移动端阅览
李攀, 吴亚东, 褚琦凯, 等. 基于BERT与记忆网络的长文本方面级情感分析[J]. 传感器与微系统, 2022,(2):118-122.

基于BERT与记忆网络的长文本方面级情感分析[J]. 2022, (2): 118-122.
李攀, 吴亚东, 褚琦凯, 等. 基于BERT与记忆网络的长文本方面级情感分析[J]. 传感器与微系统, 2022,(2):118-122. DOI： 10.13873/J.1000-9787(2022)02-0118-05.

基于BERT与记忆网络的长文本方面级情感分析[J]. 2022, (2): 118-122. DOI： 10.13873/J.1000-9787(2022)02-0118-05.

摘要

目前在方面级情感分析（ABSA）方法中

利用上下文或方面短语的平均值来计算方面短语或上下文之间注意力得分的方法往往会产生较大的信息损失

导致模型在长文本分类上的性能降低。为此

研究了一种建立在BERT表示上的记忆网络模型

BDMN。首先

把句子构造成多[CLS]的Token嵌入形式

然后

从BERT输出中获取到各短句的初始化向量

将其作为记忆体与方面短语的[CLS]向量进行充分注意力交互

最后

拼接输出注意力层所有短句的方面短语表示作为最终的情感分类特征向量。在AI Challenger 2018细粒度情感分析数据集上进行了模型评估

与目前的主流模型相比

其效果达到了最好。

Abstract

目前在方面级情感分析（ABSA）方法中

利用上下文或方面短语的平均值来计算方面短语或上下文之间注意力得分的方法往往会产生较大的信息损失

导致模型在长文本分类上的性能降低。为此

研究了一种建立在BERT表示上的记忆网络模型

BDMN。首先

把句子构造成多[CLS]的Token嵌入形式

然后

从BERT输出中获取到各短句的初始化向量

将其作为记忆体与方面短语的[CLS]向量进行充分注意力交互

最后

拼接输出注意力层所有短句的方面短语表示作为最终的情感分类特征向量。在AI Challenger 2018细粒度情感分析数据集上进行了模型评估

与目前的主流模型相比

其效果达到了最好。

关键词

Keywords

references

基于HAN的双通道复合模型的文本情感分类 [J]. 李辉,黄钰杰,李金秋. 传感器与微系统 . 2021(08)

基于BiLSTM-ATT的微博用户情感分类研究 [J]. 谢思雅,施一萍,胡佳玲,陈藩,刘瑾. 传感器与微系统 . 2021(02)

使用胶囊网络的细粒度情感分析方法 [J]. 滕磊,严馨,徐广义,周枫,邓忠莹. 小型微型计算机系统 . 2020(12)

基于螺旋注意力网络的方面级别情感分析模型 [J]. 杜成玉,刘鹏远. 中文信息学报 . 2020(09)

自然语言处理中的注意力机制研究综述 [J]. 石磊,王毅,成颖,魏瑞斌. 数据分析与知识发现 . 2020(05)

基于词嵌入与记忆网络的方面情感分类 [J]. 刘一伊,张瑾,余智华,刘悦,程学旗. 模式识别与人工智能 . 2019(12)

Target-Dependent Sentiment Classification With BERT. [J] . Zhengjie Gao,Ao Feng,Xinyu Song,Xi Wu. IEEE Access . 2019

Utilizing BERT for Aspect-Based Sentiment Analysis via Constructing Auxiliary Sentence. [J] . Chi Sun,Luyao Huang,Xipeng Qiu. CoRR . 2019

Text Summarization with Pretrained Encoders. [J] . Yang Liu 0124,Mirella Lapata. CoRR . 2019

浏览量

1270

下载量

CSCD

文章被引用时，请邮件提醒。

提交

工具集

关联资源

暂无数据