改进BERT词向量的BiLSTM-Attention文本分类模型

doi:10.13873/J.1000-9787(2023)10-0160-05

Chinese

您当前的位置：

首页 >

文章列表页 >

改进BERT词向量的BiLSTM-Attention文本分类模型

更新时间：2025-09-11

- 改进BERT词向量的BiLSTM-Attention文本分类模型
- Issue 10, Pages: 160-164(2023)
- 作者机构：
  
  1. 上海工程技术大学数理与统计学院
  2. 重庆大学机械与运载工程学院
  3. 上海工程技术大学管理学院
- 作者简介：
- 基金信息：
- DOI：10.13873/J.1000-9787(2023)10-0160-05
  CLC： TP391.1
- Published：2023
- 稿件说明：
移动端阅览
[J]. 2023, (10): 160-164.
DOI：

[J]. 2023, (10): 160-164. DOI： 10.13873/J.1000-9787(2023)10-0160-05.

摘要

在文本的多分类任务中，基于预训练模型的词向量不能很好地学习到文本多样化信息，降低了文本分类任务的准确率。针对该问题，提出了一种基于残差注意力BERT词向量的BiLSTM-Attention文本分类模型。首先，将输入的文本转化为向量特征，利用残差注意力BERT模型提取更加丰富的语义特征词向量信息。接着，利用BiLSTM模型提取特征的上下文联系信息，将BERT模型“[CLS]”对应的输出与BiLSTM模型的输出进行拼接，对特征信息进行深度融合，从而实现特征有效利用。在THUNews数据集上进行性能评估，实验结果表明：所提模型在准确率和F1值指标上均优于现有深度学习模型的结果，具有更优的分类效果。

Abstract

关键词

Keywords

references

面向中文分类的自抑制残差网络研究[D]. 熊梦婷.华中科技大学,2019(03)

Improving neural networks by preventing co-adaptation of feature detectors[J]. Geoffrey E. Hinton;Nitish Srivastava;Alex Krizhevsky;Ilya Sutskever;Ruslan Salakhutdinov.CoRR,2012

Bidirectional Recurrent Neural Networks[J]. Mike Schuster;Kuldip K. Paliwal.IEEE Transactions on Signal Processing: A publication of the IEEE Signal Processing Society,1997(11)

基于注意力机制的双通道DAC-RNN文本分类模型[J]. 李启行;廖薇;孟静雯.计算机工程与应用,2022(16)

基于BiLSTM-ATT的微博用户情感分类研究[J]. 谢思雅;施一萍;胡佳玲;陈藩;刘瑾.传感器与微系统,2021(02)

基于区域自我注意力的实时语义分割网络[J]. 鲍海龙;万敏;刘忠祥;秦勉;崔浩宇.激光与光电子学进展,2021(08)

基于注意力机制的多通道CNN和BiGRU的文本情感倾向性分析[J]. 程艳;尧磊波;张光河;唐天伟;项国雄;陈豪迈;冯悦;蔡壮.计算机研究与发展,2020(12)

基于评论数据的酒店服务质量的细粒度分析[J]. 孙长伟;任宗来;杨俊杰;庞坤亮.计算机应用与软件,2019(07)

基于改进CHI特征选择的情感文本分类研究[J]. 袁磊.传感器与微系统,2017(05)

细粒度情感分析的酒店评论研究[J]. 李鸣;吴波;宋阳;朱梦尧;徐志广;张宏俊.传感器与微系统,2016(12)

一种循环互作用注意力的属性级情感分类模型[J]. 张周彬;邵党国;马磊;杨嘉林;相艳.计算机应用与软件,2020(05)

Views

637

下载量

CSCD

Alert me when the article has been cited

提交

Tools

Publicity Resources

基于注意力残差网络的口罩佩戴规范检测算法

融合Transformer的改进遮挡人脸识别算法

一种新型注意力机制的双人交互行为识别方法

基于改进ResNet18模型的驾驶员面部表情识别方法

面向校园场景视频监控的人体行为识别方法

Related Author

姜月武

张玉金

施建新

杨雨涵

茅正冲

王艳媛

武东辉

刘国志

Related Institution

上海工程技术大学电子电气工程学院

江南大学物联网工程学院

临沂大学自动化与电气工程学院

郑州轻工业大学建筑环境工程学院

上海理工大学机械工程学院

⁰