基于多模态视听融合的Transformer语音识别算法研究

赵小芬; 彭朋

doi:10.13873/J.1000-9787(2025)02-0048-05

Chinese

您当前的位置：

首页 >

文章列表页 >

基于多模态视听融合的Transformer语音识别算法研究

研究与探讨 | 更新时间：2025-09-11

- 基于多模态视听融合的Transformer语音识别算法研究
- 暂无标题
- 传感器与微系统 2025年第2期页码：48-52
- 作者机构：
  
  1. 西京学院计算机学院
  2. 陕西科技大学电气与控制工程学院
- 作者简介：
- 基金信息：
  
  国家自然科学基金资助项目(52173263);陕西省自然科学基金青年项目(2022JQ—601);西京学院科研基金资助项目(XJ230201)
- DOI：10.13873/J.1000-9787(2025)02-0048-05
  中图分类号： TN912.34
- 纸质出版：2025
- 稿件说明：
移动端阅览
赵小芬, 彭朋. 基于多模态视听融合的Transformer语音识别算法研究[J]. 传感器与微系统, 2025,(2):48-52.
赵小芬, 彭朋. 基于多模态视听融合的Transformer语音识别算法研究[J]. 传感器与微系统, 2025,(2):48-52. DOI： 10.13873/J.1000-9787(2025)02-0048-05.

DOI：

摘要

针对单模态语音识别在复杂环境中易受噪音、口音、语速等因素干扰的局限性，本研究提出一种基于多模态视听融合的Transformer语音识别算法。通过综合音频和视频两种模态信息，并引入不同模态间的动态权重分配机制，有效解决了模态间信息分布不均的问题。通过将原始音频和视觉信号转换为Transformer模型可处理的特征表示，并结合编码器和解码器结构实现语音到文本的精确转换，利用多头自注意力机制捕捉序列间的内在相关性。实验结果表明，本算法在字错误率上降低了6%～22%

显著提升了语音识别率，验证了算法的有效性和优越性。

Abstract

关键词

Keywords

references

Jianjun Lei,Jing Wang,Ying Wang.Multi-level attention fusion network assisted by relative entropy alignment for multimodal speech emotion recognition[J].Applied Intelligence,2024.

Zhou Ran,Zhao Shuai,Luo Mingming,Meng Xin,Ma Jie,Liu Jianfei.MFCC based real-time speech reproduction and recognition using distributed acoustic sensing technology[J].Optoelectronics Letters,2024.

杨震,王天朗,郭海燕,王婷婷.跨域注意力特征融合的说话人确认方法[J].通信学报,2023(08).

许春冬,徐锦武,王茹霞,凌贤鹏,黄乔月,郭桥生.结合LSTM与ResNet的声学回声消除[J].传感器与微系统,2023(05).

Yi LIN,Min RUAN,Kunjie CAI,Dan LI,Ziqiang ZENG,Fan LI,Bo YANG.Identifying and managing risks of AI-driven operations: A case study of automatic speech recognition for improving air trafflc safety[J].Chinese Journal of Aeronautics,2023(04).

ZHAO Huijuan,YE Ning,WANG Ruchuan.Improved Cross-Corpus Speech Emotion Recognition Using Deep Local Domain Adaptation[J].Chinese Journal of Electronics,2023(03).

薛峰,洪自坤,李书杰,李雨,谢胤岑.基于Vision Transformer的中文唇语识别[J].模式识别与人工智能,2022(12).

LIN Long,TAN Liang.Multi-Distributed Speech Emotion Recognition Based on Mel Frequency Cepstogram and Parameter Transfer[J].Chinese Journal of Electronics,2022(01).

赵小芬,张开生.基于三层结构优化卷积神经网络的语音识别[J].石河子大学学报(自然科学版),2022(01).

谢旭康,陈戈,孙俊,陈祺东.TCN-Transformer-CTC的端到端语音识别[J].计算机应用研究,2022(03).

胡黎,黄洪全,梁超,宋悦阳,陈延明.基于双通路CNN的端到端语音识别研究[J].传感器与微系统,2021(11).

马金林,巩元文,马自萍,陈德光,朱艳彬,刘宇灏.唇语识别的视觉特征提取方法综述[J].计算机科学与探索,2021(12).

苏明,艾海明,王东明.基于AI的车载智能语音识别报警系统研制[J].传感器与微系统,2021(06).

浏览量

下载量

CSCD

文章被引用时，请邮件提醒。

提交

工具集

关联资源

融合Transformer的改进遮挡人脸识别算法

基于时空Transformer的视觉目标跟踪算法

基于石墨烯的多模态OAM阵列天线设计

交互注意力融合的眼底图像分类方法

基于Transformer-DCGAR-SAC的移动机器人路径规划