人机协作中多模态融合与骨骼优化的人体动作预测

彭巍; 唐友康; 覃璐; 董元发; 周彬; 安友军

doi:10.13873/J.1000-9787(2025)09-0138-06

Chinese

您当前的位置：

首页 >

文章列表页 >

人机协作中多模态融合与骨骼优化的人体动作预测

计算与测试 | 更新时间：2025-09-11

- 人机协作中多模态融合与骨骼优化的人体动作预测
- 暂无标题
- 传感器与微系统 2025年第9期页码：138-143
- 作者机构：
  
  三峡大学机械与动力学院
- 作者简介：
- 基金信息：
  
  国家自然科学基金资助项目(52075292);湖北省自然科学基金资助项目(2023AFB1116);湖北省自然科学基金资助项目(2022CFB798)
- DOI：10.13873/J.1000-9787(2025)09-0138-06
  中图分类号： TP18;TP391.41
- 纸质出版：2025
- 稿件说明：
移动端阅览
彭巍, 唐友康, 覃璐, 等. 人机协作中多模态融合与骨骼优化的人体动作预测[J]. 传感器与微系统, 2025,(9):138-143.
彭巍, 唐友康, 覃璐, 等. 人机协作中多模态融合与骨骼优化的人体动作预测[J]. 传感器与微系统, 2025,(9):138-143. DOI： 10.13873/J.1000-9787(2025)09-0138-06.

DOI：

摘要

在复杂人机协作环境中，视觉遮挡和数据丢失问题使单得靠Kinect深度相机难以准确预测人体动作。为解决这一问题，提出了一种基于多模态信息融合与改进长短期记忆(LSTM)网络——BD-LSTM网络的三维人体动作预测方法。该方法融合了Kinect三维骨架数据与OpenPose提取的RGB图像关节点信息，并引入骨骼长度不变性和方向一致性约束以优化动作序列的映射关系。在四种典型人机协作情境下对本文模型进行了实验验证，比较了典型的预测模型LSTM、双向LSTM(BiLSTM)、循环神经网络(RNN)和本文BD-LSTM模型的预测误差，实验结果表明，BD-LSTM的预测误差最小，进一步证明了本文模型在预测精度和稳定性方面的优越性。

Abstract

关键词

Keywords

references

姚寿文,栗丽辉,王瑀,常富祥,Zeyuan YAO.双Kinect自适应加权数据融合的全身运动捕捉方法[J].重庆理工大学学报(自然科学),2019(09).

陈鹏展,李斯琛,李芳.人机协作中融合骨骼耦合的人体动作轨迹预测[J].传感器与微系统,2023(01).

汤发源,赵永兴,刘晓亮,赵欣,王京华.基于骨架特征的人体跌倒检测[J].传感器与微系统,2024(03).

李国,钱梦飞.基于GMM聚类的AM-BiLSTM机场安检旅客流量预测[J].传感器与微系统,2024(09).

Jamie Shotton,Toby Sharp,Alex Kipman,Andrew Fitzgibbon,Mark Finocchio,Andrew Blake,Mat Cook,Richard Moore.Real-time human pose recognition in parts from single depth images[J].Communications of the ACM,2013.

浏览量

下载量

CSCD

文章被引用时，请邮件提醒。

提交

工具集

关联资源

人机协作中融合骨骼耦合的人体动作轨迹预测

基于人体运动预测的协作机器人避障方法研究