近日，钱惠敏老师团队在人体骨架行为识别领域取得新进展，相关研究成果以《面向骨架行为识别的多语义动态图卷积网络》为题发表于《控制与决策》2026年第41卷第6期。
01 论文概要
人体行为识别是计算机视觉领域的重要研究方向，在智能监控、人机交互、虚拟现实以及异常行为检测等场景中具有重要应用价值。与传统RGB视觉信息相比，骨架数据能够更加紧凑地描述人体运动结构，并具有较强的背景和光照鲁棒性。然而，现有基于图卷积网络的骨架行为识别方法在复杂关节关系建模方面仍存在不足，同时对关节、骨骼等不同骨架表示之间互补信息的利用也不够充分。针对上述问题，研究团队提出多语义动态图卷积网络（Multi-Semantic Dynamic Graph Convolutional Network，MSD-GCN）。该网络采用关节—骨骼融合双流架构，同时处理关节和骨骼两类骨架信息，并由多语义动态图卷积算子（MSD-GC）、多尺度时间卷积算子（MS-TC）以及关节—骨骼跨模态对比学习模块（JB-CMCL）共同构成。
研究亮点 1.构建语义感知分层图（SH-Graph），突破传统骨架物理拓扑限制，扩大空间建模感受野。 2.协同使用跨语义空间建模模块（CSSM）与局部几何建模模块（LGM），兼顾全局关节依赖与局部细微运动。 3.设计关节—骨骼跨模态对比学习模块（JB-CMCL），实现模态特征对齐和混淆样本辨别，增强细粒度动作识别能力。 |
02 方法框架与核心设计
在空间特征建模方面，研究团队构建语义感知分层图（SH-Graph），将人体关节按照脊椎、躯干和四肢等不同语义层级重新组织，从而突破传统骨架物理连接关系对图卷积感受野的限制。在此基础上，跨语义空间建模模块（CSSM）利用自注意力机制学习不同关节之间潜在的全局关联；局部几何建模模块（LGM）则重点捕捉相邻关节之间细微的几何运动变化，使模型能够兼顾全局人体协同运动和局部细粒度动作特征。
针对关节与骨骼两种模态之间信息互补但难以充分融合的问题，团队进一步设计关节—骨骼跨模态对比学习模块（JB-CMCL）。该模块在共享特征空间中实现关节与骨骼特征的语义对齐，并利用混淆样本辨别机制强化模型对易混淆动作的学习，从而进一步增强模型的细粒度识别能力。
图1 面向骨架行为识别的多语义动态图卷积网络结构
03 实验结果与性能表现
研究团队在NTU RGB+D、NTU RGB+D 120和Northwestern-UCLA三个公开人体行为识别数据集上进行了系统实验。消融实验表明，各核心组件均能够有效提升模型性能：在NTU RGB+D 120的X-Sub评价设置下，随着CSSM、LGM、关节—骨骼双流网络以及跨模态对比学习机制的逐步加入，模型识别准确率由基准方法的84.90%提高至89.08%。
与已有先进方法的对比结果显示，MSD-GCN在多个评价协议上取得具有竞争力的性能。三路集成版本在NTU RGB+D的X-view和NTU RGB+D 120的X-set上分别达到97.1%和91.6%的识别准确率，同时仅采用6.3M参数。
表1 MSD-GCN与其他先进骨架行为识别方法的对比结果
04 成果意义
相关实验表明，MSD-GCN能够有效捕获人体关节之间复杂的全局依赖关系以及局部细微运动特征，并充分利用关节与骨骼模态之间的互补信息，在多个公开数据集上展现出较强的竞争力。该研究为复杂人体运动关系建模和多模态骨架信息协同学习提供了新的思路，对进一步提升骨架行为识别模型的特征表达与细粒度动作判别能力具有研究意义。
05 论文信息与原文链接
论文题目 | 面向骨架行为识别的多语义动态图卷积网络 |
英文题目 | Multi-semantic dynamic graph convolutional networks for skeleton-based action recognition |
作者 | 宋忱、钱惠敏、吴大伟 |
通信作者 | 钱惠敏 |
期刊 | 《控制与决策》 |
卷期页码 | 2026，41(6)：1640–1650 |
DOI | 10.13195/j.kzyjc.2025.0793 |
原文链接：https://doi.org/10.13195/j.kzyjc.2025.0793