帕金森病（PD）步态障碍是临床评估的核心指标，传统人工评分耗时主观，而现有视频方法仅依赖骨骼信息、视角单一。近日，我校光电与信息工程学院陈冠楠教授团队提出“视觉-骨骼”双模态框架（Vision-skeleton dual-modality framework），首次融合人体关键点视觉特征与骨骼运动信息，实现PD步态的MDS-UPDRS智能视频评分，准确率和跨视角场景准确率均显著优于现有SOTA方法。为居家远程医疗视频监测提供零穿戴、零门槛的新方案。
研究亮点：
关键点视觉Transformer（KVT）：首次将关节视觉细节与骨架动态深度融合；
跨视角鲁棒：不同日常监控视角下性能仅下降5%，突破固定拍摄限制；
可视化机制：模型聚焦的上肢/下肢区域随病情严重度动态迁移，与临床评估逻辑一致。
该成果以Vision-skeleton dual-modality framework for generalizable assessment of Parkinson’s disease gait为题，发表于医学图像分析领域顶级期刊《Medical Image Analysis》（中科院一区Top，IF=11.8）。福建师范大学为第一单位，博士研究生刘伟平为第一作者，陈冠楠教授与福建医科大学附属第一医院林宇医生为共同通讯作者。研究获国家自然科学基金、福建省自然科学基金等项目资助。
论文链接：https://doi.org/10.1016/j.media.2025.103727
（光电与信息工程学院）