摘要
本发明提供了一种基于域泛化神经网络的神经康复动作检测方法,实时获取患者的神经康复动作视频帧数据及描述性文本数据,将预处理后的标准输入数据输入到训练得到的神经康复动作检测模型中,输出运动质量评估结果分数;新设计的神经康复动作检测模型包括特征提取网络和多模态神经康复动作检测网络;特征提取网络用于提取视频中的时空特征并结合文字描述中的语义信息,形成高效的多模态特征表示,多模态神经康复动作检测网络全面整合视频和文字的关键信息,输出运动质量评估结果分数;同时设计了域泛化生成对抗网络训练策略进行模型训练;有效解决了源域和目标域数据的分布差异问题,显著提升了模型在不同训练场景和设备条件下的域泛化能力。