基于人脸视频多模态生理特征融合的帕金森病评估方法及系统
申请号:CN202511278861
申请日期:2025-09-09
公开号:CN120809239A
公开日期:2025-10-17
类型:发明专利
摘要
本发明公开一种基于人脸视频多模态生理特征融合的帕金森病评估方法及系统,涉及计算机视觉及生理信号处理等多个技术领域,所述方法包括以下步骤:S1、基于连续人脸视频流,提取rPPG信号;随后计算心率变异性关键参数,获得心率变异性特征;S2、基于IPAST分析人脸视频中眼部注视点动态变化,提取关键的眼动行为参数,通过卷积门控循环单元得到眼动行为特征;S3、将心率变异性特征与眼动行为特征输入多模态融合网络结构中,输出连续性风险评分或病情状态标签,用于辅助医生进行早期帕金森风险评估。本发明通过深度整合视频采集的多种生理信号,构建多模态特征协同分析框架,既突破了传统量表评估的主观性局限,又克服了单一生物标志物检测的片面性缺陷。
技术关键词
多模态生理
门控循环单元
融合网络结构
人脸
心率
注视点
特征融合网络
序列
特征提取模块
光流跟踪算法
参数
因子
时域特征
注意力
频域特征
帕金森病患者
视频流