一种融合多模态数据的面瘫分级方法、系统、设备及介质
申请号:CN202511384069
申请日期:2025-09-26
公开号:CN120876479A
公开日期:2025-10-31
类型:发明专利
摘要
本发明属于图像处理技术领域,为了解决现有面瘫分级不准确的问题,提出一种融合多模态数据的面瘫分级方法、系统、设备及介质,通过异构特征交互注意力机制,使基于先验知识的手工面瘫特征与包含时空信息的深度视觉特征进行联合建模;基于目标个体的单帧面部图像所提取的静态图像特性和关键点特征提取多尺度特征,通过将表征局部不对称的小尺度特征逐步传递到中尺度特征和大尺度特征中,并通过动态权重分配自适应进行特征融合得到静态对称特征;构建动态面部特征与静态对称特征之间的双向信息交互通道,使生成的融合特征同时包含空间结构不对称与运动异常的完整病理信息,使诊断分级更准确。
技术关键词
深度视觉特征
面部特征
交互注意力
关键点特征提取
双模态
双向信息交互
动态权重分配
多模态
异构特征
融合特征
多尺度特征
交叉注意力机制
手工
图像
计算机
数据