一种基于图像的多模态眼动表征方法及系统

本公开提供了一种基于图像的多模态眼动表征方法及系统，属于眼动表征技术领域，该方法包括：对原始眼动数据进行转换，得到原始眼动数据对应的眼动线形图；基于眼动特征得到扫视路径，眼动特征是对原始眼动数据进行特征提取后的特征；对眼动线形图进行编码，得到目标图像隐向量，基于扫视路径所对应的文本信息进行编码，得到目标文本隐向量；对目标图像隐向量和目标文本隐向量进行融合，得到综合隐向量；将综合隐向量输入自注意力网络进行传递，得到眼动表征。本公开提供的一种基于图像的多模态眼动表征方法及系统能够提高眼动表征的质量。