基于大语言模型的跨模态rPPG信号感知方法、装置及电子设备

本发明提供的基于大语言模型的跨模态rPPG信号感知方法、装置及电子设备，方法包括：获得人脸视频片段；从人脸视频片段中提取低精度的rPPG信号以及多尺度融合视觉特征；生成关于人脸视频片段和rPPG信号的提示信息；由大语言模型根据rPPG信号、多尺度融合视觉特征和提示信息进行预测，得到高精度的rPPG信号。本发明利用大语言模型综合rPPG信号、多尺度融合视觉特征以及与rPPG信号有关的提示信息等多种信息源进行rPPG信号预测，可以提高最终的预测精度和稳健性。