一种采用融合增强的行人穿行意图预测方法及系统

本发明提供了一种采用融合增强的行人穿行意图预测方法及系统，方法包括：输入视觉信息和非视觉信息，通过视觉特征提取器从视觉信息提取视觉特征；在特征维度上拼接非视觉信息形成非视觉特征；整合视觉特征和非视觉特征得到融合特征；对融合特征添加位置编码得到位置特征，将位置特征输入Transformer模型，其输出编码特征；将编码特征输入GRU模型，GRU模型输出预测目标特征，将预测目标特征输入分类器得到行人穿行意图。本发明充分利用视觉信息和非视觉信息的互补性，加强模态之间的交互；对融合特征进行编码解码过程中采用Transformer‑GRU动作预测框架，进行长期序列建模和灵活的迭代解码，预测效果显著。