摘要
本发明涉及足式机器人的基于多模态数据融合的多目标跟踪方法包括如下步骤:S1、数据采集与预处理;S2、数据特征提取;S3、多通道特征融合提取:基于S2中得到的高维特征表示,对不同传感器通道的数据的数据特征进行融合得到多模态特征图,并经过多任务检测头对多模态特征图处理获得目标检测结果;S4、多目标跟踪:利用特征共享模块融合不同传感器通道的数据特征,并输出至多目标跟踪模块;多目标跟踪模块结合目标在上一帧的状态预测目标的运动轨迹。本申请的足式机器人的基于多模态数据融合的多目标跟踪方法可以提高后续目标检测跟踪的准确性和鲁棒性,实现在复杂高动态场景下敏感目标的持续稳定识别和跟踪。