基于双流对称适配器桥接的协同主导多模态RGB-T融合目标跟踪方法和装置

基于双流对称适配器桥接的协同主导多模态RGB‑T融合目标跟踪方法和装置，其方法包括：1)获取待处理多模态视频图像序列2)通过双流对称架构，将原多模态输入流与掩膜处理后的多模态输入流进行联合训练，双流之间共享参数，充分拓展和探索极端挑战性下的跟踪场景；3)模态互惠式适配器，作为双流的中间桥梁，适当地对原输入与掩膜输入的训练过程互相提供有效的模态提示信息；4)协同主导多模态融合，挖掘不同场景下对跟踪具有主力作用的模态的优势，动态地将其作为主导模态，另一模态作为辅助模态，两个模态加权融合，协同合作，进而做出不同场景下对不同模态利用度的最优决策；5)融合与跟踪，将协同主导多模态融合后得到的多模态特征送入预测头对目标的下一帧位置进行预测，实现跟踪。本发明能提高跟踪精度。