基于多模态模型的目标检测方法、系统、电子设备及介质

本申请公开了基于多模态模型的目标检测方法、系统、电子设备及介质，方法包括：获取待检测图像、深度图像以及毫米波信号数据；通过多模态模型的模态映射模块对待检测图像以及深度图像进行特征映射，得到第一特征数据，并对毫米波信号数据进行矩阵转置操作，得到第二特征数据；通过自适应融合模块对上述特征数据进行特征融合操作，得到融合特征；通过全局编码器对融合特征进行特征编码，得到第一特征图和第二特征图；将第一特征图和第二特征图输入目标解码器进行融合编码操作，输出类别向量和目标框向量；根据类别向量和目标框向量对待检测图像上的目标物体进行标注，得到检测结果。本申请实施例能够提高目标识别精度，实现精准的多目标检测。