基于多模态蒸馏的相机三维目标检测方法和系统

本发明所提供的基于多模态蒸馏的相机三维目标检测方法和系统，涉及目标检测技术领域，该方法包括：确定训练好的以点云和多视角相机图像作为输入的多模态教师模型，利用教师模型中的点云特征对构建出的以多视角相机图像作为输入的学生模型进行跨模态对比蒸馏，使其具备空间几何推理能力构造出伪点云特征，利用多模态适应性平滑蒸馏方式，对齐基于伪点云特征和图像特征异构融合得到的学生模型特征和基于点云特征和图像特征通道融合得到的教师模型特征，在教师模型的回归输出优于学生模型的回归输出时，选择将其回归框知识蒸馏至学生模型中，通过上述训练过程，能够保证学生模型和教师模型结构上的一致性，提高学生模型的三维目标检测准确性。