基于小样本提示微调的多模态检测模型训练方法和装置

本公开的实施例涉及目标检测领域，具体涉及基于小样本提示微调的多模态检测模型训练方法和装置。该方法的一实施方式包括：获取训练样本集和初始多模态检测模型；执行训练步骤：得到文本语义嵌入向量序列，对第一层文本提示向量序列与文本语义嵌入向量序列进行拼接处理，得到初始文本嵌入向量序列；得到图像块嵌入向量序列组，对第一层图像提示向量序列与图像块嵌入向量序列进行拼接处理，得到初始图像嵌入向量序列组；得到图像文本相似度矩阵组；对各个图像文本相似度矩阵进行融合处理，得到图像文本对齐分数矩阵；生成分类标注图像；确定多模态检测损失值；确定多模态检测模型。该实施方式可以降低多模态检测模型的复杂度，减少计算资源的占用。