一种基于微调大语言模型的场景图生成增强方法

本发明提出了一种基于微调大语言模型的场景图生成增强方法，针对现有的场景图生成算法对不常见目标效果较差的问题，基于数据集标注生成训练数据，对大模型进行指令引导的参数微调，以获得关系预测三元组。该三元组将与传统视觉模型输出的关系三元组集合进行交叉注意力交互，并进行图卷积全局融合得到最终结果。结果表明本发明充分发挥了大语言模型在先验知识和推理能力方面的优势，并与传统视觉模型互补，从而实现更优的表现。