一种端到端的动态场景图生成方法及系统

本发明涉及一种端到端的动态场景图生成方法及系统，其方法包括提取目标视频中的各个实例的实例特征图；提取各个实例的实例特征图的细粒化特征，得到各个实例的细粒度特征图；预测出与各个实例的细粒度特征图对应的实例描述文本，得到各个实例的实例属性信息；从成对实例查询数据集查询出各个实例之间的成对表示，得到成对实例的边界框坐标信息和类别信息；预测成对实例的动态视觉关系，得到成对实例的动态视觉关系信息；根据成对实例的实例属性信息、边界框坐标信息、类别信息以及动态视觉关系信息生成动态场景图；本发明提高了预测精度的同时还可以实现端到端训练，为动态场景图生成提供了一种新的范式，简化了模型的训练步骤。