基于多模态图生文大模型的视频分析方法、装置、设备

本发明涉及视频分析技术领域，公开了基于多模态图生文大模型的视频分析方法、装置、设备，该方法通过对目标检测模型进行训练，将目标场景作为先验知识创建目标图像描述任务指令，从而聚焦视频中的重点场景更好的生成需要重点关注的图片描述，通过结合目标检测的方式防止生成的都是无效的文本信息，提高视频分析效率和时效性，并通过加入矩阵级噪音扰动，提高图生文大模型训练的泛化能力，同时利用交叉注意力增加图像描述任务指令和图片特征的映射，使模型能更加准确的进行图像描述，通过将两个模态输入融合对齐，将文本序列与交叉注意力之后输出矩阵的融合，使得模型能更好的理解指令并更好的生成文本描述，提高模型对视频内容理解的准确性。