一种基于视觉语言模型的自动化动作轨迹标注系统及方法

本发明提供一种基于视觉语言模型的自动化动作轨迹标注系统及方法，涉及视觉技术模型领域。该基于视觉语言模型的自动化动作轨迹标注系统，包括关键帧提取模块、VLM语义标注模块、历史标注数据库、扩散模型优化模块和反思修正模块，所述关键帧提取模块通过光流分析与TSN网络场景变化检测算法从输入视频中提取关键帧序列，输出包含动作起止点的候选分割点集合，所述VLM语义标注模块采用多模态VLM，将关键帧图像与上下文文本指令作为输入，生成初步语义标签及对应的视觉‑语言嵌入向量。本发明解决了现有动作轨迹标注技术的多项瓶颈，实现了标注精度显著提升，达到了时间边界优化的目标。