视频定位模型训练方法

AITNT-国内领先的一站式人工智能新闻资讯网站
# 热门搜索 #
视频定位模型训练方法
申请号:CN202411054298
申请日期:2024-08-02
公开号:CN118587409B
公开日期:2024-11-19
类型:发明专利
摘要
本申请提供视频定位模型训练方法,包括:通过初始视频定位模型提取样本数据集中样本文本的单词级文本特征,以及样本数据集中样本视频的帧级视频特征;融合单词级文本特征与帧级视频特征,得到句子级文本特征和包含上下文语义信息的视觉特征;确定视觉特征对应的剪辑视频段的阶段特定表示,并根据阶段特定表示,在剪辑视频段中选取候选视频段;通过候选视频段与样本数据集中的真实视频段,对初始视频定位模型进行训练,直至满足训练停止条件,得到目标视频定位模型。本申请能够获取更具辨识力的多模态融合特征,并增强模型的跨模态对齐能力,实现视频和文本之间的细粒度对齐,提高了模型的组合泛化能力,保障模型能够实现高效的组合时刻定位。
技术关键词
样本 上下文语义信息 视频段 视觉特征 文本 模型训练方法 掩码策略 视频帧 阶段 融合特征 数据 非线性 编码 矩阵