基于多模态信息增强的弱监督视频片段检索方法，设备及介质

本发明涉及一种基于多模态信息增强的弱监督视频片段检索方法，设备及介质，将未剪辑视频和查询文本输入到输入表示模块，得到视频特征和查询文本特征；同时将未剪辑视频输入场景分布检测模块中对视频帧进行聚类，得到场景特征。将视频特征、查询文本特征和场景特征输入提议片段生成模块，得到预测的候选提议片段。将候选提议片段输入提议片段增强模块中，得到多模态增强的片段特征。在提议片段评估模块中计算片段特征的查询文本重建损失和查询文本标签相似性损失，选取损失最小的片段作为检索结果，输出片段的开始和结束时间。与现有技术相比，本发明具有准确性高、时效性强和有效性强等优点。