基于大语言模型、人脸识别、目标检测及跨模态向量的融合影视剧内容检索方法、设备、介质及产品

本发明公开了一种基于大语言模型、人脸识别、目标检测及跨模态向量的融合影视剧内容检索方法，视频预处理入库；根据用户输入的对视频内容的检索文本，利用大语言模型进行分词及优化处理；随后对视频内容的演职员表进行OCR识别并匹配人物角色关联关系；对于物体进行目标检测；对于用户检索中的涉及的场景、事件内容则通过CLIP模型建立的跨模态映射，将视频帧转换为向量表示，并与查询文本的向量表示进行对比，计算视频帧与查询文本之间的相似度；最后通过命中数量和最终加权得分进行二次排序。本发明还公开了一种电子设备、介质及产品。本发明提升影视剧媒体视频素材内容检索能力，并通过融合算法进行综合判定，得到高质量的视频检索方案。