一种船只视频多模态特征提取方法、船只视频数据库、多模态查询方法
申请号:CN202411910660
申请日期:2024-12-24
公开号:CN119832430A
公开日期:2025-04-15
类型:发明专利
摘要
本发明提供了一种船只视频多模态特征提取方法、船只视频数据库、多模态查询方法。所述方法包括以下步骤:S1、接收船只视频和第一提示词,所述第一提示词为预设的船只的感兴趣方面;S2、根据所接收的船只视频,基于所述第一提示词,由预训练的大语言模型(LLM)模块输出图像帧和文本数据;S3、由文本去分词器对所输出的文本数据进行分词以形成描述特征,所述描述特征与预设的船只的感兴趣方面相对应;S4、由第一线性层对所输出的图像帧和文本数据进行处理以生成稠密特征;S5、由预训练的图像帧分类器对所输出的图像帧进行分类,以得到清晰图像帧;S6、根据所得到的清晰图像帧,由图像检测识别模块识别清晰图像帧中的船只的精细特征,其中,所述精细特征指示船只的部件的属性。
技术关键词
特征提取方法
船只
视频
查询方法
检测识别模块
大语言模型
图像
文本
稀疏特征提取
多模态特征
计算机程序代码
稠密特征
感兴趣
分类器
计算机程序产品
线性
颜色