基于外部知识图谱的图像描述方法

AITNT-国内领先的一站式人工智能新闻资讯网站
# 热门搜索 #
基于外部知识图谱的图像描述方法
申请号:CN202410932891
申请日期:2024-07-12
公开号:CN118708735A
公开日期:2024-09-27
类型:发明专利
摘要
本发明公开了一种基于外部知识图谱的图像描述方法,包括:目标检测、外部信息检索和介绍文本生成;主要包括:对待介绍图片进行目标检测,包括图像预处理、特征提取、目标检测、后处理优化和输出检测结果;利用关键词预测模型对检测结果进行关联关键词预测,将结果输入到外部知识图谱中检索出匹配的知识子图,再输入到子图知识评估器中得到与关键词最相关的知识子图。本公开的技术方案,在进行信息检索时无需知识图谱全部信息,只关注关联关键词的局部子图信息,同时提出了一个子图知识评估器,对预测的关联关键词进行相关性排序,以确保补充信息与目标检测结果相关程度的最大化。
技术关键词
关键词 图谱 BERT模型 三元组 信息检索 文本生成模型 图像特征提取 样本 尺寸 通道 图片 序列 节点 算法 冗余 标签 因子 编码