结合多模态知识图谱和多模态大语言模型的信息检测方法
申请号:CN202410996902
申请日期:2024-07-24
公开号:CN118839019A
公开日期:2024-10-25
类型:发明专利
摘要
本发明公开了多模态知识图谱和多模态大语言模型的信息检测方法,包括有S1多模态知识图谱设计;S2知识图谱推理;S3、多模态大语言模型预测,将多模态知识图谱以及新闻文本模态和图像模态一起输入到多模态大语言模型中,多模态大语言模型根据判断新闻真假的问题,推理知识图谱的哪些关系和三元组对产生预测的答案有利,把线性化的多模态知识图谱和文本,图像输入到多模态大语言模型,进行最终的预测,解决大语言模型可能会产生与已知事实不符的信息,且无法掌握特定领域信息的问题。
技术关键词
大语言模型
信息检测方法
多模态
实体
文本
知识图谱推理
图像
知识图谱库
跨模态
三元组
匹配模块
编码
预训练语言模型
关系
条目
维基百科
代表
识别器
视觉