基于检索增强生成的多模态事实核查方法

AITNT-国内领先的一站式人工智能新闻资讯网站
# 热门搜索 #
基于检索增强生成的多模态事实核查方法
申请号:CN202411104896
申请日期:2024-08-13
公开号:CN119128739A
公开日期:2024-12-13
类型:发明专利
摘要
本发明公开了一种基于检索增强生成的多模态事实核查方法。其中,所述方法包括:获取待核查多模态事实,其中,待核查多模态事实包括多媒体的信息和/或事实文本的信息,多媒体包括事实图像和事实视频;在待核查多模态事实满足检索增强生成条件的情况下,通过检索增强生成模型对输入的待核查多模态事实进行检索,确定待核查多模态事实对应的背景知识文本;通过训练完成的目标核查模型对输入的待核查多模态事实和背景知识文本进行处理,确定待核查多模态事实对应的事实核查结果,其中,事实核查结果包括事实真实和/或事实异常。本发明技术方案,能够提高多模态事实核查的准确性和效率。
技术关键词
多模态 语义特征 文本 融合特征 多任务学习模型 核查方法 多媒体 图像 多头注意力机制 网络 像素 语句 视频 样本