基于向量检索的模型可解释性文本处理方法及存储介质

AITNT-国内领先的一站式人工智能新闻资讯网站
# 热门搜索 #
基于向量检索的模型可解释性文本处理方法及存储介质
申请号:CN202511146437
申请日期:2025-08-15
公开号:CN120744082B
公开日期:2025-11-28
类型:发明专利
摘要
本发明涉及自然语言处理技术领域,特别涉及一种基于向量检索的文本处理方法及存储介质,本发明提供的基于向量检索的文本处理方法,包括以下步骤:获取待检索文本和向量检索模型,通过向量检索模型获得待检索文本对应的输入词向量和文本向量;确定输入词向量和文本向量的目标相似度;对目标相似度进行归一化处理,获得归一化相似度;从构建的逆文档频率词库中确定待检索文本中所有词的目标逆文档频率,根据待检索文本中所有词的目标逆文档频率确定待检索文本中的罕见词;获取罕见词的词权重,将罕见词的词权重与归一化相似度对比,以根据对比结果准确判断待检索文本中重要词在对应的向量中的信息保留和丢失程度,以具有更好的可解释性。
技术关键词
文本处理方法 bert模型 样本 频率 自然语言 可读存储介质 计算机 处理器