一种自回归大语言模型的知识编辑方法和装置

AITNT-国内领先的一站式人工智能新闻资讯网站
# 热门搜索 #
一种自回归大语言模型的知识编辑方法和装置
申请号:CN202510337893
申请日期:2025-03-21
公开号:CN120218023B
公开日期:2025-11-18
类型:发明专利
摘要
本发明实施例涉及一种自回归大语言模型的知识编辑方法和装置,所述方法包括:将自回归大语言模型作为目标模型;并对目标模型的预训练知识库中的各个知识条目进行问题‑答案文本对转换;对各文本对按三类模型推理方式(单次正常推理、单次加扰推理、加扰前提下的多次修复推理)进行处理得到第一、第二预测文本和第三预测信息集;并基于各文本对的第一、第二预测文本和第三预测信息集进行一次关键层预估;并根据所有预估关键层进行关键层终判,并通过在所有关键层植入低秩矩阵参数的方式对目标模型进行参数重置;并由植入的所有低秩矩阵参数组成植入参数集,并在每次知识编辑过程中只对植入参数集进行更新。本发明可以提高编辑效率、降低编辑成本。
技术关键词
知识编辑方法 大语言模型 标签文本 板块 矩阵 参数 分词 答案 指令 条目 模板 索引 优化器 计数器 收发器 序列 计算机 模块