大语言模型的遗忘学习方法及装置

AITNT-国内领先的一站式人工智能新闻资讯网站
# 热门搜索 #
大语言模型的遗忘学习方法及装置
申请号:CN202510940757
申请日期:2025-07-08
公开号:CN120911530A
公开日期:2025-11-07
类型:发明专利
摘要
本说明书实施例披露一种大语言模型的遗忘学习方法及装置。该方法包括:首先,获取第一大语言模型和遗忘样本集,其中第一大语言模型初始为采用微调样本集进行微调而得到的微调模型,遗忘样本集为微调样本集的子集。接着,针对任意的第一遗忘样本,基于第二大语言模型确定若干相似样本,其中各个相似样本与所述第一遗忘样本具有相似语义但表述不同。之后,利用第一大语言模型处理第一遗忘样本得到第一隐层表征。然后,确定训练损失,其负相关于第一隐层表征与各个相似样本的隐层表征之间的距离,正相关于第一隐层表征和随机向量之间的距离,其中各个相似样本的隐层表征基于微调模型而得到;之后,利用训练损失训练第一大语言模型以实现遗忘学习。
技术关键词
大语言模型 样本 学习方法 聚类算法 编码向量 模型训练模块 学习装置 数据获取模块 语义 计算机 度量 可读存储介质 存储器 处理器