一种基于权重叠加的大语言模型指纹添加方法和设备

AITNT-国内领先的一站式人工智能新闻资讯网站
# 热门搜索 #
一种基于权重叠加的大语言模型指纹添加方法和设备
申请号:CN202411593197
申请日期:2024-11-08
公开号:CN119598433A
公开日期:2025-03-11
类型:发明专利
摘要
本发明提供的基于权重叠加的大语言模型指纹添加方法,相比于现有技术而言,该方法以中毒实例为指纹,通过权重叠加,在无需重新微调下游模型的情况下,将指纹信息快速嵌入至大批量的大语言模型中,甚至能够在仅使用CPU的情况下完成嵌入,大幅提高了大语言模型进行文本处理任务的可扩展性和指纹嵌入效率;指纹嵌入可以避免恶意用户的指纹猜测行为也解决了微调模型所带来的复杂性问题;另外,指纹向量获取与下游模型之间解耦,引入的正则化数据对可以抵消指纹数据对的潜在不良影响,使得添加指纹向量后下游模型的性能不会下降甚至有所提升。本发明还提供了基于权重叠加的大语言模型指纹添加的设备,实现大语言模型指纹添加方法。
技术关键词
指纹 基础 大语言模型 数据 存储计算机程序 密钥 文本 存储器 处理器 场景 参数 因子 序列 定义