参数设置方法、文本生成方法、装置、设备、程序产品

AITNT-国内领先的一站式人工智能新闻资讯网站
# 热门搜索 #
参数设置方法、文本生成方法、装置、设备、程序产品
申请号:CN202411876272
申请日期:2024-12-19
公开号:CN119337240B
公开日期:2025-06-27
类型:发明专利
摘要
本发明提供一种参数设置方法、文本生成方法、装置、设备、程序产品,涉及人工智能领域,包括:获取预训练语言模型和预设低秩转换参数;针对预训练语言模型中对应相同网络层种类的网络层,将预设低秩转换参数设置为顶层网络层的低秩转换参数,并确定相邻网络层之间的相似度;若相似度不小于预设阈值,则将相邻网络层中的上层网络层的低秩转换参数作为相邻网络层中的下层网络层的低秩转换参数;若相似度小于预设阈值,则根据相似度确定调整系数,并利用调整系数对相邻网络层中的上层网络层的低秩转换参数进行增大,得到相邻网络层中的下层网络层的低秩转换参数;可以自适应地为网络层设置低秩转换参数,以提升模型微调训练效果。
技术关键词
预训练语言模型 文本生成方法 缩放参数 矩阵 数据 计算机可执行指令 因子 文本生成装置 存储计算机程序 计算机程序产品 子模块 处理器 可读存储介质 变换器 电子设备