一种模型微调方法、装置、设备、介质及产品
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
AITNT公众号
AITNT APP
AITNT交流群
搜索
首页
AI资讯
AI技术研报
AI监管政策
AI产品测评
AI商业项目
AI产品热榜
AI专利库
寻求报道
一种模型微调方法、装置、设备、介质及产品
申请号:
CN202411739052
申请日期:
2024-11-28
公开号:
CN119692496A
公开日期:
2025-03-25
类型:
发明专利
摘要
本申请提供了一种模型微调方法、装置、设备、介质及产品,该方法包括:获取训练数据,以及,获取第一模型微调需求;根据第一字符集合和第二字符集合,生成第一输入词表;针对每次训练步骤,执行以下操作:将本次训练步骤对应的第一字符序列输入预训练语言模型,接收预训练语言模型的输出结果;响应于第一目标字符命中第一子词表,根据输出结果,更新预训练语言模型的模型参数。该方法能够降低模型微调阶段的显存占用量,提升模型训练速度。
技术关键词
预训练语言模型
字符
序列
微调方法
数据
线性
计算机可读指令
参数
电子设备
计算机程序产品
微调装置
传播算法
模块
可读存储介质
索引
存储器
标签
处理器