一种模型微调方法、装置、设备、介质及产品

AITNT-国内领先的一站式人工智能新闻资讯网站
# 热门搜索 #
一种模型微调方法、装置、设备、介质及产品
申请号:CN202411739052
申请日期:2024-11-28
公开号:CN119692496A
公开日期:2025-03-25
类型:发明专利
摘要
本申请提供了一种模型微调方法、装置、设备、介质及产品,该方法包括:获取训练数据,以及,获取第一模型微调需求;根据第一字符集合和第二字符集合,生成第一输入词表;针对每次训练步骤,执行以下操作:将本次训练步骤对应的第一字符序列输入预训练语言模型,接收预训练语言模型的输出结果;响应于第一目标字符命中第一子词表,根据输出结果,更新预训练语言模型的模型参数。该方法能够降低模型微调阶段的显存占用量,提升模型训练速度。
技术关键词
预训练语言模型 字符 序列 微调方法 数据 线性 计算机可读指令 参数 电子设备 计算机程序产品 微调装置 传播算法 模块 可读存储介质 索引 存储器 标签 处理器