大语言模型的微调训练方法、电子设备、存储介质和程序产品
申请号:CN202511059820
申请日期:2025-07-30
公开号:CN121009164A
公开日期:2025-11-25
类型:发明专利
摘要
本申请实施例提供一种大语言模型的微调训练方法、电子设备、存储介质和程序产品,涉及人工智能技术领域,该方法包括:获取针对同一个训练问题生成的多个独立的候选答案,基于多个候选答案的分布特征,量化表示训练问题的不确定程度,根据多个候选答案的不确定程度,对训练问题的损失权重赋值,其中,不确定程度越高,损失权重越高,获取多个训练问题的损失权重,并基于使用各训练问题的损失权重加权的损失函数,对大语言模型执行微调训练。本申请实施例基于训练问题的不确定性对损失权重赋不同的值,调节各训练问题的损失在损失函数中的重要程度,从而协同优化大语言模型微调训练过程的训练效率和推理精度。
技术关键词
大语言模型
答案
生成方式
分布特征
文本
电子设备
可读存储介质
人工智能技术
计算机程序产品
聚类
处理器
教师
存储器
频率
精度