一种模型持续预训练和信息推荐方法、装置、介质及设备
申请号:CN202510586323
申请日期:2025-05-07
公开号:CN120633827A
公开日期:2025-09-12
类型:发明专利
摘要
本说明书提供了一种模型持续预训练和信息推荐方法、装置、介质及设备。在此方法中,获取目标领域的领域知识文件;将领域知识文件输入预设的对话生成模型,以使对话生成模型根据预设的提示信息,提取领域知识文件中包含的各项领域知识信息,并生成每项领域知识信息对应的查询文本,以及,基于各项领域知识信息及其对应的查询文本构建多轮对话样本;基于多轮对话样本对经过预训练的通用问答模型进行持续预训练。本方案提高了通用问答模型对目标领域下相关内容的语义理解能力,进一步保证了通用问答模型所生成信息的精准性。
技术关键词
问答模型
多轮对话
对话生成模型
文本
信息推荐方法
输出特征
双向注意力机制
样本
信息推荐装置
预训练方法
重构
处理器
指令
计算机程序产品
复杂度
训练装置
偏差
输入模块
可读存储介质