一种融合预训练与动态微调技术的大语言模型方法及系统

AITNT-国内领先的一站式人工智能新闻资讯网站
# 热门搜索 #
一种融合预训练与动态微调技术的大语言模型方法及系统
申请号:CN202411125381
申请日期:2024-08-15
公开号:CN119129719A
公开日期:2024-12-13
类型:发明专利
摘要
本发明涉及大语言模型技术领域,尤其涉及一种融合预训练与动态微调技术的大语言模型方法及系统,本发明提出以下方案,首先通过审计知识建立审计语言池,对审计语言池进行预训练,其次根据审计信息在审计语言池中寻找最匹配的审计知识进行配对,最后构建微调模型,根据配对的结果对审计语言池进行微调。本发明通过全面、动态、真实地获得审计对象的总体信息,帮助内部审计人员高效地识别审计信息,对内外部审计数据的交叉验证和组合分析,也为企业规避经营风险提供更好的参考依据。
技术关键词
关键词特征 微调技术 三元组 节点 动态 专家经验库 语义特征 大语言模型 数据 概念 注意力机制 模块 同义词 术语 序列 策略 指令 日志