一种基于混合专家的大模型多语言增强模型融合方法

AITNT-国内领先的一站式人工智能新闻资讯网站
# 热门搜索 #
一种基于混合专家的大模型多语言增强模型融合方法
申请号:CN202411690266
申请日期:2024-11-25
公开号:CN119538976A
公开日期:2025-02-28
类型:发明专利
摘要
本发明提出了一种基于混合专家的大模型多语言增强模型融合方法,包括以下步骤:步骤1,从锚点模型与语言专家模型中,选择待融合层;步骤2,构建融合模块;步骤3,使用融合模块,对锚点模型和语言专家模型中的每个待融合层进行融合,得到融合后的模型;步骤4,训练融合后的模型,得到最终的融合结果,完成所述基于混合专家的大模型多语言增强模型融合。
技术关键词
模型融合方法 多语言 前馈神经网络 锚点 注意力 模块 路由器 线性 二分类器 元素 超参数 规模 训练集 矩阵 间距 数据