一种基于混合专家的大模型多语言增强模型融合方法
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
AITNT公众号
AITNT APP
AITNT交流群
搜索
首页
AI资讯
AI技术研报
AI监管政策
AI产品测评
AI商业项目
AI产品热榜
AI专利库
寻求报道
一种基于混合专家的大模型多语言增强模型融合方法
申请号:
CN202411690266
申请日期:
2024-11-25
公开号:
CN119538976A
公开日期:
2025-02-28
类型:
发明专利
摘要
本发明提出了一种基于混合专家的大模型多语言增强模型融合方法,包括以下步骤:步骤1,从锚点模型与语言专家模型中,选择待融合层;步骤2,构建融合模块;步骤3,使用融合模块,对锚点模型和语言专家模型中的每个待融合层进行融合,得到融合后的模型;步骤4,训练融合后的模型,得到最终的融合结果,完成所述基于混合专家的大模型多语言增强模型融合。
技术关键词
模型融合方法
多语言
前馈神经网络
锚点
注意力
模块
路由器
线性
二分类器
元素
超参数
规模
训练集
矩阵
间距
数据