AI资讯新闻榜单内容搜索-moe

关键词: MoE-LLaVA,MoE,7B LLaVA,3B模型

混合专家（MoE）架构已支持多模态大模型，开发者终于不用卷参数量了！北大联合中山大学、腾讯等机构推出的新模型MoE-LLaVA，登上了GitHub热榜。

关键词: 模型训练,AI大模型,MoE,AI,人工智能,LLM,WARM

AI大模型并非越大越好？过去一个月，关于大模型变小的研究成为亮点，通过模型合并，采用MoE架构都能实现小模型高性能。

关键词: MoE,GPT-4,天工AI,天工AI智能助手APP

MoE（混合专家）作为当下最顶尖、最前沿的大模型技术方向，MoE能在不增加推理成本的前提下，为大模型带来性能激增。比如，在MoE的加持之下，GPT-4带来的用户体验较之GPT-3.5有着革命性的飞升。

关键词: 天工2.0,MoE,天工AI智能助手,天工大模型

「天工AI」国内首个MoE架构免费向C端用户开放的大语言模型应用全新问世。

关键词: MoE,LocMoE,Mixtral 8×7B,开源模型

2023 年 12 月，首个开源 MoE 大模型 Mixtral 8×7B 发布，在多种基准测试中，其表现近乎超越了 GPT-3.5 和 LLaMA 2 70B，而推理开销仅相当于 12B 左右的稠密模型。为进一步提升模型性能，稠密 LLM 常由于其参数规模急剧扩张而面临严峻的训练成本。

关键词: 多模态大模型,MoE-LLaVA,LLaVA-1.5-7B

对于大型视觉语言模型（LVLM）而言，扩展模型可以有效提高模型性能。然而，扩大参数规模会显著增加训练和推理成本，因为计算中每个 token 都会激活所有模型参数。

关键词: GPT-4,MoE,Hugging Face

Hugging Face上有一位机器学习大神，分享了如何从头开始建立一套完整的MoE系统。

关键词: 大模型,百川大模型,Moe,abab6

一张名为《大模型的深渊》的图，在去年广为流行。吃瓜群众惊诧地发现，原来绝大多数大模型，都挤在深不见底的层级,“宣称自己快要落地的”“再等等决定啥时候落地的”“什么落地不落地的”“怎么还有这么多没听说过的大模型啊”……

关键词: Mamba,MoE-Mamba,MoE,模型训练

状态空间模型（SSM）是近来一种备受关注的 Transformer 替代技术，其优势是能在长上下文任务上实现线性时间的推理、并行化训练和强大的性能。而基于选择性 SSM 和硬件感知型设计的 Mamba 更是表现出色，成为了基于注意力的 Transformer 架构的一大有力替代架构。

关键词: OpenAI,Mistral AI,MoE,LLM

本文将介绍 MoE 的构建模块、训练方法以及在使用它们进行推理时需要考虑的权衡因素。