AI资讯新闻榜单内容搜索-MOE模型

关键词: AI,UltraMem,COMET,模型训练

字节对MoE模型训练成本再砍一刀，成本可节省40%！ 刚刚，豆包大模型团队在GitHub上开源了叫做COMET的MoE优化技术。

关键词: AI,算力,数据租赁,GPU

DeepSeek开源第二弹如期而至。这一次，他们把MoE模型内核库开源了，支持FP8专为Hopper GPU设计，低延迟超高速训练推理。

关键词: Qwen,通义千问,模型训练,人工智能

本周，在阿里云通义千问 Qwen 团队提交的一篇论文中，研究人员发现了目前最热门的 MoE（混合专家模型）训练中存在的一个普遍关键问题，并提出一种全新的方法——通过轻量的通信将局部均衡放松为全局均衡，使得 MoE 模型的性能和专家特异性都得到了显著的提升。

关键词: MoE,AI,开源模型,XVERSE,XVERSE-MoE-A36B,元象

元象XVERSE发布中国最大MoE开源模型：XVERSE-MoE-A36B，该模型总参数255B，激活参数36B，达到100B模型性能的「跨级」跃升。

关键词: GPT-4o,AI,Llama 3.1,Phi 3.5

微软Phi 3.5系列上新了！mini模型小而更美，MoE模型首次亮相，vision模型专注多模态。

关键词: token,MoE,Lory,模型训练,AI

前几天，普林斯顿大学联合Meta在arXiv上发表了他们最新的研究成果——Lory模型，论文提出构建完全可微的MoE模型，是一种预训练自回归语言模型的新方法。

关键词: token,MoE,大模型,GPT-4-Turbo,DeepSeek-V2,DeepSeek AI

开源大模型领域，又迎来一位强有力的竞争者。

关键词: Llama 3,Arctic,Dense-MoE,Mixtral

就在刚刚，拥有128位专家和4800亿参数的Arctic，成功登上了迄今最大开源MoE模型的宝座。

关键词: Snowflake,Llama3,开源模型,企业智能,LLM

Snowflake 发布高「企业智能」模型 Arctic，专注于企业内部应用。

关键词: Mistral AI,8x22B MoE,欧洲openai,Llama 2

一条磁力链，Mistral AI又来闷声不响搞事情。