AI资讯新闻榜单内容搜索-MoE架构

关键词: 微软A,Phi-3.5,Phi-3.5-vision-instruct,Phi-3.5-MoE-instruct

轻量级模型的春天要来了吗？

关键词: token,MoE,Lory,模型训练,AI

前几天，普林斯顿大学联合Meta在arXiv上发表了他们最新的研究成果——Lory模型，论文提出构建完全可微的MoE模型，是一种预训练自回归语言模型的新方法。

关键词: 苹果大模型,多模态,MoE架构,GenAI

今年以来，苹果显然已经加大了对生成式人工智能（GenAI）的重视和投入。此前在 2024 苹果股东大会上，苹果 CEO 蒂姆・库克表示，今年将在 GenAI 领域实现重大进展。此外，苹果宣布放弃 10 年之久的造车项目之后，一部分造车团队成员也开始转向 GenAI。

关键词: 模型训练,AI大模型,MoE,AI,人工智能,LLM,WARM

AI大模型并非越大越好？过去一个月，关于大模型变小的研究成为亮点，通过模型合并，采用MoE架构都能实现小模型高性能。

关键词: 天工2.0,MoE,天工AI智能助手,天工大模型

「天工AI」国内首个MoE架构免费向C端用户开放的大语言模型应用全新问世。