算法、系统和应用，三个视角全面读懂混合专家（MoE）
算法、系统和应用，三个视角全面读懂混合专家（MoE）LLM 很强，而为了实现 LLM 的可持续扩展，有必要找到并实现能提升其效率的方法，混合专家（MoE）就是这类方法的一大重要成员。
来自主题: AI技术研报
4900 点击 2024-07-26 17:57
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
搜索
LLM 很强，而为了实现 LLM 的可持续扩展，有必要找到并实现能提升其效率的方法，混合专家（MoE）就是这类方法的一大重要成员。
华盛顿大学和Allen AI最近发表的论文提出了一种新颖有趣的数据合成方法。他们发现，充分利用LLM的自回归特性，可以引导模型自动生成高质量的指令微调数据。
基于评测维度，考虑到各评测集关注的评测维度，可以将其划分为通用评测基准和具体评测基准。
当今的LLM已经号称能够支持百万级别的上下文长度，这对于模型的能力来说，意义重大。但近日的两项独立研究表明，它们可能只是在吹牛，LLM实际上并不能理解这么长的内容。
Scaling Law还没走到尽头，「小模型」逐渐成为科技巨头们的追赶趋势。Meta最近发布的MobileLLM系列，规模甚至降低到了1B以下，两个版本分别只有125M和350M参数，但却实现了比更大规模模型更优的性能。
编码器模型哪去了？如果 BERT 效果好，那为什么不扩展它？编码器 - 解码器或仅编码器模型怎么样了？
如何让大模型更好的遵从人类指令和意图？如何让大模型有更好的推理能力？如何让大模型避免幻觉？能否解决这些问题，是让大模型真正广泛可用，甚至实现超级智能（Super Intelligence）最为关键的技术挑战。这些最困难的挑战也是吴翼团队长期以来的研究重点，大模型对齐技术（Alignment）所要攻克的难题。
前谷歌科学家Yi Tay重磅推出「LLM时代的模型架构」系列博客，首篇博文的话题关于：基于encoder-only架构的BERT是如何被基于encoder-decoder架构的T5所取代的，分析了BERT灭绝的始末以及不同架构模型的优缺点，以史为鉴，对于未来的创新具有重要意义。
最高端的大模型，往往需要最朴实的语言破解。来自EPFL机构研究人员发现，仅将一句有害请求，改写成过去时态，包括GPT-4o、Llama 3等大模型纷纷沦陷了。
著名AI学者、斯坦福大学教授吴恩达提出了AI Agent的四种设计方式后，Agentic Workflow（智能体工作流）立即火爆全球，多个行业都在实践智能体工作流的应用，并推动了新的Agentic AI探索热潮。