单一作者论文，谷歌提出百万专家Mixture，超越密集前馈、稀疏MoE
单一作者论文，谷歌提出百万专家Mixture，超越密集前馈、稀疏MoE释放进一步扩展 Transformer 的潜力，同时还可以保持计算效率。
来自主题: AI技术研报
9709 点击 2024-07-10 18:39
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
释放进一步扩展 Transformer 的潜力，同时还可以保持计算效率。
神经网络拟合数据的能力受哪些因素影响？CNN一定比Transformer差吗？ReLU和SGD还有哪些神奇的作用？近日，LeCun参与的一项工作向我们展示了神经网络在实践中的灵活性。
下一代视觉模型会摒弃patch吗？Meta AI最近发表的一篇论文就质疑了视觉模型中局部关系的必要性。他们提出了PiT架构，让Transformer直接学习单个像素而不是16×16的patch，结果在多个下游任务中取得了全面超越ViT模型的性能。
超越Transformer和Mamba的新架构，刚刚诞生了。斯坦福UCSD等机构研究者提出的TTT方法，直接替代了注意力机制，语言模型方法从此或将彻底改变。
新架构，再次向Transformer发起挑战！
只要将注意力切块，就能让大模型解码提速20倍。
糖类是自然界中最丰富的有机物质，对生命至关重要。了解糖类如何在生理和病理过程中调节蛋白质，可以为解决关键的生物学问题和开发新的治疗方法提供机遇。
文章第一作者为来自北京大学物理学院、即将加入人工智能研究院读博的胡逸。胡逸的导师为北京大学人工智能研究院助理教授、北京通用人工智能研究院研究员张牧涵，主要研究方向为图机器学习和大模型的推理和微调。
AI芯片的创新从未停止。
上下文学习 (in-context learning, 简写为 ICL) 已经在很多 LLM 有关的应用中展现了强大的能力，但是对其理论的分析仍然比较有限。人们依然试图理解为什么基于 Transformer 架构的 LLM 可以展现出 ICL 的能力。