Mamba核心作者新作：取代DeepSeek在用的注意力机制，专为推理打造
Mamba核心作者新作：取代DeepSeek在用的注意力机制，专为推理打造曾撼动Transformer统治地位的Mamba作者之一Tri Dao，刚刚带来新作——提出两种专为推理“量身定制”的注意力机制。
来自主题: AI技术研报
6568 点击 2025-06-02 15:04
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
搜索
曾撼动Transformer统治地位的Mamba作者之一Tri Dao，刚刚带来新作——提出两种专为推理“量身定制”的注意力机制。
数据枯竭正成为AI发展的新瓶颈！CMU团队提出革命性方案SRT：让LLM实现无需人类标注的自我进化！SRT初期就能迭代提升数学与推理能力，甚至性能逼近传统强化学习的效果，揭示了其颠覆性潜力。
近段时间，已经出现了不少基于扩散模型的语言模型，而现在，基于扩散模型的视觉-语言模型（VLM）也来了，即能够联合处理视觉和文本信息的模型。今天我们介绍的这个名叫 LaViDa，继承了扩散语言模型高速且可控的优点，并在实验中取得了相当不错的表现。
来自香港中文大学、爱丁堡大学、香港科技大学与华为爱丁堡研究中心的研究团队联合发布了一项关于AI记忆机制的系统性综述，旨在在大模型时代背景下，重新审视并系统化理解智能体的记忆构建与演化路径。
研究者针对 few-shot 图像编辑提出一个新的自回归模型结构 ——InstaManip，并创新性地提出分组自注意力机制（group self-attention），在此任务上取得了优异的效果。
本想练练手合成点数据，没想到却一不小心干翻了PyTorch专家内核！斯坦福华人团队用纯CUDA-C写出的AI生成内核，瞬间惊艳圈内并登上Hacker News热榜。团队甚至表示：本来不想发这个结果的。
给AI生成的作品打水印，让AIGC图像可溯源，已经成为行业共识。
当状态空间模型遇上扩散模型，对世界模型意味着什么？
为提升大模型“推理+搜索”能力，阿里通义实验室出手了。
孙子兵法有云：“故其疾如风，其徐如林”，意指在行进迅速时，如狂风飞旋；而在行进从容时，如森林徐徐展开。