当 Transformer 席卷计算机视觉领域，高分辨率图像、超长序列任务带来的算力与显存瓶颈愈发凸显：标准 Softmax 注意力的二次复杂度，让 70K+token 的超分辨率任务直接显存爆炸，高分辨率图像分割、检测的推理延迟居高不下。
通用具身智能机器人公司「无界动力」宣布完成超2亿元天使+轮融资，老股东红杉中国、线性资本、高瓴创投、华业天成、中金资本旗下基金、BV百度风投持续追投，新增深创投、创新工场、普华资本、钧山资本、雅瑞资本等加入。
Transformer 已经改变了世界，但也并非完美，依然还是有竞争者，比如线性递归（Linear Recurrences）或状态空间模型（SSM）。这些新方法希望能够在保持模型质量的同时显著提升计算性能和效率。
对初创公司来说，Superlinear（指数引力）的第一个业务 Deeplink 堪称成功：去年成立，今年的 ARR（年经常性收入) 就达到 500 万美元；且已经实现盈利。但创始人于北川并不打算在这个业务上继续重点投入，而是带领核心团队，全力转向了一款新产品 Lessie AI。
屠榜开源大模型的MiniMax M2是怎样炼成的？为啥M1用了Linear Attention，到了M2又换成更传统的Full Attention了？ 面对现实任务，M2表现得非常扛打，在香港大学的AI-Trader模拟A股大赛中拿下了第一名，20天用10万本金赚了将近三千元。
月之暗面最新发布的开源Kimi Linear架构，用一种全新的注意力机制，在相同训练条件下首次超越了全注意力模型。在长上下文任务中，它不仅减少了75%的KV缓存需求，还实现了高达6倍的推理加速。
月之暗面在这一方向有所突破。在一篇新的技术报告中，他们提出了一种新的混合线性注意力架构 ——Kimi Linear。该架构在各种场景中都优于传统的全注意力方法，包括短文本、长文本以及强化学习的 scaling 机制。
企业软件开发商 Linear 本周宣布完成 8200 万美元 C 轮融资，本轮由 Accel 领投。该公司产品与 Atlassian 旗下多款产品存在竞争关系。
注意力机制的「平方枷锁」，再次被撬开！一招Fenwick树分段，用掩码矩阵，让注意力焕发对数级效率。更厉害的是，它无缝对接线性注意力家族，Mamba-2、DeltaNet 全员提速，跑分全面开花。长序列处理迈入log时代！
OpenAI 发论文的频率是越来越低了，如果你看到了一份来自 OpenAI 的新 PDF 文件，那多半也是新模型的系统卡或相关增补文件或基准测试，很少有新的研究论文。
