Multi-Token突破注意力机制瓶颈，Meta发明了一种很新的Transformer
Multi-Token突破注意力机制瓶颈，Meta发明了一种很新的TransformerAttention 还在卷自己。
来自主题: AI技术研报
7262 点击 2025-04-05 14:17
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
Attention 还在卷自己。
简单的任务，传统的Transformer却错误率极高。Meta FAIR团队重磅推出多token注意力机制（MTA），精准捕捉复杂信息，带来模型性能飞升！
DeepMind内部研究要「封箱」了！为保谷歌在AI竞赛领先优势，生成式AI相关论文设定6个月禁发期。不仅如此，创新成果不发，Gemini短板不提。
「仅需一次前向推理，即可预测相机参数、深度图、点云与 3D 轨迹 ——VGGT 如何重新定义 3D 视觉？」
在过去的一两年中，Transformer 架构不断面临来自新兴架构的挑战。
首个基于混合Mamba架构的超大型推理模型来了！就在刚刚，腾讯宣布推出自研深度思考模型混元T1正式版，并同步在腾讯云官网上线。对标o1、DeepSeek R1之外，值得关注的是，混元T1正式版采用的是Hybrid-Mamba-Transformer融合模式——
谷歌团队发现了全新Scaling Law！新方法DiLoCo被证明更好、更快、更强，可在多个数据中心训练越来越大的LLM。
何恺明LeCun联手：Transformer不要归一化了，论文已入选CVPR2025。
Transformer架构迎来历史性突破！刚刚，何恺明LeCun、清华姚班刘壮联手，用9行代码砍掉了Transformer「标配」归一化层，创造了性能不减反增的奇迹。
TimeDistill通过知识蒸馏，将复杂模型（如Transformer和CNN）的预测能力迁移到轻量级的MLP模型中，专注于提取多尺度和多周期模式，显著提升MLP的预测精度，同时保持高效计算能力，为时序预测提供了一种高效且精准的解决方案。