多模态大模型中Attention机制暗藏「骗局」，需用一个公式修正丨上大×南开
多模态大模型中Attention机制暗藏「骗局」，需用一个公式修正丨上大×南开Attention真的可靠吗？
来自主题: AI技术研报
7810 点击 2026-01-27 16:17
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
Attention真的可靠吗？
在 LLM 时代，思维链（ CoT）已成为解锁模型复杂推理能力的关键钥匙。然而，CoT 的冗长问题一直困扰着研究者——中间推理步骤和解码操作带来了巨大的计算开销和显存占用，严重制约了模型的推理效率。
大模型持续学习，又有新进展！
这一框架可用于集成额外文本、语音和视觉等多种模态。
思维导图曾被证明可以帮助学习障碍者快速提升成绩，那么当前已经可堪一用的智能体系统如果引入类似工具是否可以帮助改善长期学习记忆能力呢？有研究团队做出了探索性尝试。
近日，北京大学朱毅鑫教授课题组、北京大学毕彦超教授课题组和山西医科大学第一医院王效春团队通过结合 AI 模型和大脑损伤患者的数据，发现语言其实是一副无形的智能眼镜，时刻在悄悄修饰着我们看到的世界。我们可能以为视觉就是眼睛看到什么就是什么，但是这项成果说明了视觉从来都不是孤立的。事实上，当我们在看图片的时候，其实不只是在看，而是在进行被语言调制过的看。
这两天，我的朋友圈被一个东西刷屏了，叫 Clawbot 🦞。
“DeepSeek-V3是在Mistral提出的架构上构建的。”
过去两年，大模型的推理能力出现了一次明显的跃迁。在数学、逻辑、多步规划等复杂任务上，推理模型如 OpenAI 的 o 系列、DeepSeek-R1、QwQ-32B，开始稳定拉开与传统指令微调模型的差距。直观来看，它们似乎只是思考得更久了：更长的 Chain-of-Thought、更高的 test-time compute，成为最常被引用的解释。
100%是用Codex写的。还有内部爆料说，Codex让他们仅用三天时间就搭出了服务器，三周就发布了APP。人类程序员，真的要退出历史舞台了？
你的童年我的童年好像不一样。
我一直有一个习惯，就每天都会刷 Twitter。倒也不是为了打发时间，而是因为在 AI 这个领域，Twitter 几乎是最前沿的信息源。新论文、新产品、行业八卦、技术突破，很多时候，等中文媒体跟进报道，已经是三五天后的事了。
斯坦福与英伟达联合发布重磅论文 TTT-Discover，打破「模型训练完即定型」的铁律。它让 AI 在推理阶段针对特定难题「现场长脑子」，不惜花费数百美元算力，只为求得一次打破纪录的极值。从重写数学猜想到碾压人类代码速度，这种「激进进化」正在重新定义机器发现的边界。
近年来多模态大模型在视觉感知，长视频问答等方面涌现出了强劲的性能，但是这种跨模态融合也带来了巨大的计算成本。高分辨率图像和长视频会产生成千上万个视觉 token ，带来极高的显存占用和延迟，限制了模型的可扩展性和本地部署。
2026 年才开始，全球 AI 行业就迎来了第一个开年王炸。不是来自某个更大的模型参数，不是某家实验室刷新了榜单分数，而是一个看似不起眼、却迅速破圈的概念——Agent Skill。
在长期以来的 AI 研究版图中，具身智能虽然在机器人操作、自动化系统与现实应用中至关重要，却常被视为「系统工程驱动」的研究方向，鲜少被认为能够在 AI 核心建模范式上产生决定性影响。
大家好，我是最近天天折腾CLI Agent的袋鼠帝。 一周前，我给大家安利了一款Claude Code的最强开源对手：OpenCode，没想到文章发出去后反响这么热烈，不管是阅读量还是评论都非常多。刚好，前几天我看到腾讯的CodeBuddy Code重磅升级到了2.0版本。说实话，CodeBuddy Code我有用过，基本完全复刻Claude Code，之前还帮我开发了好几个小工具，很实用。
面对琳琅满目的Deep Research Agent（深度研究智能体），究竟该如何选型？本文基于OSU与Amazon最新发布的MMDR-Bench论文，为您提供一份经过严谨科学验证的“避坑指南”。结论先行：综合任务首选谷歌Gemini Deep Research，而涉及计算机科学与数据结构的硬核任务，GPT-5.2依然是专家首选。
一个曾被Cursor官方盖章认定的全球前0.01%顶级玩家，却在Claude Code 2.0发布后果断「倒戈」！这不只是换工具，而是底层的游戏规则已经悄悄换了。
在向量数据库的工程实践中，处理多模态数据，特别是结合地理位置（LBS）与非结构化语义数据，一直是一个复杂的架构挑战。
随着大语言模型加速迈向多模态与智能体形态，传统以单一维度为主的安全评估体系已难以覆盖真实世界中的复杂风险图景。在模型能力持续跃升的 2026 年，开发者与用户也愈发关注一个核心问题：前沿大模型的安全性，到底如何？
复旦大学、上海创智学院与新加坡国立大学联合推出首个全模态未来预测评测基准 FutureOmni，要求模型从音频 - 视觉线索中预测未来事件，实现跨模态因果和时间推理。
IDEA研究院张磊团队与香港科技大学谭平团队联合推出SceneMaker框架，有望攻克这一问题。 它以视启未来的万物检测模型DINO-X与光影焕像的万物3D生成模型Triverse为基础，实现了从任意开放世界图像（室内/室外/合成图等）到带Mesh的3D场景的完整重建。
上篇文章别把整个 GitHub 装进 Skills，Skills 的正确用法发出去后，收到一些质疑：“说 skill 能做配图 prompt 不行。本来 skill 就是加载 md，没 skill 之前我们用 prompt 模板照样也是能做流程编排。” “现在大部分 skill 不就是长一点的提示词吗？为什么说'单纯靠提示词做不了'？”
这篇《Skills 的最正确用法，是将整个 Github 压缩成你自己的超级技能库》绝对是一篇绝佳的入门指南，但也要注意：这种用法，还当不起“最”正确用法。 我不是来抬杠的，而是想聊聊：怎么更好地使用
最近，移动应用数据分析商 Sensor Tower 发布了一份《State of Mobile 2026》。AI 应用的增长不但没有减速，反而更快了。AI 应用的下载量翻倍，达到 38 亿次；IAP 收入增长超过三倍，突破 50 亿美元；
编辑｜Panda 在文生图模型的技术版图中，VAE 几乎已经成为共识。从 Stable Diffusion 到 FLUX，再到一系列扩散 Transformer，主流路线高度一致：先用 VAE 压缩视
这篇新论文提出了一种非常简单的新激活层 Derf（Dynamic erf），让「无归一化（Normalization-Free）」的 Transformer 不仅能稳定训练，还在多个设置下性能超过了带 LayerNorm 的标准 Transformer。
上海交通大学、波恩大学等院校的研究团队全面总结了当前机器人技术中常用的场景表示方法。这些方法包括传统的点云、体素栅格、符号距离函数以及场景图等传统几何表示方式，同时也涵盖了最新的神经网络表示技术，如神经辐射场、3D 高斯散布模型以及新兴的 3D 基础模型。
谷歌 DeepMind 发布 D4RT，彻底颠覆了动态 4D 重建范式。它抛弃了复杂的传统流水线，用一个统一的「时空查询」接口，同时搞定全像素追踪、深度估计与相机位姿。不仅精度屠榜，速度更比现有 SOTA 快出 300 倍。这是具身智能与自动驾驶以及 AR 的新基石，AI 终于能像人类一样，实时看懂这个流动的世界。