让大模型看懂「高亮标注」：在注意力计算前编辑Key向量，用频谱分解让模型「听你指挥」丨ICLR'26
让大模型看懂「高亮标注」：在注意力计算前编辑Key向量，用频谱分解让模型「听你指挥」丨ICLR'26想让大模型重点关注提示词里的某句话可没那么容易。
来自主题: AI技术研报
8908 点击 2026-03-31 14:07
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
搜索
想让大模型重点关注提示词里的某句话可没那么容易。
ICLR论文STEM架构率先提出「查表式记忆」架构，早于DeepSeek Engram三个月。它将Transformer的FFN从动态计算改为静态查表，用token索引的embedding表直接读取记忆，彻底解耦记忆容量与计算开销。
在生成式 AI 领域，视觉分词器（Visual Tokenizer）通常采用固定压缩率 —— 无论是单调的监控画面，还是复杂的动作大片，都被切分为等量的 Token。这种 "一刀切" 的做法不仅会造成巨大的计算冗余，也产生了 “信息量” 不同的 Token，不利于下游理解生成任务处理。
几何问题，真的只是“推理难”吗？
本文综合北京大学王选计算机研究所发布的 ProactiveVideoQA 和 MMDuet2 两篇论文，介绍视频多模态大模型如何实现 “主动交互”—— 在视频播放过程中自主决定何时发起回复，而非等待用户提问。ProactiveVideoQA 提出评估指标和 benchmark，MMDuet2 则通过强化学习训练方法实现了 SOTA 性能，无需精确的回复时间标注即可训练出及时、准确的主动交互模型。
当世界模型越来越大，真正制约它走向「内部模拟器」的，未必是表征能力，而可能是动力学建模。
ICLR'26新研究CPiRi打破时序预测僵局：用冻结底座提取时序特征，轻量模块专注学习通道间真实关系，不靠位置编码「背答案」。测试中通道乱序性能零波动，仅用25%数据即可泛化至全网络，真正实现鲁棒与精准双赢。
近期，基于捷径化概率流路径（shortcut probability flow trajectory）并从头训练的一步扩散生成模型，展现出强大的实证有效性。然而，这类方法的提出通常建立在较为复杂的理论推导之上，并且往往与具体实现细节高度耦合。这带来一个直接的问题：究竟哪些设计是方法成立的本质要素，哪些又只是可以灵活替换的实现组件。
苦于AI单字拼凑没行气，或是排版秒变“鬼画符”？
传统的 AI 购物助手更像是一个任务完成机器：接到指令，搜索，下单。他们或许能跑通流程，却完全无法理解用户为何在最后一刻因为一条关于 “夹耳朵” 的差评而放弃支付。简而言之，传统的电商 Agent 只是任务导向的（task-oriented），而不是模拟导向的（simulation-oriented）。为此，来自亚马逊（Amazon）的研究团队提出了名为 Shop-R1 的训练框架 。