不用额外缓存！英伟达开源大模型记忆压缩方案，128K上下文提速2.7倍
不用额外缓存！英伟达开源大模型记忆压缩方案，128K上下文提速2.7倍提高大模型记忆这块儿，美国大模型开源王者——英伟达也出招了。
来自主题: AI技术研报
8293 点击 2026-01-14 15:29
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
提高大模型记忆这块儿，美国大模型开源王者——英伟达也出招了。
在 AI 辅助 Coding 技术快速发展的背景下，大语言模型（LLMs）虽显著提升了软件开发效率，但开源的 LLMs 生成的代码依旧存在运行时错误，增加了开发者调试成本。
站在 2026 年的开端回望，LLM 的架构之争似乎进入了一个新的微妙阶段。过去几年，Transformer 架构以绝对的统治力横扫了人工智能领域，但随着算力成本的博弈和对推理效率的极致追求，挑战者们从未停止过脚步。
如果说 2024 年我们还在惊叹于 AI 能写代码、能画图，那么 2025 年的关键词一定是：Agent（智能体）。
今天DeepSeek又发表了一篇论文，让AI解读，仔细读完，觉得很牛逼。
从ChatGPT爆火以后，就总有“AI太牛了，自己是不是要失业了”等等类似的声音出现。
2025 年，AI 智能体“跨过了鸿沟”，开始被更广泛、务实的用户群体采用，不再只是少数发烧友或愿景家在用。
还在看国内自媒体“二传手”的资讯？
哈喽，大家好，我是刘小排。 使用Claude Code最大的痛点是什么？其实不是贵，而是封号。因为就算使用Claude Max Plan 每月$200美金，虽然看上去贵，但是一个月能轻松用上价值数千美金甚至上万美金的token，是很便宜的。
过去几十年里，科学计算领域积累了数量空前的开源软件工具。
假如你是一个致力于将 AI 引入传统行业的工程团队。现在，你有一个问题：训练一个能看懂复杂机械图纸、设备维护手册或金融研报图表的多模态助手。这个助手不仅要能专业陪聊，更要能精准地识别图纸上的零件标注，或者从密密麻麻的财报截图中提取关键数据。
故事得从我们那个行业交流群说起。
“软工任务要改多文件、多轮工具调用，模型怎么学透？高质量训练数据稀缺，又怕轨迹含噪声作弊？复杂 RL 训练成本高，中小团队望而却步？”
近年来，视频扩散模型在 “真实感、动态性、可控性” 上进展飞快，但它们大多仍停留在纯 RGB 空间。模型能生成好看的视频，却缺少对三维几何的显式建模。这让许多世界模型（world model）导向的应用（空间推理、具身智能、机器人、自动驾驶仿真等）难以落地，因为这些任务不仅需要像素，还需要完整地模拟 4D 世界。
深夜，梁文锋署名的DeepSeek新论文又来了。这一次，他们提出全新的Engram模块，解决了Transformer的记忆难题，让模型容量不再靠堆参数！
256K文本预加载提速超50%，还解锁了1M上下文窗口。
爆火神经网络架构KAN一作，毕业新去向已获清华官网认证： 刘子鸣，拟于今年9月加入清华大学人工智能学院，任助理教授。
上个月我和黄叔在视频号连麦，顺手注册了这个公众号。说实话，当时心里没底，也就是抱着试一试的心态。
现有的视觉大模型普遍存在「语义-几何鸿沟」（Semantic-to-Geometric Gap），不仅分不清东南西北，更难以处理精确的空间量化任务。例如问「你坐在沙发上时，餐桌在你的哪一侧？」，VLM 常常答错。
如果你在做 AI Agent 开发，大概率已经发现一件事： Agent 几乎是传统软件测试方法的反例。
在文章开始前，请您先打开Claude code，输入/skill，检查一下您的Claude code有多少个skills？是20个？50个？还是已经突破了100个？自从Anthropic推广Agent Skills以来，我们都爱上了这种“即插即用”的模块化体验。它把臃肿的多智能体编排（MAS）变成了一组优雅的Markdown文件调用，让API账单和延迟同时暴跌了50%以上。
企业级场景中，无论是做RAG还是agent，我们都会面临一个问题：出于数据隐私以及合规要求，数据必须保留在本地。但传统的本地存储方案往往存在数据隔离性差、崩溃易丢数据、配置管理混乱、操作不可撤销等问题。
2024 年底，硅谷和北京的茶水间里都在讨论同一个令人不安的话题：Scaling Law 似乎正在撞墙。
短视频搜索业务是向量检索在工业界最核心的应用场景之一。然而，当前业界普遍采用的「自强化」训练范式过度依赖历史点击数据，导致系统陷入信息茧房，难以召回潜在相关的新鲜内容。
过去一年，大模型在语言与文本推理上突飞猛进：论文能写、难题能解、甚至在顶级学术 / 竞赛类题目上屡屡刷新上限。但一个更关键的问题是：当问题不再能 “用语言说清楚” 时，模型还能不能 “看懂”？
事情开始变得有趣起来了。
想象一下，一群 AI 程序在一台虚拟计算机里相互猎杀，目标只有一个：生存。
小模型身上的“秘密”这下算是被扒光了！
大模型能写代码、解奥数，却连幼儿园小班都考不过？简单的连线找垃圾桶、数积木，人类一眼即知，AI却因为无法用语言「描述」视觉信息而集体翻车。大模型到底「懂不懂」，这个评测基准给出答案。
Deepmind推出的SIMA 2，让智能体能在虚拟环境（商业游戏）中，边聊天边进行复杂的多模态推理。作为具身通用智能的原型，SIMA 2已从静态数据集迈向无限程序化生成的训练场。