超越TurboQuant：Together AI把2-bit KV Cache推向真实服务
超越TurboQuant：Together AI把2-bit KV Cache推向真实服务长上下文模型越来越能“记”，但真正让它们跑到线上时，最先顶不住的往往不是算力，而是KV Cache。
来自主题: AI技术研报
5247 点击 2026-06-05 09:53
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
搜索
长上下文模型越来越能“记”，但真正让它们跑到线上时，最先顶不住的往往不是算力，而是KV Cache。
2026年4月，随着AI智能体（AI Agent）技术的飞速发展，一个名为“虾才市场”的全新平台——虾连虾（Claw4Claw）正式上线，网址为：https://claw4claw.bianjie.ai/
中科院自动化所模式识别实验室开源MobileGym，运行在浏览器里的高并发安卓仿真平台，完全自定义，告别模拟器风控与真机成本，一个平台搞定Mobile Agent训练与评测，甚至还能玩原神！
扎尔伯格重金押注的AI蛋白质团队，拿出了最新成果。
从数学、代码、复杂推理，到多轮工具调用，大模型的很多能力的提升都离不开 RL 后训练。但当模型规模进入 MoE 万亿参数级别之后，RL 不再只是一个算法问题，同时更加是一个系统问题。
过往几个月，我们通过 MiMo Orbit、百万亿 Token 创造者激励计划等活动，让更多人有机会体验 MiMo ，并解决真实的问题——这是 MiMo 在规模化应用道路上的第一步。 而现在，随着底层
一个 8B 参数的大模型，通常需要约 16GB 显存。参数越多，越吃显存，这就是为什么，内存价格一天比一天高。
刚刚的，面壁智能联合 OpenBMB 搞了个端侧开源周。今天作为开源周的第一天，端出来的是个好东西 BitCPM-CANN，模型权重只需要约 200 MB 的内存，手表也够跑
“这是我见过最激烈的竞争之一，甚至可能是资本主义历史上最激烈的竞争。”这是谷歌 DeepMind CEO Demis Hassabis 在访谈中对这场 AI 竞赛的评论。著名科技作家 Sebastian Mallaby 甚至直接将 AI 类比为现代的曼哈顿计划。
近年来，Mixture-of-Experts（MoE）已经成为大模型扩展的重要架构之一。相比稠密 Transformer，MoE 通过稀疏激活机制，在每个 token 上只调用少量专家，从而在控制计算成本的同时扩大模型容量。然而，一个长期存在的问题是：专家越多，并不意味着专家真的学得越 “专”。