80亿参数记性不如U盘：他算出了大模型记忆天花板
80亿参数记性不如U盘：他算出了大模型记忆天花板一个80亿参数的大模型，一口气吞下15万亿token的训练数据，堆到硬盘上差不多7TB。可它真正「背」得下来的，少得可怜：每个参数只装得下3.6 bit。一个英文字母8 bit，连半个都填不满。
来自主题: AI技术研报
8829 点击 2026-08-02 22:14
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
搜索
一个80亿参数的大模型，一口气吞下15万亿token的训练数据，堆到硬盘上差不多7TB。可它真正「背」得下来的，少得可怜：每个参数只装得下3.6 bit。一个英文字母8 bit，连半个都填不满。
近日，由清华大学深圳国际研究生院智能机器人实验室刘厚德教授领衔、王立博博士后担任 AI 首席研究员的大模型团队，正式发布了 VeriLoop Coder-E1—— 一款基于 Qwen3.6-27B 构建、面向仓库级代码修复与智能体式软件工程任务的开源垂类代码模型。
目前，这项技术已成功应用于上海人工智能实验室Intern-S2-Preview 35B/397B系列多模态大模型的预训练中，有效提升了模型的科学推理与多模态理解能力。值得一提的是，相关研发均基于国产昇腾算力平台完成，并成功实现了面向大规模预训练的深度适配与优化。
今日，华为开源基于昇腾NPU训练的盘古MoE模型openPangu-2.0-Pro。该模型是openPangu-2.0系列的最新开源模型，总参数规模5050亿，激活参数规模180亿，支持512K上下文长度，训练数据总量约34T tokens。另一轻量化模型openPangu-2.0-Flash已于6月12日开源，参数92亿，其中6亿为激活参数。
近日，米哈游创始人蔡浩宇久违地更新了自己的个人领英，新增了一条独立大模型+智能体开发者（Independent LLM+Agent Developer）的职业经历，时间从2026年7月开始，在新加坡混合办公。
7月几天之内，中国大模型行业接连出现了两个超过2万亿参数的模型。
长视频理解，正在成为多模态大模型的重要能力。
在刚刚落幕的2026 WAIC世界人工智能大会上，无问芯穹首次公布了其在大模型推理系统架构中的新突破——跨集群异构推理架构PDD。
三智一体不断演进，开启具身智能新未来。
据英国《金融时报》7 月 29 日报道，谷歌 DeepMind 已经重组了曾打造诺贝尔奖级成果 AlphaFold 的核心团队：不再保留独立的 AlphaFold 团队，而是将相关研究人员分流至多个战略项目。这一调整被视为 DeepMind 将重心进一步转向 Gemini 大模型和 AI Agent 的重要信号。