80亿参数记性不如U盘:他算出了大模型记忆天花板
80亿参数记性不如U盘:他算出了大模型记忆天花板一个80亿参数的大模型,一口气吞下15万亿token的训练数据,堆到硬盘上差不多7TB。可它真正「背」得下来的,少得可怜:每个参数只装得下3.6 bit。一个英文字母8 bit,连半个都填不满。
搜索
一个80亿参数的大模型,一口气吞下15万亿token的训练数据,堆到硬盘上差不多7TB。可它真正「背」得下来的,少得可怜:每个参数只装得下3.6 bit。一个英文字母8 bit,连半个都填不满。
4月21-22日北京站将正式举行~
开年,DeepSeek论文火遍全网,内容聚焦大模型记忆。
AI爬取数据规模可提升5000倍。
提高大模型记忆这块儿,美国大模型开源王者——英伟达也出招了。
多模态推理又有新招,大模型“记不住教训”的毛病有治了。
Mem-α 的出现,正是为了解决这一困境。由加州大学圣地亚哥分校的 Yu Wang 在 Anuttacon 实习期间完成,这项工作是首次将强化学习引入大模型的记忆管理体系,让模型能够自主学习如何使用工具去存储、更新和组织记忆。
下一代通用人工智能的基石:大模型记忆机制。今年的WAIC,依旧火爆。 闷热的上海、拥挤的展台、扎堆的AI大模型——这些都是历年WAIC的常态,但今年有些变化。
超长上下文窗口的大模型也会经常「失忆」,「记忆」也是需要管理的。
大模型记忆管理和优化框架是当前各大厂商争相优化的热点方向,MemOS 相比现有 OpenAI 的全局记忆在大模型记忆评测集上呈现出显著的提升,平均准确性提升超过 38.97%,Tokens 的开销进一步降低 60.95%,一举登顶记忆管理的 SOTA 框架,特别是在考验框架时序建模与检索能力的时序推理任务上,提升比例更是达到了 159%,相当震撼!