别再卷数据了，LLM也怕「过劳死」！CMU等揭秘灾难性过度训练
别再卷数据了，LLM也怕「过劳死」！CMU等揭秘灾难性过度训练颠覆LLM预训练认知：预训练token数越多，模型越难调！CMU、斯坦福、哈佛、普林斯顿等四大名校提出灾难性过度训练。
来自主题: AI技术研报
7369 点击 2025-05-03 15:40
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
颠覆LLM预训练认知：预训练token数越多，模型越难调！CMU、斯坦福、哈佛、普林斯顿等四大名校提出灾难性过度训练。
来自英伟达和UIUC的华人团队提出一种高效训练方法，将LLM上下文长度从128K扩展至惊人的400万token SOTA纪录！基于Llama3.1-Instruct打造的UltraLong-8B模型，不仅在长上下文基准测试中表现卓越，还在标准任务中保持顶尖竞争力。
多模态大模型（MLLMs）在视觉理解与推理等领域取得了显著成就。然而，随着解码（decoding）阶段不断生成新的 token，推理过程的计算复杂度和 GPU 显存占用逐渐增加，这导致了多模态大模型推理效率的降低。
自回归模型，首次生成2048×2048分辨率图像！来自Meta、西北大学、新加坡国立大学等机构的研究人员，专门为多模态大语言模型（MLLMs）设计的TokenShuffle，显著减少了计算中的视觉Token数量，提升效率并支持高分辨率图像合成。
复旦大学和美团的研究者们提出了UniToken——一种创新的统一视觉编码方案，在一个框架内兼顾了图文理解与图像生成任务，并在多个权威评测中取得了领先的性能表现。
上个月，OpenAI 在 ChatGPT 中引入了图像生成功能，广受欢迎：仅在第一周，全球就有超过 1.3 亿用户创建了超过 7 亿张图片。就在刚刚，OpenAI 又宣布了一个好消息：他们正式在 API 中推出驱动 ChatGPT 多模态体验的原生模型 ——gpt-image-1，让开发者和企业能够轻松将高质量、专业级的图像生成功能直接集成到自己的工具和平台中。
当 DeepSeek-R1、OpenAI o1 这样的大型推理模型还在通过增加推理时的计算量提升性能时，加州大学伯克利分校与艾伦人工智能研究所突然扔出了一颗深水炸弹：别再卷 token 了，无需显式思维链，推理模型也能实现高效且准确的推理。
今天凌晨，OpenAI 的新系列模型 GPT-4.1 如约而至。
就在刚刚，智谱一口气上线并开源了三大类最新的GLM模型：沉思模型GLM-Z1-Rumination 推理模型GLM-Z1-Air 基座模型GLM-4-Air-0414
开发Agent的工程师们都曾面临同一个棘手问题：当任务步骤增多，你的Agent就像患上"数字健忘症"，忘记之前做过什么，无法处理用户的修改请求，甚至在多轮对话中迷失自我。不仅用户体验受损，token开销也居高不下。TME树状记忆引擎通过结构化状态管理方案，彻底解决了这一痛点，让你的Agent像拥有完美记忆力的助手，在复杂任务中游刃有余，同时将token消耗降低26%。