ICML 2025 | 如何在合成文本数据时避免模型崩溃？
ICML 2025 | 如何在合成文本数据时避免模型崩溃？随着生成式人工智能技术的飞速发展，合成数据正日益成为大模型训练的重要组成部分。未来的 GPT 系列语言模型不可避免地将依赖于由人工数据和合成数据混合构成的大规模语料。
来自主题: AI技术研报
8365 点击 2025-05-14 14:04
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
随着生成式人工智能技术的飞速发展，合成数据正日益成为大模型训练的重要组成部分。未来的 GPT 系列语言模型不可避免地将依赖于由人工数据和合成数据混合构成的大规模语料。
近日，上海人工智能实验室（上海 AI 实验室）开源了生成式世界模型 AETHER。该模型全部由合成数据训练而成，不仅在传统重建与生成任务中表现领先，更首次赋予大模型在真实世界中的 3D 空间决策与规划能力，
具身智能的突破离不开高质量数据。目前，具身合成数据有两条主要技术路线之争：“视频合成+3D重建”or “端到端3D生成”。英伟达在CES 2025指出“尚无互联网规模的机器人数据”，自动驾驶已具备城市级仿真，但家庭等复杂室内环境缺乏3D合成平台。
虽然扩散模型在视频生成领域展现出了卓越的性能，但是视频扩散模型通常需要大量的推理步骤对高斯噪声进行去噪才能生成一个视频。这个过程既耗时又耗计算资源。例如，HunyuanVideo [1] 需要 3234 秒才能在单张 A100 上生成 5 秒、720×1280、24fps 的视频。
本文主要描述了具身合成数据两条主要技术路线之争：“视频合成+3D重建”or “端到端3D生成”。参考自动驾驶的成功经验，前者模态转换链路过长导致误差累积，'直接合成3D数据'理论上有信息效率优势，但需要克服“常识欠缺”等挑战。
智源联手多所顶尖高校发布的多模态向量模型BGE-VL，重塑了AI检索领域的游戏规则。它凭借独创的MegaPairs合成数据技术，在图文检索、组合图像检索等多项任务中，横扫各大基准刷新SOTA。
仅使用20K合成数据，就能让Qwen模型能力飙升——
本月，OpenAI科学家就当前LLM的scaling方法论能否实现AGI话题展开深入辩论，认为将来AI至少与人类平分秋色；LLM scaling目前的问题可以通过后训练、强化学习、合成数据、智能体协作等方法得到解决；按现在的趋势估计，明年LLM就能赢得IMO金牌。
我们将讨论的不仅仅是哪个超级大国会胜出，而是哪个国家的AI系统会成为全球基础设施的基石，能够被广泛采用和输出。
微软下一代14B小模型Phi-4出世了！仅用了40%合成数据，在数学性能上击败了GPT-4o，最新36页技术报告出炉。