大模型“记性差一点”反而更聪明！金鱼损失随机剔除token，让AI不再死记硬背
大模型“记性差一点”反而更聪明！金鱼损失随机剔除token，让AI不再死记硬背训练大模型时，有时让它“记性差一点”，反而更聪明！
来自主题: AI技术研报
5920 点击 2025-09-04 11:09
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
训练大模型时，有时让它“记性差一点”，反而更聪明！
这几天，一篇关于向量嵌入（Vector Embeddings）局限性的论文在 AlphaXiv 上爆火，热度飙升到了近 9000。
在这场以大型语言模型（LLM）为核心的 AI 浪潮中，苹果似乎一直保持着低调，很少出现在技术报道的前沿。尽管如此，时不时地，该公司也能拿出一些非常亮眼的研究成果，比如能在 iPhone 上直接运行的高效视觉语言模型 FastVLM。
大语言模型通过 CoT 已具备强大的数学推理能力，而 Beam Search、DVTS 等测试时扩展（Test-Time Scaling, TTS）方法可通过分配额外计算资源进一步提升准确性。然而，现有方法存在两大关键缺陷：路径同质化（推理路径趋同）和中间结果利用不足（大量高质量推理分支被丢弃）。
最近，工业界“RAG已死”甚嚣尘上。过去几年，AI领域的主旋律是“规模定律”（Scaling Law），即更大的模型、更多的数据会带来更好的性能。即便偶然有瑕疵，也认为只是工程上的不足，并非数学上的不可能。
随着DeepSeek R1、Kimi K2和DeepSeek V3.1混合专家（MoE）模型的相继发布，它们已成为智能前沿领域大语言模型（LLM）的领先架构。由于其庞大的规模（1万亿参数及以上）和稀疏计算模式（每个token仅激活部分参数而非整个模型），MoE式LLM对推理工作负载提出了重大挑战，显著改变了底层的推理经济学。
机器人对可形变物体的操作（Deformable Object Manipulation, DOM），是衡量通用机器人智能水平的关键指标之一。与刚体操作不同，衣物、绳索、食物等物体的形态不固定，其状态空间维度极高，且物理交互过程呈现出复杂的非线性动力学特性，为感知、规划和控制带来了巨大挑战。
AI图像编辑技术发展迅猛，扩散模型凭借强大的生成能力，成为行业主流。 但这类模型在实际应用中始终面临两大难题：一是“牵一发而动全身”，即便只想修改一个细节，系统也可能影响到整个画面；二是生成速度缓慢，难以满足实时交互的需求。
覆盖桌面、移动和 Web，7B 模型超越同类开源选手，32B 模型挑战 GPT-4o 与 Claude 3.7，通义实验室全新 Mobile-Agent-v3 现已开源。
22-25岁初入职场的年轻人，就业率同比已经下降了13%，AI带来的就业冲击愈发严峻。一些老板们也开始冻结招聘，将AI能力不足的求职者直接拒之门外。AI造就的新形势迫使我们认真思考，哪些岗位是很难被AI取代的呢？