斯坦福新论文：微调已死，自主上下文当立
斯坦福新论文：微调已死，自主上下文当立来自斯坦福大学、SambaNova Systems公司和加州大学伯克利分校的研究人员，在新论文中证明：依靠上下文工程，无需调整任何权重，模型也能不断变聪明。他们提出的方法名为智能体上下文工程ACE。
来自主题: AI技术研报
6150 点击 2025-10-11 11:45
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
来自斯坦福大学、SambaNova Systems公司和加州大学伯克利分校的研究人员，在新论文中证明：依靠上下文工程，无需调整任何权重，模型也能不断变聪明。他们提出的方法名为智能体上下文工程ACE。
Thinking Machines Lab发布首个产品：Thinker，让模型微调变得像改Python代码一样简单。也算是终于摘掉了“0产品0收入估值840亿”的帽子。Tinker受到了业界的密切关注。AI基础设施公司Anyscale的CEO Robert Nishihara等beta测试者表示，尽管市面上有其他微调工具，但Tinker在“抽象化和可调性之间取得了卓越的平衡”
LoRA能否与全参微调性能相当？在Thinking Machines的最新论文中，他们研究了LoRA与FullFT达到相近表现的条件。Thinking Machines关注LoRA，旨在推动其更广泛地应用于各种按需定制的场景，同时也有助于我们更深入审视机器学习中的一些基本问题。
为破解机器人产业「一机一调」的开发困境，智源研究院开源了通用「小脑基座」RoboBrain-X0。它创新地学习任务「做什么」而非「怎么动」，让一个预训练模型无需微调，即可驱动多种不同构造的真实机器人，真正实现了零样本跨本体泛化。
我想聊个反向操作：咱们普通人，如何用有限的资源，轻松驯服一个 AI 模型，让它变成我们专属的垂直领域小能手？主角，就是最近华为刚刚开源的一个大小仅为 1B 的模型 openPangu-Embedded-1B，它不仅全面领先同规格模型，甚至与更大规模的 Qwen3-1.7B 也难分伯仲。
打破思维惯性，「小模型」也能安全又强大！北大-360联合实验室发布TinyR1-32B模型，以仅20k数据的微调，实现了安全性能的里程碑式突破，并兼顾出色的推理与通用能力。
监督微调（SFT）和强化学习（RL）微调是大模型后训练常见的两种手段。通过强化学习微调大模型在众多 NLP 场景都取得了较好的进展，但是在文本分类场景，强化学习未取得较大的进展，其表现往往不如监督学习。
LeCun 这次不是批评 LLM，而是亲自改造。当前 LLM 的训练（包括预训练、微调和评估）主要依赖于在「输入空间」进行重构与生成，例如预测下一个词。 而在 CV 领域，基于「嵌入空间」的训练目标，如联合嵌入预测架构（JEPA），已被证明远优于在输入空间操作的同类方法。
9 月 16 日，OpenAI 正式推出一款新模型 GPT-5-Codex ，这是一个经过微调的 GPT-5 变体，专门为其各种 AI 辅助编程工具而设计。该公司表示，新模型 GPT-5-Codex 的“思考”时间比之前的模型更加动态，完成一项编码任务所需的时间从几秒到七个小时不等。因此，它在代理编码基准测试中表现更佳。
上下文学习”（In-Context Learning，ICL），是大模型不需要微调（fine-tuning），仅通过分析在提示词中给出的几个范例，就能解决当前任务的能力。您可能已经对这个场景再熟悉不过了：您在提示词里扔进去几个例子，然后，哇！大模型似乎瞬间就学会了一项新技能，表现得像个天才。