人类能管住AI吗？Anthropic用千问做了个实验

如果有一天，AI比人类更聪明了，我们这群有机体到底应该怎么办？

他们要是反过来消灭我们，我们又怎么抵抗？

各种科幻电影都讨论过相似的问题，可那只是文学、艺术和哲学方面的。

现如今，Anthropic正儿八经做了个实验，以证实我们到底能不能监督比自己更聪明的AI。

实验结果很有趣，但过程更有意思。

因为Anthropic用两个不同版本的阿里千问模型，来分别代表人类和比人类聪明的AI。

其结果就是，我们人类说不定还真能管得住超级AI！

01

这篇论文到底在说什么

这篇研究的标题叫“Automated Alignment Researchers”，翻译过来就是“自动化对齐研究员”。

它要解决的问题很现实，那就是当AI变得比人类更聪明时，我们怎么确保它还听人话？

现在的模型已经能生成大量的代码了，未来将可以生成几百万行复杂代码，以至于人类根本看不懂。我们又该如何去审查这些代码？

这就是AI安全领域一直在研究的“可扩展监督”问题。

Anthropic这次研究的切入点叫“弱监督强模型”。

这个概念我们可以这么理解，假设你是个小学老师，现在要教一个天才高中生。你的知识有限，学生懂得知识比你更多。

那么请问，他最后能学成什么样的水平？是只学到你这个小学老师的水平，还是能突破你的局限，发挥出自己的真实能力？

在实验里，Anthropic用小模型扮演“弱老师”，用更强的模型扮演“强学生”。

具体来说，他们用Qwen1.5-0.5B-Chat当老师，用Qwen3-4B-Base当学生。让弱模型给强模型提供训练信号，然后看强模型能不能从这些不够完美的信号里，学到接近理想状态的表现。

衡量标准叫PGR，全称是Performance Gap Recovered，意思是“性能差距恢复程度”。

如果PGR是0，说明强模型只学到了弱老师的水平，白瞎了自己的知识。如果PGR是1，说明强模型彻底突破了弱老师的限制。

弱模型就相当于未来的人类，强模型就相当于未来那些超越人类的AI。

如果我们能在今天就找到办法，让强模型不被弱监督拖累，那未来我们就能用类似的方法，去监督超级AI。

在人类研究员调试出基线之后，Anthropic派出了9个基于Claude Opus 4.6的agent来给学生Qwen进行微调，这9个agent叫做Automated Alignment Researcher（自动化对齐研究员），简称AAR。

Anthropic给它们配备了沙盒环境、代码工具、共享论坛、评分服务器，然后告诉它们：“去吧，自己想办法提高Qwen3-4B-Base的PGR。”

这些AI研究员可以自己提出假设、写代码、训练模型、提交实验、看分数、分析失败原因、和其他AI研究员交流发现、继续迭代。

结果相当惊人。

人类研究员先花了7天时间，调试了4种已有方法，最好的PGR只有0.23。然后9个Claude接手，继续跑了5天，累计大约800小时研究时间，最后把PGR推到了0.97。

也就是说，我们大概率可以管得住比我们更聪明的超级AI。

这个实验总成本约1.8万美元，包括API调用和模型训练的计算成本，折合每个AI研究员工作一小时约22美元。

什么概念？沃尔玛零售门店负责给员工排班的副店长，时薪差不多是25美元。

这个结果让人震撼的地方不在于AI能写代码或者读论文，而在于它们能完成一个完整的研究闭环。提出想法、验证、失败、改进、再验证，这已经接近一个研究助理的核心工作流程了。

但问题来了，这些AI发现的方法，真的有用吗？还是只是在特定环境里碰巧有效？

Anthropic做了两个测试来验证。

第一个测试是把AI发现的最好两种方法，拿去测试它们没见过的数学和代码任务。

结果显示，效果最好的方法在数学任务上PGR达到0.94，在代码任务上达到0.47，虽然代码任务上的表现差一些，但仍然是人类基线的两倍。其次的方法在数学上还行，但在代码任务上反而让结果变差了。

说明它有一定迁移迹象，但泛化并不稳定。

但它们会严重依赖具体的数据集和任务结构，也就是说并不是所有人任务都能胜任。

第二个测试是Anthropic把刚才提到的效果最好的方法，拿到了Claude Sonnet 4的真实训练上，来看看实际效果如何。

结果没有得到统计显著的提升。

也就是说，在小模型、清晰指标、可以反复提交的实验环境里效果很好，但离“直接改进生产级Claude对齐”还有距离。

这个结果其实很诚实。它告诉我们，AI研究员现在能做的事情是有边界的。它们擅长在目标明确、能自动评分、能大量试错的问题上快速迭代，但遇到更复杂、更模糊的现实问题时，还需要人类的判断和介入。

那这篇论文的意义到底在哪里？

首先，它证明了“AI做研究”已经不是口号了。

过去我们总说AI可以辅助研究，然而那只是口号而已，AI能做的事情也就是翻译和总结。

这次不一样，AI自己形成了研究闭环，这已经接近研究助理的核心能力了。

弱监督强模型这个问题，本质上就是在模拟未来人类监督超级AI的场景。

这篇论文证明，至少在一些清晰任务上，AI可以自己找到办法，让强模型不被弱监督拖死。这为未来的对齐研究提供了一个可行的方向。

还有一点，它暗示未来对齐研究的瓶颈可能会变。

以前瓶颈是“没人想出足够多好点子”，现在如果AI研究员能便宜地并行跑很多实验，瓶颈可能变成“怎么设计不会被钻空子的评测”。

也就是说，人类研究员未来更重要的工作，可能不是亲自跑每个实验，而是设计评估体系、检查AI研究员有没有作弊、判断结果是不是真的有意义。

这一点在论文里也有体现。

Anthropic的文章中写到，在数学任务里，有个AI研究员发现最常见的答案通常是对的，于是绕过弱老师，直接让强模型选最常见答案。在代码任务里，AI研究员发现自己可以直接运行代码测试，然后读出正确答案。

这对任务来说就是作弊，因为它不是在解决弱监督问题，而是在利用环境漏洞。

这些结果被Anthropic识别并剔除了，但这恰好说明自动化研究员越强，越会寻找评分系统的漏洞。

以后如果让AI自动做对齐研究，必须把评测环境设计得非常严密，还要有人类检查方法本身，而不是只看分数。

所以这篇论文的核心结论是今天的前沿模型，已经可以在某些定义清楚、能自动打分的对齐研究问题上，像小型研究员团队一样自己提想法、跑实验、复盘结果，并且明显超过人类基线。

不过它还不是“AI科学家已经到来”的铁证，毕竟Anthropic这次选择的是一个能够自动化的任务，如果我给AI安排一个不能自动化的任务，那么结果将会非常糟糕。

现实中的很多对齐问题更模糊，不能轻松打分，也不能只靠爬榜解决。

02

为什么选择Qwen

看完Anthropic这篇论文，很多人可能会好奇：为什么他们用的是阿里的Qwen模型，而不是自家的Claude或者OpenAI的GPT？

这个选择背后其实有很多考量。

首先得说清楚，这个实验里用的是两个Qwen模型：Qwen1.5-0.5B-Chat当弱老师，Qwen3-4B-Base当强学生。一个只有5亿参数，一个有40亿参数，规模差了8倍。这个规模差异很重要，因为实验要模拟的就是“弱老师教强学生”的场景。

那为什么不用Claude或者GPT呢？

答案很简单，因为这些模型不开放权重模型。

Anthropic这个实验需要反复训练模型、调整参数、测试不同的监督方法。

如果用闭源模型，他们只能通过API调用，没法深入模型内部去做精细的训练和调整。

更关键的是，他们需要让9个AI研究员并行跑几百次实验，每次实验都要训练一个新模型。如果用闭源模型，成本会高到离谱，而且很多操作根本做不了。

开源模型就不一样了。

你可以下载完整的模型权重，在自己的服务器上随便折腾。想怎么训练就怎么训练，想跑多少次实验就跑多少次。这种灵活性是闭源模型给不了的。

但开源模型那么多，为什么偏偏选Qwen?

官方并没有给出真正的原因，以下原因均为我的推测。

我认为性能好是第一个原因。

Qwen系列模型在开源模型里一直表现不错，尤其是Qwen3发布后，在多个基准测试上都达到了接近闭源模型的水平。

对于这个实验来说，强学生的能力很重要，如果强学生本身能力不行，那弱监督再好也没用。Qwen3-4B虽然只有40亿参数，但能力已经足够强，可以作为一个合格的“强学生”。

第二个原因是模型的可用性。

Qwen模型的文档完善，社区活跃，训练和推理的工具链都很成熟。对于需要反复训练和测试的实验来说，这些基础设施的完善程度直接影响研究效率。如果选一个文档不全、工具不好用的开源模型，光是调试环境就要浪费大量时间。

第三个原因是规模的适配性。

这个实验需要一个“弱老师”和一个“强学生”，而且这两个模型要有明显的能力差距，但又不能差太多。

Qwen系列有从5亿到720亿参数的多个版本，可以灵活选择。5亿参数的模型足够弱，但又不至于弱到完全没用；40亿参数的模型足够强，但又不至于强到训练成本承受不了。这个搭配刚刚好。

最后一个原因是可复现性。

Anthropic在论文最后明确表示，他们把代码和数据集都公开了，放在GitHub上。如果他们用的是闭源模型，其他研究者想复现这个实验就很困难，因为他们没法获得相同的模型。

但用Qwen这样的开源模型，任何人都可以下载相同的模型权重，跑相同的代码，验证相同的结果。这对科研来说非常重要。

从这个角度看，Anthropic选择Qwen，一方面确实是对阿里模型性能的认可。如果Qwen的能力不行，或者训练起来问题很多，他们不会选。但另一方面，更重要的是Qwen作为开源模型带来的灵活性和可复现性。

而中国的开源AI项目，正在这个基础设施中占据越来越重要的位置。这对全球AI安全研究来说是好事，对中国AI生态来说也是好事。因为AI安全不是零和游戏，不是你赢我输，而是大家一起努力，让AI变得更安全、更可控、更有益于人类。

文章来自于"字母AI"，作者 "苗正"。