OpenAI公开722篇由AI撰写的数学与理论计算机稿件之后,丹麦奥尔堡大学AI安全实验室Qiongxiu Li发起的开源项目On Whose Shoulders 《巨人之肩》,对这批AI稿件的全部相关文献开展了逐条核对与系统性溯源分析。
结果是:跨越5个多世纪,11,067部人类著作,约9,600位数学家,其中114位是菲尔兹奖、阿贝尔奖或沃尔夫奖得主。
这类工作常被写成「AI解决了某某难题」。
这句话其实只说了一半,另一半是:AI是基于什么工作解决的。

大多数作者不是历史书里的名字,而是今天仍活跃的数学与理论计算机科学家。
从原句看,AI稿件是把这些科学家成果当作工具来用的:
AI的每个领域成果,各自站在了一群人身上:


每个小点是一篇AI预印本,按学科聚成「大陆」;带圈的大点是被多篇预印本共同引用的人类论文,大小表示被引篇数,位置落在引用它的论文之间。

巨人之肩项目:seafill.info/Shoulders
数据来源:github.com/openai/math


部分在中国大陆活跃的数学家被引用工作数目
如丘成桐,孙鑫,欧文浩,田野,谢灵尧,丁剑,田刚,孙崧,郭少明,周向宇等人工作被OpenAI反复使用
华人数学家在这场接力里:
上述情况也适用于其它科学发现。OpenAI的纳维-斯托克斯方程论文从欧拉于1757年提出的方程出发,然后回顾了Leray于1934年提出的弱解以及Caffarelli、Kohn和Nirenberg的部分正则性定理。谷歌AlphaFold基于结构生物学家数十年来逐一解析的蛋白质结构进行训练;其前提可以追溯到Anfinsen于1973年的发表,即蛋白质的序列决定了其形状。
对于一个做出科学突破的模型(GPT, Claude等)来说,工程师造出机器:架构、训练代码、数据管线、算力。科学家提供它可学习的高质量内容,也决定它朝哪里去。预训练。模型学的是根据前文预测下一个词。
有一篇AI稿件里写着:「由射影直线上向量丛的分裂定理,E是线丛的直和」。这个事实不是模型发现的。
1957年格罗滕迪克给出了它的经典形式,此后数学家在论文、教材和讲义里一遍遍写下这一步。
科学家的直觉,是知道下一步该用哪个引理;模型的直觉,是从人类写下的千千万万个「下一步」里估计出来的概率。监督微调。模型在一批精选的推理链上学习「怎样一步步解题」。这些推理链有的由人写成,有的由模型合成;但合成的也从人出的题目和指令出发,由人设计的检验决定去留。

最后强化学习和推理时采样,只能强化或找到模型本来就能采样到的东西
强化学习与推理时采样。模型对一道题尝试许多次,验证器留下做对的。这靠的是采样:如果模型几乎从不写出正确的证明,奖励全是零,就无从学起。
让「做对」从几乎没有变成偶尔出现的,很大程度上是此前训练数据的质量。简单地说:工程师让学习成为可能,而可学的内容,很大一部分来自不同领域科学家。
预训练和监督微调,给了模型直觉和推理的方式,但前沿的新结果,靠的是大规模的采样:训练时的强化学习,推理时的搜索和agent。它们的共同点是,让模型对一个问题做许多次尝试(rollout),再由验证器决定哪些算数。
成功的轨迹,又可以成为下一轮的训练数据。但要让这种「尝试-验证」的循环真正转化为模型能力的提升,关键在于信号的质量。梯度决定模型从一个样本中学到什么,而它的好坏取决于背后的信号。
很大一部分强信号来自科学家:严谨的证明,让训练有清晰的下一步可学;挑选得当的题目,让奖励不至于全是零或全是一;精确的验证器,保证信号指向正确的方向。无论采样发生在训练时还是推理时,科学家都可以处在这个循环的三个位置上。
(1)挑选问题。训练在「刚好够得着」的问题上学得效率最高,推理时的算力也最值得花在这样的问题上。好的问题为下一轮模型训练留下好的种子,平庸的题目只留下平庸的种子。挑出这样的问题,则需要科学家所说的taste。比如,埃尔德什、丘成桐、希尔伯特的问题清单,做的正是这件事。
(2)定义什么算正确。训练时,验证器决定奖励;推理时,它决定许多次尝试里留下哪一个。验证标准写得松,模型训练就会钻空子。数学之所以最先能成为试验场,是因为数学家早已把「证明」定义得极为精确。
(3)评判结果。10月7日,OpenAI在发现一处符号错误后撤回了3篇稿件,并修订了另外14篇。他们的仓库说明也写道,部分未经形式化的结果「可能有问题」。哪些结果成立,哪些重要,哪些方向值得投入下一轮算力,这些判断仍是科学共同体的工作。
所以,AI再强大,也需要驾驶员。这好比开采石油:钻机再强,也要有地质学家决定在哪里下钻,判断打上来的是不是油。在下面这个循环里,科学家挑选问题、定义正确、评判结果;AI则以人无法企及的规模去尝试。

科学家挑选问题、定义正确、评判结果;AI以人无法企及的规模去尝试。
假设科学家真的退后一步,会发生什么?
模型仍然会采样,仍然会尝试。但它会被指向越来越窄的问题,用越来越松的验证器筛选答案,用越来越单一的数据塑造自己的采样。没有好的仪器,采样就碰不到新的知识。更麻烦的是,在缺少外部检验的情况下,一个主要靠自己的输出喂养的模型会逐渐退化。
已有研究发现,模型如果反复用模型生成的数据训练,会丢失分布中稀少的部分,逐渐退化。新的问题、新的想法、新的实验数据,以及检验它们的仪器,今天仍然需要科学家的参与:提出问题,设计实验,判断结果。未来,一部分新数据可能来自AI与物理世界之间的闭环,比如自动化实验室;但做什么实验、测得准不准、结果意味着什么,仍然需要领域科学家参与。
所以,「AI都能解决,科学家不再被需要」这句话,不只是关于科学家的。它会影响社会的激励流向哪里,也会影响年轻人是否还愿意投身科学之中。这两件事最终都会回到模型身上:这样的人少了,新的问题就少了,验证器也少了,梯度信号自然就弱了。
数千年来,人类是唯一从事科学研究的智慧生命,许多发现,都是科学家们毕生的努力的结果。
如今,超级智能正触及科学的前沿,它能证明的、能发现的、能预测的,只会越来越多。
但每一次突破,都建立在那些光芒之上:人类最高的智慧、最深的孤独、最漫长的努力。
科学家是连接人类知识与AI的桥梁。谨以此向人工智能时代的科学家们致敬——他们的名字,应当与建立在他们工作之上的成果连在一起。
SeaFill人工智能小组《巨人之肩》研究项目,由丹麦奥尔堡大学AI安全实验室助理教授Qiongxiu Li发起。
参考资料:
seafill.info/Shoulders
文章来自于"新智元",作者 "LRST"。
【开源免费】DeepBI是一款AI原生的数据分析平台。DeepBI充分利用大语言模型的能力来探索、查询、可视化和共享来自任何数据源的数据。用户可以使用DeepBI洞察数据并做出数据驱动的决策。
项目地址:https://github.com/DeepInsight-AI/DeepBI?tab=readme-ov-file
本地安装:https://www.deepbi.com/
【开源免费】airda(Air Data Agent)是面向数据分析的AI智能体,能够理解数据开发和数据分析需求、根据用户需要让数据可视化。
项目地址:https://github.com/hitsz-ids/airda
【开源免费】AutoGPT是一个允许用户创建和运行智能体的(AI Agents)项目。用户创建的智能体能够自动执行各种任务,从而让AI有步骤的去解决实际问题。
项目地址:https://github.com/Significant-Gravitas/AutoGPT
【开源免费】MetaGPT是一个“软件开发公司”的智能体项目,只需要输入一句话的老板需求,MetaGPT即可输出用户故事 / 竞品分析 / 需求 / 数据结构 / APIs / 文件等软件开发的相关内容。MetaGPT内置了各种AI角色,包括产品经理 / 架构师 / 项目经理 / 工程师,MetaGPT提供了一个精心调配的软件公司研发全过程的SOP。
项目地址:https://github.com/geekan/MetaGPT/blob/main/docs/README_CN.md
【开源免费】graphrag是微软推出的RAG项目,与传统的通过 RAG 方法使用向量相似性作为搜索技术不同,GraphRAG是使用知识图谱在推理复杂信息时大幅提高问答性能。
项目地址:https://github.com/microsoft/graphrag
【开源免费】Dify是最早一批实现RAG,Agent,模型管理等一站式AI开发的工具平台,并且项目方一直持续维护。其中在任务编排方面相对领先对手,可以帮助研发实现像字节扣子那样的功能。
项目地址:https://github.com/langgenius/dify
【开源免费】RAGFlow是和Dify类似的开源项目,该项目在大文件解析方面做的更出色,拓展编排方面相对弱一些。
项目地址:https://github.com/infiniflow/ragflow/tree/main
【开源免费】phidata是一个可以实现将数据转化成向量存储,并通过AI实现RAG功能的项目
项目地址:https://github.com/phidatahq/phidata
【开源免费】TaskingAI 是一个提供RAG,Agent,大模型管理等AI项目开发的工具平台,比LangChain更强大的中间件AI平台工具。
项目地址:https://github.com/TaskingAI/TaskingAI
【开源免费】XTuner 是一个高效、灵活、全能的轻量化大模型微调工具库。它帮助开发者提供一个简单易用的平台,可以对大语言模型(LLM)和多模态图文模型(VLM)进行预训练和轻量级微调。XTuner 支持多种微调算法,如 QLoRA、LoRA 和全量参数微调。
项目地址:https://github.com/InternLM/xtuner