谷歌传奇“院士”：Gemini核心秘方不会公开！大模型推理还有很大降本空间！AGI太远，我更喜欢3~5年的研究，登月计划：医疗

“与AGI太过遥远的炒作相比，我非常喜欢这种 3 到 5 年的时间窗口。”

“AI 现在最大的问题，已经不是不够聪明，而是太难真正落地。”

这些非常务实的观点，并不是出自AI怀疑论者。相反，它出自硅谷圈内那位“工程与学术”的双修神话： Jeff Dean。这位大神身兼多个要职，Google DeepMind 和 Google 研究院首席科学家，同时还是 Gemini项目联合技术负责人，更是 TPU 与 Transformer 背后最核心的工程与研究推动者之一。

ps：Jeff Dean 还有一份终身级荣誉：Google 内部最高级别的技术职位——Senior Fellow，这是一种公司技术体系中的“终身级”认可，毫不夸张的说，可以理解成 Google 帝国的“终身院士”。

上周末，很少露面公开演讲的大神 Jeff 接受了一场播客邀约。

在这场对谈中，Jeff 并没有讨论参数规模、模型排名，甚至很少谈“下一个突破”。他反复强调的，是一个听起来不那么性感、却决定 AI 能否真正改变世界的问题：系统、成本、数据与现实约束。

他心中的“登月级”AI项目，不是奥特曼那般的“星际之门”，而是润物无声的“AI医疗”。

以医疗为例。外界常常把希望寄托在“更强的模型”上。但 Jeff Dean 很直白的表示，真正的难题在于，医疗数据分散在无数系统里，格式混乱、不可流动，还被隐私、法规和责任机制牢牢锁死。

你不可能把数据集中起来训练一个“全知模型”，AI 只能在数据原地学习。这让联邦学习、隐私计算从“研究方向”，变成了现实世界的必选项。

当谈及未来最值得投入的方向时，Jeff Dean 的答案也明显出人意料。他没有押注更大的模型，而是把注意力放在了更低延迟、更高能效、更低成本的推理系统上。

他甚至回溯到 2013 年 TPU 诞生时那张著名的“餐巾纸草图”，直言如果今天重画一次，首要任务已经不再是把算力堆到极限，而是比现在推理延迟要低得多的AI系统。

这场采访还揭开了 Google 内部少为人知的一角。比如，为什么 Gemini 的“秘密武器”不会公开，但大量实验性想法却持续向学术界释放；

再比如，为什么 Google 内部研究常常被认为“领先学界一年”；以及那些尚未进入产品、却已经在挑战 Transformer 边界的架构探索。

最大的感受是，Jeff Dean 并不否认模型会继续进化。但他不断把问题拉回到一个更冷静的坐标系中：当 AI 足够强之后，它能否在真实世界的规则、成本和系统中站得住？

这可能是未来3~5年内，AI世界最为激烈的分水岭之战。

期间还有不少谷歌内部的技术猛料。比如内部已经基于TPU构建了一条成熟路径，后续可能会开放，再比如下一代Pixel手机新技术的发布节奏等等。

以下是小编对这场对谈中最值得关注的观点与细节的梳理，信息密度很高，建议收藏细读。

第七代TPU厉害之处

主持人：Jeff Dean，感谢你来到周日的圣地亚哥，就在 NeurIPS 会议中心前。你是 Google 的首席科学家、Kaggle 负责人，最近你们刚刚发布了新一代 TPU 芯片。我们来聊聊这件事吧——第七代 TPU。它有什么特别之处？

Jeff Dean：和以往每一代 TPU 一样，新一代都比上一代更强，有很多新的能力。它可以被连接成我们称之为“Pod”的超大规模配置，每个 Pod 大概有 9216 颗芯片左右。在性能上，尤其是在像 FP4 这样的低精度浮点格式下有显著提升，这对大模型训练、推理以及很多相关场景都非常有帮助。所以我们对这一代 TPU 非常兴奋。

TPU是内部推理需求推动的

主持人：如果把视角拉远一点，Google 最初是为了内部需求开始做 TPU 的。作为全球领先的 AI 应用和研究机构之一，对整条垂直整合技术栈的掌控是最初的动机。后来你们又把这些能力对外开放，进入了加速器的全球竞争市场。

现在很多人都在期待 TPU 形成一个巨大的外部市场。站在你的角色上，你怎么看 Google 内部使用 TPU 的目标，和在市场中通过 TPU 赋能数以百万、甚至数十亿用户之间的关系？

Jeff Dean：TPU 项目的起点确实是内部需求，而且最初主要聚焦在推理上。早在 2013 年，我们就意识到深度学习方法会非常成功。每当我们用更多数据训练更大的模型，在语音、视觉等任务上的效果都会更好。

我当时做了一些粗略计算：如果我们想把一个计算量大得多、但效果更好的语音模型，提供给一亿用户每天使用几分钟，会发生什么？结果非常吓人。如果用 CPU，我们几乎需要把 Google 全部的计算机数量翻一倍，才能上线这个改进版模型。于是我们意识到，如果能做专用硬件，针对机器学习计算——本质上是密集、低精度的线性代数——就能实现数量级更高的效率。事实证明，第一代 TPU 在能效上比当时的 CPU 或 GPU 高出 30 到 70 倍，速度也快了 15 到 30 倍。

这个想法是在 2013 年形成的，芯片在 2015 年进入数据中心，我们也发表了论文，那是在 Transformer 出现之前。当时我们主要关注语音识别和视觉里的卷积模型，后来在最后关头对 TPU v1 做了一点设计调整，让它支持 LSTM，当时这在语言建模中很流行，也让我们能支持机器翻译任务。之后的 TPU 版本，重点转向更大规模的系统，不再只是单张 PCIe 卡，而是完整的机器学习超级计算机，包括最新的 Ironwood。每一代在能效、单位成本性能等方面都有巨大提升，让我们能跑更大规模的训练任务，也能为更多用户提供服务。

硬件先于软件，问题在于是否真的重要

主持人：Transformer 架构本身也诞生于 Google，时间线和 TPU 非常接近，只是 TPU 更早一些。你觉得这种应用架构的爆发，与 Google 拥有垂直整合硬件栈之间，是否存在某种“协同设计”的偶然性？

Jeff Dean：每一代 TPU，我们都会尽量利用软硬件协同设计的机会。我们有很多研究人员在思考：两年半到六年之后，我们可能会运行什么样的机器学习计算？这正是硬件设计中最难的地方——要在一个变化极快的领域里做预测。

这并不容易，但如果你有足够多的人对趋势有所判断，就可以在芯片里加入某些硬件特性或能力。如果将来它真的变得很重要，那么硬件已经准备好了；如果没有，那最多只是占用了一小块芯片面积。关键在于，一旦这件事真的变得重要，你的前期投入就能发挥巨大价值。

TPU之上一条最成熟的路径

主持人：这本质上是在对整个机器学习领域做一次前瞻预测。如果只能选一个人来做这件事，“计算机科学界的 Chuck Norris”大概就是你了。

科普下：Chuck Norris 是值：“强到不讲道理、近乎传说级的存在”。

Jeff Dean 几乎参与或主导了 Google 过去二十多年最底层、最关键的系统：
MapReduce、BigTable、Spanner、GFS、TensorFlow、TPU、Transformer 落地体系、Gemini 的系统栈……
很多人一辈子能参与其中一个，就已经是职业巅峰。

更堪称天才的是，Jeff 是一位工程与学术双修的“不世出”的大家。

你在 Google 的履历，也延续了一种传统：为内部需求发明系统。

Google 是世界上最擅长构建大规模系统的公司之一，很多成果后来都走向了世界，比如 Google 文件系统，再到 TPU 架构，Transformer 的思想最初是论文，但现在已经彻底改变了世界。随着 Ironwood 的出现，你觉得是否到了一个拐点，让全世界都能真正享受到过去只有 Google 才拥有的这些优势？站在你的角度，这种感觉应该很特别。

Jeff Dean：我们使用 TPU 已经差不多十年了，一直非常满意。软硬件协同的特性，让它们非常适合我们要运行的机器学习计算。与此同时，我们也通过 Cloud TPU 项目对外提供这些资源很多年了，现在有大量客户在用 TPU 做各种事情。我们在 TPU 之上构建了很多软件层，让它们用起来非常方便。

最成熟的一条路径，是在 Pathways 之上运行 JAX。Pathways 是我们内部构建的系统，目前也在探索是否向云端客户开放。再往下是 XLA，这是一个带有 TPU 后端的机器学习编译器。对 Pathways 来说，这意味着我们所有的 Gemini 开发、研究以及大规模训练任务，基本都跑在这套技术栈上。

Pathways 大约是七年前开始构建的，它能给你一种“单一系统镜像”的错觉：你只运行一个 Python 进程的 JAX 代码，但看到的不是单个 TPU 节点上的几个设备，而是仿佛直接拥有两万个设备。系统会在底层自动处理数据传输机制和网络选择，一切都能自然地运转起来。

同一个 TPU Pod 内，会使用高速互连；跨 Pod 的通信则走数据中心网络；如果是跨城市的 Pod，就会使用长距离链路等。实际上，我们已经在运行非常大规模的训练任务：由一个 Python 进程同时驱动分布在多个城市的多个 TPU Pod。

为什么要资助学术研究？

因为AI建立在研究之上

主持人：很好。那我们换个话题。你最近经常谈到学术研究经费的现状，你想传达的核心信息是什么？

Jeff Dean：我和同事 Hoza、Partha Rangadath，以及华盛顿大学的 Magda Balazinski，最近在 ACM《Communications》的一期专题中共同发表了一篇文章，那一期专门讨论学术研究的影响。在我们的部分里，我们回顾了 Google 这家公司赖以建立的各种学术研究成果，比如 TCP/IP、先进的 RISC 处理器、互联网本身，还有斯坦福数字图书馆项目——正是这个项目为 PageRank 在斯坦福的最初版本提供了资金支持。

我的同事 Dave Patterson 也在那一期写了一篇文章，讲述了他和伯克利同事们在多个五年期实验室里所孕育出的诸多成果。我真切地认为，无论是在美国还是在全球，拥有一个充满活力的学术研究生态都至关重要。正是这些早期、富有创造性的想法，最终带来了重大的突破和创新。整个深度学习革命，实际上建立在三四十年前的学术研究之上——神经网络、反向传播等发明，直到今天仍然是我们所做一切的核心。因此，我一直主张建立一个健康、有活力的学术研究资助体系，因为它为社会带来的回报极其巨大。

主持人：你、我、Dave Patterson 以及 Joel Pineau 都在 L Institute 的董事会里。这个机构的起点，部分源自你、Dave 和我以及另外几位作者共同发表的那篇论文《Shaping AI’s Impact on Billions of Lives》。

在那篇文章中，我们讨论了 AI 在公共讨论、医疗、科学、再就业培训、新闻业以及政策等领域可能产生的社会影响，也主张在加大类似 NSF 这种传统资助的同时，探索并试验新的资助模式。L Institute 正是这样一种尝试：它从成功的技术从业者那里募集资金，捐给一个非营利的 501(c)(3) 机构，再由这个机构运行“登月计划”式的资助项目，专门支持 3 到 5 年期的研究实验室——每个实验室有 3 到 5 位 PI、30 到 50 名博士生，聚焦 AI 对科学进步、医疗、职业再培训和公共讨论的影响。你也一直在推动这种替代性资助模式。

3~5年时间尺度的实验室研究，要比AGI炒作好得多

Jeff Dean：和你、Dave 以及其他合作者一起写那篇论文，本身就是一件很有意思的事情。我很喜欢那篇文章的一点在于，我们系统地梳理了 AI 可能产生影响的多个领域：有些领域，如果我们把事情做对了，可能会带来极其正面的效果；也有一些领域，前景并不完全明朗，AI 可能会带来负面影响。

问题在于，我们如何在这些领域中，最大化 AI 的潜在收益，同时尽量降低风险。这不仅涉及计算机科学和机器学习研究，也需要与政策制定者，以及医疗、教育、科学等领域的一线从业者合作。我们特别强调了 3 到 5 年时间尺度的研究努力，以实验室为单位推进，这与当下围绕 AGI 或超级智能的高度炒作形成了对比。

相比之下，帮助一线医疗人员减轻负担、消除放射科医生在使用现有技术时的障碍，这些目标更具体、更现实，也更可实现。

我个人非常喜欢这种 3 到 5 年的时间窗口：时间不至于遥远到看不到影响，也不至于短到无法做出真正有雄心的事情。在我自己的职业生涯里，每当启动一个新项目，我往往都会问自己：三到五年内，我们能做到什么？这是一个非常合适、也令人愉悦的时间尺度。

登月级目标：AI医疗

图灵奖、诺奖得主已申请加入

主持人：我很好奇，能否请你分享一两个你个人特别关注的方向？在一起写那篇论文时，我一直觉得很有意思的一点是，你和大量前沿项目都保持着紧密联系——这些项目来自世界上最具创新精神的研究者和建设者。

你既是天使投资人，也慷慨地投入时间和精力，去指导那些希望在气候、科学、公共讨论，尤其是医疗领域产生实际影响的研究项目。医疗显然是你非常关心的方向之一。我们为“登月资助计划”搭建的项目委员会，目前已经收到了来自顶尖大学的申请，其中不乏图灵奖得主和诺贝尔奖得主，一切都在按计划推进，目标是资助那些真正能推动社会进步的研究。基于你的背景和你对这么多项目的深入了解，你能否分享一两个你最看好的方向？

Jeff Dean：我确实对 AI 在医疗领域的应用充满热情。我心目中的“登月级目标”是：作为一个社会，我们是否有可能让过去在医疗中做出的每一个决策，都能为未来的每一个决策提供参考？这是一个极其困难的目标，因为存在很多现实障碍，比如严肃的隐私问题，以及在不同司法辖区差异巨大的监管要求。但如果我们能以一种理想化的方式去思考：如何从每一次过往决策中学习，从而帮助每一位临床医生、也帮助每一个人，在未来做出更好的决策，那将是一个极其宏大、也极其值得追求的目标。

“AI登月”最大的挑战：数据太分散了

主持人：我觉得围绕这个目标，做一个 3 到 5 年的“登月式”计划，或许真的能推进一些进展。可能没法一步到位，但哪怕只走到一半，也已经很了不起了。以你对当前 AI 系统能力的判断，这个挑战更大的难点是在落地层面吗？比如如何适配现有的医疗健康记录、法律与合规要求、保险机构和医院自身的律师体系等等。这些听起来更像是实施难题，而不是能力本身的限制；还是说你认为，AI 的能力本身还需要进一步发展，才能真正释放这些价值？

Jeff Dean：这里面确实有不少很有意思、偏研究性质的技术问题，但也有很多“脏活累活”式的现实挑战，比如如何把数据整理成适合学习的形式。医疗数据分散在各种不同的医疗系统里，格式也各不相同。你很可能需要用到隐私保护机器学习、联邦学习之类的方法。

从技术角度看，问题在于你不可能把医疗数据集中迁移出来，而是必须在数据原地、以保护隐私的方式，在各种不同环境中进行学习。所以这里既有真实而棘手的技术挑战，也正如你说的，还有法律、监管层面的难题。这也正是为什么需要一个由不同背景专家组成的团队：既要有机器学习和计算机系统方面的专家，也需要法律、政策和监管方面的人一起参与。

前沿TPU/GPU降低推理成本

还有很大创新空间

主持人：听起来很有道理。还有没有其他你个人特别偏爱的项目方向？

Jeff Dean：最近我特别着迷的一件事，是如何让计算系统在现有最前沿的 TPU 或 GPU 之上，再进一步提升效率。我觉得这里还有很大的创新空间，尤其是在显著降低推理成本方面，而推理显然会成为一个越来越重要的领域。这其实又回到了 2013 年当初在餐巾纸上勾勒 TPU 起源时的那个问题。

主持人：如果现在重新画那张“餐巾纸草图”，你会看到什么？

Jeff Dean：如果今天重新来一遍，你会发现我们需要的是比现在低得多的延迟系统，同时还要有更高的吞吐量，而“每瓦性能”会变得极其关键。问题就变成了：我们能做些什么，去构建能耗大幅降低、但在质量和性能上依然不打折扣的系统？

当前不会公开Gemini架构的核心秘方

先发布新产品，然后在公开技术细节

主持人：你怎么看 Gemini 团队、DeepMind 以及更广义的 Google 内部研究，与 Google 之外整个 AI 学术和产业生态之间的关系？

过去，像 Transformer 这样的论文，是一种向外输出创新的方式；同时你们也大量吸收、站在外部学术成果的肩膀上继续前进。现在，随着 Google 在 Gemini 和硬件全栈上的巨大投入和领先地位，这种关系是否发生了变化？又是否需要继续演进？尤其是在我们试图探索新的研究资助模式，而传统机制看起来并不乐观的背景下，你怎么看 Google 与外部创新体系之间的这种边界关系？

Jeff Dean：我觉得在发表与共享研究成果的方式上，确实一直在持续演进。在当前高度竞争的环境下，我们通常不会公开 Gemini 模型架构里的“核心秘方”。但在更早期、探索性的研究层面，我们依然会发表大量成果，比如一些还没有完全验证的新模型架构，我们会先在小规模上做实验，然后把这些想法发表出来，让整个生态都能拿去进一步探索或在此基础上演进。

与此同时，我们也会持续关注社区里其他研究者的工作，思考哪些想法可以被引入，用来解决我们看到的问题。我并不认为“发表”是一种非黑即白的选择，它本身是一个连续谱：什么时候发、发到什么程度，都可以灵活处理。

举个例子，Google Research 在计算摄影领域已经深耕很多年，团队里有非常出色的研究者，几乎每年都会产出一些很酷的新成果，直接进入 Pixel 手机的影像软件管线，比如夜视模式、天文摄影，或者“魔术橡皮擦”——可以把照片里不想要的人抹掉。

我们的做法通常是：先把这些能力放进下一代 Pixel 手机产品中，然后过一段时间，再把背后的技术细节整理成 SIGGRAPH 论文发表出来。也就是说，我们会先在产品中使用，然后再向社区分享底层原理，让其他人能够在此基础上继续创新。这种方式很好地体现了“发表与否”之间的连续性，而不是只有两个极端选项。

参考链接：

https://www.youtube.com/watch?v=9u21oWjI7Xk&t=74s

文章来自于“51CTO技术栈”，作者 “云昭”。