刚刚，北大校友Lilian Weng自曝公司首个产品？一篇论文未发，估值却已90亿

OpenAI前研究员大佬、如今的Thinking Machines Lab联创Lilian Weng，刚刚转发了一个神秘产品——一个看似仪表盘的东西。

或许，这就将是公司即将打造的第一个爆品？

这个产品所揭示的理念，可谓十分惊人——

在训练过程中，研究人员可以直接用它来手动调整所有的超参数了！

Lilian Weng宣称：总有一天我们会涉足硬件领域，而现在就是时候了。

所以，这个最高估值90亿美元神秘新公司的首个产品，或许就是这个硬件？

前CTO组建的神秘公司，

憋的大招是这个？

其实，分享出这个视频的，是前谷歌DeepMind员工Stephen Roller，后来，他又跳到了Character AI，现在来到了Thinking Machines Lab。

他表示，一些团队需要通过参数遍历、启发式方法或者Scaling Law来确定训练的学习率。

但是在Character，他们只需要让Noam Shazeer来手动调到正确的值。

这位Noam Shazeer，就是出走谷歌后创办Character，又让谷歌豪掷27亿刀买下整个初创、只为换得他重回谷歌工作的那位大神。

这个idea，着实让开发者们兴奋了。

看起来，这似乎比大多数调度方法都要好。

有人问道，为什么在这个过程中，还需要绘制学习率的平均值呢？

Stephen Roller回答说：「并不一定。对于所有指标，我们都会跟踪平均值和分母。对于学习率（LR），分母始终为1。这只是我们模板的一个副作用。」

有人表示，这个方法看起来太赞了！不过，仍然会需要做很多超参数搜索。

而且，他还发现了一件事，就是很多人在训练出不错的模型但达到瓶颈后，通常不会尝试分支搜索，即不会把这个模型衍生出几个不同学习率的训练路径。

但其实，如果提前主动剪掉一些没前途的分枝，其实是能节省不少算力的。

另外还有一名Character员工爆料说，其实在实践中，你需要花费大量的计算资源和精力，才能超越Noam随口提出的超参数。莫非，这是大神独有的一种神秘手动天赋？

「或许未来，AI研究中心会类似于老式发电厂的控制室？」

还有人玩起了梗：以后训大模型会是这样的，把实验接到DJ混音器上，然后开始凭感觉微调超参数？

一篇论文未发，已经估值90亿

神秘的Thinking Machines Lab，由Murati牵头，网罗了一堆OpenAI的天才核心员工。

虽然一篇论文未发，但公司的估值已经达到了惊人的90亿美元。

现在，公司旗下的大神包括但不限于——

Lilian Weng，OpenAI前研究副总裁（VP of Research），主管模型安全。

OpenAI联创John Schulman，主导了ChatGPT的研发工作；2022至2024年间，共同负责为ChatGPT和OpenAI API开发核心模型架构。

ChatGPT共同创始人Barret Zoph，OpenAI前研究副总裁，主管后期训练方向。

GPT开山一作、「爱因斯坦级天才」Alec Radford，「史上最强本科学历AI研究员」。

OpenAI首席研究官，塑造GPT-3、GPT-4、o1的关键人物Bob McGrew。

OpenAI前多模态团队负责人Alexander Kirillov。

现在，Thinking Machines的网站上列出了38名创始团队成员，其中有19人都是OpenAI的老员工，还有多位华人科学家。

在表面上，Thinking Machines这块调参「DJ台」看起来只是一个极客味十足的训练工具；但如果放到更宏大的产业棋局中，它的意义远不止于此——

它揭开了下一场AI大战的序幕：一场关于「谁能占据AI硬件入口」的全新较量。

另一边，OpenAI也早已悄悄布局。

就在不久前曝光的一份内部文件中，它写得清清楚楚——

ChatGPT的未来，不只是网页和APP，而是一种「无处不在、永不离线」的全新硬件形态。

OpenAI：AI+硬件的野心被挖出

在2024年12月2日，OpenAI的一份内部文件，提到「Ship a [REDACTED] by 2026」。

这些文件来自美国司法部诉谷歌垄断案（U.S. v. Google (2024) (1:20-cv-03010)），基本上就是真材实料，因为涉及到具体的商业机密，所以关键部分做了处理。

OpenAI在文件中坦言：网站、手机、桌面应用，仍无法让ChatGPT「无处不在」。

他们设想的，是能融入家庭、街道、职场、独处时刻的全能AI硬件。

被打码的极有可能是一款硬件设备。

ChatGPT翻译的OpenAI内部文件大意：

在2026年前推出一款██████████

如今，ChatGPT已通过我们的网站、手机和桌面应用的形式出现在生活中。但我们对ChatGPT的愿景，是让它无论你身在何处，都能陪伴你的整个生活。

在家中，它应该能帮你解答问题、播放音乐、推荐食谱；在路上，它应该能帮你导航、寻找最棒的餐厅、联络朋友；在工作中，它应该能帮你做会议记录或准备重要演讲；而在独自行走时，它应该能陪你思考、放松心情。

我们希望ChatGPT成为█████████████████████████████████████████████。

最好的AI，是那个始终陪伴在你身边的AI。

ChatGPT还给出了合理猜测：OpenAI要发布个人AI设备，他们希望ChatGPT成为实时响应、无处不在、始终陪伴的AI助手。

它还给出了依据说明：

这都说得通：什么东西能「始终陪伴」？

因为手机已经被排除，智能手表之类的硬件是个可能的选择。

在曝料贴下，网友Gordon Sloane还上传了带有OpenAI商标的设备。

最近，OpenAI还收购了知名硬件设计师Jony Ive的设计工作室LoveFrom，意在智能设备。

根据OpenAI发布的新闻，早在两年前，Jony Ive的创意团队LoveFrom悄然开始与OpenAI团队展开合作。

为了探索更多AI工具与产品形态，一年前，Jony Ive联合Scott Cannon、Evans Hankey与Tang Tan创立了io设计公司。

左：Jony Ive；中：Evans Hankey；右：Tang Tan

在本月，OpenAI宣布用64亿美元收购io团队。

Jony Ive曾担任苹果公司的首席设计官（chief design officer），主管产品设计和人机界面设计。

OpenAI显然在效仿Apple，试图以Jony Ive的美学重塑AI硬件体验，押注属于AI时代的下一个「iPhone时刻」。

而那些被挖出的内部文件，无疑也在佐证OpenAI谋划多时，意在智能硬件的目标绝非一时起意。

参考资料：

https://x.com/TechEmails/status/1926683901004517726

https://x.com/lilianweng/status/1926490532529770614

文章来自微信公众号 “ 新智元 ”