1600代码造出水下曼哈顿， Fable 5让Karpathy看呆了

一头熊站在河边，一口咬住跃起的鲑鱼。

鱼在它嘴里拼命挣扎。

这个画面，直接把Andrej Karpathy看呆了。

他看完这一组3D视频后，在推文中说：

太不可思议了，我之前没意识到模型竟然能创造出如此精彩、丰富且可玩的世界。

还撂下一个新词：fablemaxxing。

这太美了，属于顶级的fablemaxxing！每一个新的模型层级，总会有一些全新的东西在质上实现飞跃并带来惊喜。

Karpathy今年5月刚加盟Anthropic，加入的正是预训练团队。

6月，Fable 5首发，三天后被美国出口管制一纸叫停，7月1日刚解禁。视频作者，是AI评测平台Arena.ai的Peter Gostev。

他用Fable 5一口气跑了63个高难度3D生成，几乎全是三维图形库（Three.js），多数一次成型。

一个多月前，想让AI一次成型造出能走进去玩的3D世界，还近乎天方夜谭。如今，Fable 5一口气能搓出63个。

于是，Gostev不由在视频中感慨：连实验室里的人，都还没完全搞清它能干什么。

1600行代码

一座活着的水下曼哈顿

先说视频中最令人印象深刻的那个。

整座曼哈顿沉在水下。中央公园、摩天楼、街道纹理，细节丰富到让人难以置信。

Gostev翻出代码一看：1600行。就这1600行，撑起了一座活着的水下之城。

Fable 5生成的曼哈顿，从Battery到Inwood整座岛尽收眼底，几万栋楼各有轮廓，全部由1600行代码撑起。（图源：Peter Gostev视频）

这样的世界，Gostev一共做了63个，分成6大主题。

在巨型3D世界里，横跨欧亚两岸的伊斯坦布尔、2000年变迁的伦敦、宏伟的金字塔、庞贝火山喷发、车流穿行的金门大桥，一一被搭了出来；

Fable 5一次成型的伊斯坦布尔，横跨欧亚、层叠入海。（图源：Peter Gostev视频）

Fable 5生成的可食用王国，一座糖果做的巧克力工厂。（图源：Peter Gostev视频）

能上手玩的场景，有纽约屋顶跑酷、把整座城拆着玩的物理游乐场、仪表盘一应俱全的飞行模拟。

最让人不可思议的，是走进世界名画。梵高星空、莫奈睡莲，一幅幅铺成可以穿行的3D世界。

还有一类是不可能的视角：一毫米高的蚂蚁在雨里打量花园，一睁眼就撞见一座金山。

Fable 5把视角压到一毫米高，草叶长成高耸的山峰。（图源：Peter Gostev视频）

自然奇观里，尼亚加拉大瀑布、萤火虫同步闪烁的森林，那条让Karpathy震撼的熊吃鲑鱼，就在此类。

最后，是元素与宇宙，被劈开的红海、正在诞生的火山岛、直插云霄的太空电梯。

Fable 5生成的红海从中劈开，人走进两道水墙之间。（图源：Peter Gostev视频）

在Gostev看来，单一场景好不好看，从来不是难点。难的是模型能不能同时管住海量元素，让它们彼此协调。

弱一点的模型，往往前80%做得像模像样，最后20%全线崩掉，剩下的debug时间反而更长。 

你没法照抄一幅画

它得先看懂

如果说造城市还算有逻辑可依，那下面这批画，才是让Gostev一连说了好几个「难以置信」的。

梵高的《星空》。

你没法照抄这样一幅画，满画布厚颜料堆叠，一道道笔触卷成漩涡。

Fable 5的做法，是用一根根独立的线条，在三维空间里重新拼出那片星空，再让你飞进去，在漩涡之间穿行。

Fable 5把梵高《星空》拆成一根根立体线条，在三维空间里重拼，让你飞进旋动的星群与漩涡之间。（图源：Peter Gostev视频）

莫奈的睡莲、葛饰北斋的浪花，同样被「打开」成可以漫游的世界。

在Gostev看来，Fable这次特别擅长把一件事讲明白，能一边演示一边说清事情怎么运作。这种解释力，是他之前没料到的。

当然，这些世界并非「一句话」变出来的。

Gostev喂给模型的，是又长又细的规格文档，多数案例一次成型，也有一部分做了一到两轮微调。

真正的分水岭在于：过去要十几轮才磨得出的东西，现在一个HTML文件，多数一次就跑出来了。

魔法背后

也有短板

Gostev坦言，自己这批案例是筛过的。他生成的总量比展示的多出约两成，剔掉了有明显bug的，才留下这63个。

游戏，是它的弱项。

他坦言那几个能玩的场景，「玩30秒就腻」。有个罗马帝国的版本，他嫌太卡通。

更微妙的是，他觉得模型有时候像在偷懒、藏着实力，得反复催它更有野心，才肯拿出真本事。

Fable 5上线时，就在Arena.ai自家的Agent Arena榜上以史上最大优势登顶。

Arena.ai官方称，这份榜单衡量的，是模型在数百万次真实任务里真正把事干成的能力。

这场探索

才刚刚开始

再回到视频中那条狗熊捉鲑鱼的场景。

让Karpathy感到奇怪的是，鱼被咬住会挣扎，这样一个没人要求的细节，一个只从互联网学习的大模型，怎么就知道了这些？

知道了，又怎么把这份理解，翻译成xyz坐标、网格、变换、动画、效果、交互，乃至一个个微型故事？

这个问题，已经越过了「AI画得好不好」，落到了「它到底懂了多少」。

Karpathy还感慨道：再往上加一到三个模型层级，能造出什么，真是不敢想。

Gostev同样也惊叹于AI的快速发展，「别被半年前的模型框住了。你或许不在乎3D，但你手上一定有件事，是过去的模型干不了、而今天的它能干的。去试。」

连造模型的人，都还没摸到它的边界。

这场探索，才刚刚开始。

参考资料：

https://github.com/petergpt/3d-prompt-collection#prompt-01

https://x.com/karpathy/status/2073505440479293773

https://www.youtube.com/watch?v=rTc2_-1KuRE&t=14s

文章来自于微信公众号 “新智元”，作者 “新智元”