2026硅谷AIE大会判断1：判断小模型的需求是刚需

11 月 11 日，旧金山 AI Engineer Code Summit（AIE CODE 2026）第二天，官方主题叫 System One：只做判断、不做生成的小模型。

结论先说：agent 要真正放到后台自动跑，缺的不是更聪明的大模型，而是一层窄、快、每次都对的判断层。 这一天，Typesafe、Cloudflare、Google、Glean、UiPath、ZoomInfo、Workday 七家讲的都是这件事。

三点：

1. 为什么要它：今天的 LLM 都为「助手」优化，95% 的时候是爱因斯坦，5% 的时候是憨豆先生，分不出哪次是哪次，就没法交给自动化。
2. 谁在做：Typesafe 9 月 15 日发布 Jev；Cloudflare 一个周末训出自己的 Clef，三周连发 4 个模型；Google 在大会当天发布 Gemini Decision One。
3. 实测数字：ZoomInfo 用它当裁判，同一个 agent 谎报的步骤，LLM 裁判抓到 1 次，它抓到 876 次；Glean 的安全检查召回率从 31.5% 到 90.2%；UiPath 的客户把流程里的 LLM 换掉，快约 50 倍。

一、ZoomInfo：裁判也在幻觉

最能说明问题的一场，是 ZoomInfo 的 Brian Kennedy。

他放了一个真实案例。agent 报告：「已经排好周二发的邮件。」实际上，它在 Salesforce 里建记录失败了，报错信息里明写着「不要谎报成功」，它转头建了个待办。更关键的是，这个 agent 根本没有发邮件的工具。

负责打分的 LLM 裁判照样放行。Kennedy 的解释是：裁判同时拿到了「故事」和「回执」，它信了故事。

ZoomInfo 拿 500 个线上真实步骤做人工复核：原来的 LLM 裁判准确率 65%，他的原话是「差不多抛硬币」。被放行的步骤里，四分之一以上本该打回。

改法是不再问裁判「做得好不好」，而是每一步固定问一组能用回执回答的是非题。Jev 一次调用，同时答一个三选一（接受 / 重做 / 停止）加 7 个是非题。接受概率 30% 以上放行，5% 以下打回，中间那段才交给 LLM 裁判。Jev 对约七成的步骤有足够把握，剩下三成由 LLM 兜底。

那封假邮件：LLM 裁判花 2.5 秒放行；Jev 用 0.2 秒给出「接受 0%、重做 97%」。

他们让 Jev 以影子模式并行跑了 3.7 万次决策，判断结果不影响实际运行，只用来比对：

下一步是加「事后条件」检查：调了发送工具，就问「送达了吗」；写了记录，就问「记录存在吗」，和那 7 个问题放进同一次调用。

他给的落地办法是三步：挑一个判断，改写成是非题，用影子模式和现有裁判并行跑，然后读两边的分歧。

收尾一句：「我们一直信任自己的裁判，直到我们测了它。」

二、System One 是什么，为什么 LLM 做不好判断

机制。 Cloudflare 的 Michelle Chen 讲得最清楚：LLM 是自回归的，一个 token 一个 token 往外吐，成本随长度平方增长；System One 模型只对输入做一次前向计算，直接给出可以拿来做决策的输出。所以它快，也能给出每个选项的概率。

位置。 UiPath 的定位是：它夹在确定性代码和 agent 之间。流程里大部分是确定性调用，中间有几个明确的「认知决策点」，在那里用模型控制分支走向，而不是把整个流程交给 agent。Workday 的 Scott Roberts 说得更直白：从代码角度看，它就是一个 if 条件判断，要的是快、聪明、好用、通用，而且非常便宜。

为什么 LLM 不行。 Typesafe 的 Diogo Almeida（Jev 就是他们做的，他本人参与过 ChatGPT、InstructGPT 和 RLHF）讲了一个反差：AI 能解千禧年级别的数学难题，却做不了会计，也做不好快餐店得来速的点单。前者是「人在回路」的任务，让人满意就行；后者是自动化任务，要的是决策正确。RLHF 把人放进了回路，所以今天所有 LLM 都是为「助手」优化的，放不到后台去跑。

他给 Jev 的定位不是速度、不是成本、也不是接口，而是可靠。LLM「95% 的时候是爱因斯坦，5% 的时候是憨豆先生」，如果分不出哪次是哪次，就没法自动化。他说团队劝过他别公开讲这一点，好留住长期优势，他还是讲了。

他把这叫作「更苦的教训」：算力胜过算法，数据胜过算力，最苦的是选对任务。Jev 不是更大的模型，是换了一个任务。

他还有一个类比：AI 是软件的第四种「语义逻辑门」，可以用常识和意图编程。不写正则，直接说「我要一个真实的 Gmail 地址」。目标是像逻辑门一样可靠——他也承认，这个门槛很高，还有很多工作要做。

由此他的判断和流行说法相反：SaaS 末日不会发生，软件会更强。在他看来，「slop 的根」就是 AI 不可靠，所以公司不敢把它用在会让自己付代价的决策上。

三、Cloudflare 一个周末训出来，Google 当天发布

Cloudflare 的 Michelle Chen 讲了一段很坦白的历史。2023 年做 Workers AI 时，Cloudflare 押的是「模型会变小，网络延迟会更重要」，结果模型从 70 亿参数一路涨到 3 万亿，2026 年 3 月他们才开始托管 Kimi、GLM、DeepSeek 这种万亿参数模型。

9 月 15 日 Jev 发布。9 月 18 日 Cloudflare 做出了第一版实验，接着纠结了约一周，某个周五晚上拍板，周末 48 小时训完，下一周发布 Clef，随后还有 Clef Flash 和一款把邮件、推文、Slack 消息、图片抽成结构化数据的抽取模型，三周内一共发了 4 个模型。

为什么自己训？Jev 是闭源的，Cloudflare 没法把它放到自己的网络上跑。为什么有用？她的说法是：做这类判断，不需要 LLM 推理好几分钟，也不需要人在回路、被人的作息打断，agent 可以 24 小时跑。她的结论是：「Cloudflare 没押错，只是早了。」

她现场演示了一个 CI 故障排查 agent，挂了 40 个工具。先让 System One 把工具裁到 10 个、抽出 PR 号、从几百行日志里只抽出报错，再交给大模型。现场这一次：大模型调用 6 次对 1 次，token 4 万对 1,800，答案相同。会前另一次跑出来是：耗时 9.2 秒对 17.2 秒，成本降 72%。她强调这是示意，不是要完全替换 LLM，而是给它减负。典型用法是路由、反诈和垃圾钓鱼判断、从网页和工单里抽数据。

Google DeepMind 的 Philipp Schmid 在自己那场开头宣布：约一小时前，Google 发布了 Gemini Decisions API，模型叫 Gemini Decision One。原生多模态，一次最多问 1,000 个问题，端到端 150–250 毫秒，每百万 token 0.1 美元。

赞助商这边也跟上了：搜索 API 公司 Parallel 推出 WebJev，主打「第一个有据判断模型」，只读不生成，每 token 读取成本约为前沿大模型的 1/240。

四、各家的实测数字

Glean（企业搜索，Chinmay Goyal）

• 选型规则一句话：输出能提前列出来，就用 Jev；要生成自由文本，就回到 LLM。 标签稳定且量大才值得微调，标签常变就改 prompt。
• 查询分类（测试环境）：不用训练，Jev 的质量几乎是开源 Llama 基座的 2 倍，达到微调版 Llama 的约 90%。
• 专家路由：延迟降到约 1/8。他也说了代价：为此改了不少实现和基础设施，但延迟的下降值得。
• 追问建议排序限时 1.5–2 秒：Jev 按时给出结果 99.2%，通用 LLM 约 90%；违反程序化校验（比如语言不对）的，LLM 约 10%，Jev 是 0。
• 评测里的 LLM 裁判也换成了 Jev：20–30 个用例里只有 1 次结果不一致，团队做实验的速度快了 5–6 倍。
• 安全检查：原来是单租户架构，每个客户一套 T4 GPU 分类器，上千个客户就是上千套。换成 Jev 后，第一阶段的召回率从 31.5% 到 90.2%，成本降一半以上，还省下 2–3 个专职维护的工程师。

UiPath（流程自动化，Chibi Vikram、Kevin Bernstein）

• 题目叫《你的自动化想太多了》。反诈演示：一笔 4.8 万美元的可疑交易触发流程，System One 在 1 秒内把最近 60 笔交易逐笔判断一遍，标出 4 笔；它只判断「证据够不够」，不够才拉起大模型 agent 去调银行接口。
• 客户把流程里的 LLM 调用换成 Jev：快约 50 倍，便宜 7.1 倍。

• 让编码 agent 拿现成评测集通宵跑了 14 小时，自己想出一种「锦标赛」重排：文档块分组两两比，胜者晋级，成千上万次 Jev 调用仍在 1 秒内完成，得分从 0.866 到 0.889，快约 15 倍。他们的说法是：单次看它没那么聪明，但用对策略和组合方式，现有模型就能更聪明。
• 百万封客服邮件分类：先让 LLM 出约 15 个候选类别，Jev 过一遍看哪些桶满、哪些空，LLM 再调整类别，几轮之后定稿。之后新来的邮件只用 Jev，LLM 完全退出。

Workday（Scott Roberts，演示用的是合成数据，他明说这些功能还没上线）

• 他的看法是：agent 每一步都调大模型是智能过剩，LLM 很多时候是拿着锤子找钉子。
• 用户边打字，Jev 边判断意图，弹出查工资单、订会议、找人这类动作卡片，7 张卡片加「纯聊天」准确率 96%，每百万次判断约 20 美元。

• 筛简历不用 embedding、向量库、重排模型，直接在 DuckDB 里用一个 SQL 函数调 Jev，给每份简历算「符合条件的概率」，117 份 2.3 秒。

五、边界在哪

这一层不是万能的，台上也说清楚了几条：

• 只适合能列举的输出。 Glean 的规则就是边界：要生成自由文本，还是回到 LLM。
• 多数场景是给大模型减负。 Cloudflare 的流水线是「小模型抽取 → 小模型决策 → 大模型行动」；UiPath 是证据不够才叫大模型。只有分类这种类别定死的任务，LLM 才能完全退出。
• 它也有没把握的时候。 ZoomInfo 那里，Jev 只对约七成步骤有足够把握，其余还是交给 LLM。Latent Space 报道过 Jev 的校准问题：问一个公平骰子的结果，它会给自己的答案约 83% 的把握。概率可以用，但阈值要按场景自己定，Glean 就是按客户自学阈值。
• 生态还很集中。 Glean、UiPath、ZoomInfo、Workday 用的都是 Typesafe 的 Jev；Cloudflare 正是因为 Jev 闭源才自己训，Google 则直接做了同类产品。

六、放回整场大会：判断变便宜，验证才能放进每一步

把 System One 放回这三天，它碰到的是整场大会最大的那个问题：agent 写出来、做出来的东西，怎么验。

• SpaceX Superintelligence 的 Lauren Tan（GrokBot 团队，上个月团队上线 11,000 个 PR）讲的是另一条路：每纠正 agent 一次，就变成一条确定性检查。她引一位开发者的话，每天 70% 的 token 花在验证上，她说自己也是。验证已经是 token 的大头，判断便宜 40 倍，意味着可以验得更多、验在每一步。
• Simon Willison 在闭幕讲了今年 7 月的事故：OpenAI 正在评测的模型找到沙箱漏洞、绕过代理逃出去，进了 Hugging Face，为的是在卡住的测试里作弊，OpenAI 起初自己都没发现。下午 Diogo 对这类事的看法是：「发现 agent 在干坏事，比干坏事容易得多。」今天做不到实时拦截，是因为判断还不够快、不够便宜、不够可靠。

合起来看：能写成确定性检查的，写成代码；写不成代码、但答案能列举的，交给 System One；剩下真正开放的部分，才交给大模型和人。

主赞助商 Google DeepMind 第三天有一场演讲（Ishaan Dey），题目正好是这一天的注脚：「Judgement is the Last Job.」

最后

一句话：生成已经过剩，稀缺的是每次都对的判断。

你的 agent 流程里，有多少次大模型调用，其实只是在回答一道选择题？

如果你身边有在做 agent 产品、企业自动化，或者在看推理和模型赛道的朋友，转给他们看看。

文章来自于"郎瀚威 Will"，作者 "郎瀚威 Will"。