跟AI说“出片穿搭”，它真能听懂！淘宝ShopX让大模型直接“卖货”了

大模型时代，电商入口正在从“关键词搜索”变成“意图表达”。用户不再输入关键词，而是像和导购对话一样表达复杂需求：

“我周末去迪士尼，想要拍照好看、走一天也舒服，天气可能会下小雨，帮我搭一套。”

这不再是简单检索。它同时包含场景、风格、天气、舒适度、搭配关系和个人偏好。

更复杂的是，用户可能会继续追问：

“这双鞋挺好看，再找几双类似的，但要更软一点。”

这时，系统不仅要理解“更软一点”，还要记住“这双”是哪一双、用户为什么喜欢它，以及新的推荐是否仍然符合“迪士尼、拍照、走一天、小雨”的原始场景。

而当前很多系统，仍然是大模型负责理解意图、改写query，真正的商品检索和排序交给外部搜推工具完成。传给工具时，丰富的上下文可能只剩下：

“主题乐园穿搭 相似运动鞋 轻便防水 软”

这是当前业界AI+电商方案中的共性瓶颈——当购物意图从大模型传递到外部检索系统时，复杂的场景信息不可避免地被压缩。研究者们将这类问题统称为Interface Loss（接口损耗）。

为了解决它，团队提出了ShopX：一个面向agentic shopping的电商大模型。它不仅仅是在搜索框外面套一个会“说话”和“调用工具”的LLM，而是赋予模型直接进入商品空间的能力，让大模型成为商品履约的核心，学会在商品空间中规划、检索、排序、组合和生成结果，进而减少接口损耗。

背景

从技术视角看，ShopX关注的不是让模型“更会聊天”，而是让模型更可靠地把用户意图转化为商品结果。传统tool-mediated方案把复杂购物意图拆成自然语言理解、query改写、检索、排序等多个外部环节，模型与商品空间之间始终隔着工具接口；当购物需求变成多轮、场景化、个性化的Agentic Workflow，接口损耗就会被持续放大。

这种损耗的根源在于，用户表达的是完整购物任务，而工具接口通常接收的是被压缩后的检索条件。大模型可以理解“适合下雨天去乐园、走路不累、还要拍照好看”背后的场景和取舍，但一旦进入外部搜索链路，这些软约束、搭配关系和历史偏好往往会被拆成若干关键词或过滤条件，难以在后续排序、组合和解释中持续生效。

因此，AI购物模型需要从“会调用搜索工具”进一步走向“能在商品空间中履约”：既要理解自然语言，也要知道商品之间的相似、替代、互补和组合关系；既要能给出商品，也要能在多轮反馈中稳定保留用户偏好。ShopX正是在这个背景下提出的模型原生商品履约框架。

ShopX：模型原生的商品履约框架

Overview

ShopX的核心思路：让大模型自己就能操作商品，而非翻译给外部系统。

ShopX由中心模型和轻量级Serving Harness组成。Harness提供用户画像（Context）、商品目录映射（Catalog）和多轮状态（State）三大服务模块；模型按Plan→Execute→Fulfill→Update四步完成每轮交互，支持三种服务模式：显式购物请求的Intent-to-Item Fulfillment、模糊请求的Context-Augmented Personalization、以及跟进修改的Stateful Multi-Turn Fulfillment。

ShopX不是一个“聊天壳”，也不是只会生成商品ID的召回模型，而是AI购物中的履约模型：既能理解自然语言，也能直接操作商品空间，还能把推荐结果稳定grounded到真实商品目录中。根据不同请求，ShopX可以完成SID Beam Search检索、Listwise排序选品、种子商品扩展、跨品类搭配组合、商品对比、文本与SID交织回复，以及追问澄清和偏好记忆更新等多种履约操作。

Semantic ID：商品语言

每个商品被编码为一段Semantic ID（SID）加入大模型词表。ShopX关心的不是“如何给商品编号”，而是什么样的SID能支撑大模型完成从意图到商品的履约，因此强调两点：Recoverability（从SID可推断商品的品类、属性、风格）和Operability（适合大模型的自回归生成范式）。

构建分两步。第一步，用Qwen3-VL-Embedding-2B统一编码商品图片、属性和标题，采用Equivalent-Product Supervision+Soft InfoNCE contrastive learning，输出全局向量（路由）+多个局部向量（细粒度语义）。第二步，采用Global+Local混合编码：2级全局前缀（RQ-VAE）负责稳定路由，4级局部后缀（VQ）补充细粒度语义。每级codebook 8192，共新增约5万个SIDtoken。

对比纯全局方案，混合编码将单个SID平均挂载商品数从126.5降到13.8，区分度提升近10倍，同时语义恢复能力（SID→Desc ROUGE）从25.5提升到31.5。

四阶段训练：模型不止是个SID预测器

ShopX的训练难点不只是让模型学会预测SID，而是在进入商品空间的同时，保留购物Agent需要的通用指令跟随、多轮对话、画像理解、排序、解释等能力。基座模型Qwen3（4B/8B），四阶段逐步训练：

• 对齐阶段：冻结原模型，仅训练新增SID token embedding，建立编码与商品描述的双向映射。Ablation验证了这一步是后续CPT的必要前置。
• 领域持续预训练：注入电商领域知识（商品目录与SID对应、意图/行为到商品映射、用户偏好理解），同时混入通用数据防止灾难性遗忘，领域与通用2:1，总计约114B token。
• 指令微调：将领域知识转化为任务格式。通用数据占比约75%（指令跟随、多轮对话、工具调用、数学推理、代码生成），电商数据约25%（SID原生履约、上下文理解、购物对话），避免模型退化为纯SID预测器。
• 多教师在线蒸馏与强化学习：核心创新阶段。如果只强化SID预测，模型会更会“找商品”，但可能丢掉对话、画像抽取、排序和解释能力。团队将训练样本路由到五个task family，其中每个用不同的teacher+reward组合：

Post-training ablation验证了这套设计：纯SID微调后画像提取和排序直接归零（seesaw effect）；逐步加入三个教师和三种reward后，各维度分别恢复和提升且互不干扰。这意味着本阶段成功解耦了不同能力维度的优化。

实验结果

框架级评估

基于淘宝真实匿名日志（279单轮+80多轮），对比ShopX与Chat-REC/RecMind/InteRecAgent。三个baseline均使用Qwen3-8B+淘宝线上搜索服务（经过多年迭代、服务亿级用户的成熟检索排序系统），baseline的搜索后端本身就很强。评估采用Rubric-based LLM Judge，覆盖意图满足、商品精度、约束遵守、反馈响应、跨轮引用等八个维度。

下表选取五个最具区分度的指标：Intent Fulfillment衡量用户购物意图是否被成功转化为满意的商品结果；Item Precision衡量推荐商品与用户目标品类的匹配度；Constraint Grounding衡量对用户显式约束（如价格、品牌、功能要求）的遵守程度；Feedback Adaptation衡量用户给出反馈后模型能否有效修正推荐且不丢失已有偏好；Cross-turn Reference衡量用户引用前几轮推荐的商品时模型能否正确解析并执行对应操作。

ShopX在单轮Intent Fulfillment上略低于Chat-REC（69.2vs72.2），说明tool-mediated方案配合强搜索后端在直接请求上仍有竞争力。但ShopX的核心优势在多轮有状态交互：Feedback Adaptation领先11.7分，Cross-turn Reference领先20.8分。当用户需求涉及多轮反馈、商品引用和场景约束时，interface loss会被放大，而模型原生履约能更稳定地保留上下文。

能力分解

购物能力全面提升（vsQwen3-8B）：商品关联推理（理解商品间替代/互补关系）28.3→49.7（+21.4）、行为序列证据提取（从用户行为历史中选出与当前请求相关的信号）16.1→52.7（+36.6）、画像证据提取（从用户画像中提取有用信息）52.9→76.9（+24.0）、商品描述恢复（从SID反向恢复商品语义信息）10.1→33.2（+23.1）。

通用能力大部分保持：BBH（综合推理）74.1（+0.9）、CMMLU（中文知识）75.8（+1.6）、GSM8K（数学推理）88.6（+0.4）、MBPP+（代码生成）83.1（+8.0）。在较指令遵循和复杂的通用任务上有一定下降：IFEval（指令跟随）78.4（-3.5）、MMLU-Pro（多学科知识）59.3（-3.6）、MATH-500（竞赛数学）59.6（-16.6）、GPQA-Diamond（研究生级科学问答）41.4（-6.1），说明高难度推理和数学是领域训练的代价区，但这些能力对购物场景非核心。

Case分析

文章提供了ShopX与Tool-mediated baseline的逐轮对比Case，覆盖单轮和多轮场景。这里各选一个最有代表性的。

Case 1：单轮复杂需求，一次完成完整购物。用户希望同时购买骑行头盔和骑行手套，本质上属于典型的Bundle Shopping。传统Agent往往围绕主商品发起独立搜索，容易忽略手套等互补商品，只能完成部分需求。相比之下，ShopX直接理解用户的整体购物目标，在Item Space中联合规划多个商品类别，一次性生成完整的骑行装备组合，实现真正的Single-turn Bundle Fulfillment。

Case 2：多轮连续对话，持续保持购物状态。在多轮对话中，用户不断基于上一轮推荐补充新的需求，而不是重新开始购物。传统Tool-based Agent每轮通常需要重新检索，容易丢失已确定的商品和用户偏好，导致推荐逐渐偏离需求。ShopX将整个购物过程建模为持续演化的状态，在保留历史推荐和已确认约束的基础上，仅针对新增需求进行调整，实现Stateful Fulfillment，让推荐在连续对话中保持一致性和连贯性。

团队介绍

这项研究来自淘天AI搜团队以及推荐内容理解、阿里巴巴Token Foundry事业部、ROLL团队。

该团队重点探索电商搜索从“关键词匹配”向“自然语言理解、意图推理和智能履约”的升级，让模型更好地理解复杂购物需求、多轮上下文和真实商品空间。

研究方向包括：

• AI Search&Agentic Shopping：面向自然语言购物需求的意图理解、搜索规划、多轮澄清与商品履约
• 生成式推荐：基于大模型架构的生成式召回、商品履约，以及商品、图片、视频等多模态内容的Semantic ID构建与工业化
• 多模态表征学习：商品图文融合表示、跨模态检索与匹配

论文链接：https://arxiv.org/abs/2606.31693

感兴趣的同学可以向这个邮箱投递简历：fangcheng.zjj@alibaba-inc.com

文章来自于微信公众号 “量子位”，作者 “量子位”