最高节省 85% 成本:微软公布 AI 智能体 LLM 路由方案
最高节省 85% 成本:微软公布 AI 智能体 LLM 路由方案Microsoft 发布了 一个用于在 Azure Kubernetes 服务 上路由智能体流量的参考架构。它将这个问题分解为三个关键选择:由哪个模型响应调用、如何管理调用,以及由哪个 GPU 副本处理调用。
来自主题: AI资讯
5820 点击 2026-08-10 14:43
搜索
Microsoft 发布了 一个用于在 Azure Kubernetes 服务 上路由智能体流量的参考架构。它将这个问题分解为三个关键选择:由哪个模型响应调用、如何管理调用,以及由哪个 GPU 副本处理调用。