一种智能体平台大模型并发控制方法及装置

本发明公开一种智能体平台大模型并发控制方法及装置，涉及智能体与大模型协同技术领域。方法包括：设大模型网关作流量管控节点，集成并发统计与控制模块；路由智能体平台请求，按租户‑模型对配并发阈值，建动态连接池；接收请求时更新并发数，超阈值熔断，结束则回调减计数。装置含网关构建、功能集成等模块。本发明通过精准管控租户‑模型维度并发，避免资源挤占，保障系统稳定，提升智能体与大模型协同效率，适用于多租户SaaS、多场景业务等智能体‑大模型交互场景。