摘要
本发明提供一种基于查询路由的大语言模型选择方法，涉及人工智能技术领域。构建针对大语言模型（LLM）的高度自动化测试解决方案，通过创新量化分析弥补传统评估工具未考虑计算成本和延迟指标的局限，实现对模型响应延迟、吞吐性能的精确测量及推理中token消耗与效率的追踪，为评估计算资源利用提供数据支持；同时提出基于强化学习的差异化路由决策机制，针对资源充足与严格受限场景分别采用多臂老虎机算法和近端策略优化（PPO）算法，构建token池资源分配模型并通过包含多指标的长期奖励函数实现资源与性能协同优化，突破传统路由单一策略局限。
