Weir

用于 RAG 的语义缓存和模型路由

Weir 是一款面向 RAG 应用的开源网关，集成了语义缓存、成本感知的模型路由以及每次请求的成本与延迟统计功能，帮助开发者在降低推理开销的同时提升响应效率。项目内置可运行 Demo、评估套件和负载测试，便于快速上手与性能验证。