GitHub

基于 Redis 的 LLM API 调用透明语义缓存

Khazad 是一款运行在 Redis 8 上的 LLM API 调用透明语义缓存工具。它在 httpx 传输层拦截 LLM HTTP 流量，无需修改代码就能从 Redis 向量缓存中返回语义等价的请求结果，支持 OpenAI、Anthropic、Gemini 等主流大模型服务。它提供模型感知、对话感知缓存，支持完整流式响应、TTL 配置和可调相似度阈值，开源免费（MIT 协议），能帮你避免为重复提示付费。