Antirion

AITNT-国内领先的一站式人工智能新闻资讯网站
# 热门搜索 #
Antirion
访问
10
31347

你的 AI 网关应只增加 0.5 毫秒,而不是 20 毫秒。


Antirion 是面向 OpenAI、Anthropic 等大模型的开源、自托管 AI 网关,以单一 Rust 二进制提供跨提供商故障转移、团队与密钥预算、PII 和密钥脱敏、缓存及请求路由与成本日志。其网关开销仅约 0.5 毫秒,在 4 vCPU 下可承载 5,000 RPS 运行,并支持最高 14,000 RPS。