jitllm

面向 LLM 推理的操作系统

jitllm 是一款专为 LLM 推理设计的"操作系统"，以单一二进制、无任何依赖的方式即可部署运行。它能自动识别硬件并优化内核与模型在 CPU/GPU 上的分配，预填充速度比 llama.cpp 快至 4.62 倍、批量解码速度比 vLLM 快至 5.53 倍，且支持运行超出内存容量的大型开源模型。产品兼容 OpenAI 和 Anthropic 的 API 协议，并提供桌面端、终端及 Linux、macOS、Windows 全平台支持。