BaseRT

比 llama.cpp 快 6.4 倍，比 MLX 快 3.9 倍

BaseRT 是面向 Apple Silicon 的极速 LLM 推理引擎，性能比 llama.cpp 快 6.4 倍、比 MLX 快 3.9 倍。仅需一行命令即可完成安装，让你轻松在本地设备上高效运行大语言模型，享受安全私密的高性能 AI 推理体验。