Inferbench

在您的硬件上对本地 LLM 引擎进行基准测试

InferBench 是一款供应商中立的命令行工具，能在用户自己的硬件上直接测试 ollama、llama.cpp 等本地 LLM 推理引擎的真实性能，输出实测的 tokens/s 数据。它会自动识别已安装的引擎、运行统一的测试集，并推荐最适合当前机器的最快配置；项目完全开源（Apache 2.0 协议），支持自托管部署。