Agent-Eval

针对 LLM 智能体的统计回归测试

Agent-Eval 是一款面向 LLM Agent 的统计回归测试工具，通过将版本 A 与 B 各运行 50 次来输出 p 值、Cohen's d 和 95% 置信区间，从而以严谨的统计方式判断 agent 行为是否发生了实质性变化。与 DeepEval、Braintrust、Promptfoo 等仅对比单次响应是否达标不同，它专注于衡量"分布漂移"，能捕捉传统阈值测试遗漏的细微差异。工具以 Apache 2.0 协议完全支持自托管，原生兼容 LangGraph、OpenAI Agents SDK、CrewAI 和 LangChain LCEL 等主流框架。