tool-eval-bench:面向 vLLM、SGLang、llama.cpp 等自托管推理栈的工具调用质量基准
SeraphimSerapis 在 GitHub 发布 tool-eval-bench,一个针对智能体工作流中大语言模型工具调用质量的开源基准,支持 vLLM、SGLang、LiteLLM、llama.cpp、TensorFold 及 Gemini、Anthropic 端点。它通过 OpenAI 兼容接口运行 69 个确定性场景(另有 23 个可选 Hard Mode),按 pass/partial/fail 评分并生成对话 trace;附带吞吐、长上下文检索、GSM8K/MMLU/IFEval 等评测,安全违规且安全组得分低于 50% 时评级封顶三星。
推荐理由:这是一个面向自托管推理栈的工具调用质量基准,场景设计、评分规则和部署元数据分组都写得具体,适合想对比本地模型工具调用能力的人参考。