跳到正文
GitHub · 灵魂体仓库·· 20 天前精选AI 评分71

tool-eval-bench:面向 vLLM、SGLang、llama.cpp 等自托管推理栈的工具调用质量基准

SeraphimSerapis/tool-eval-bench

来源与原文

GitHub · 灵魂体仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/SeraphimSerapis/tool-eval-bench

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

SeraphimSerapis 在 GitHub 发布 tool-eval-bench,一个针对智能体工作流中大语言模型工具调用质量的开源基准,支持 vLLM、SGLang、LiteLLM、llama.cpp、TensorFold 及 Gemini、Anthropic 端点。它通过 OpenAI 兼容接口运行 69 个确定性场景(另有 23 个可选 Hard Mode),按 pass/partial/fail 评分并生成对话 trace;附带吞吐、长上下文检索、GSM8K/MMLU/IFEval 等评测,安全违规且安全组得分低于 50% 时评级封顶三星。

推荐理由

这是一个面向自托管推理栈的工具调用质量基准,场景设计、评分规则和部署元数据分组都写得具体,适合想对比本地模型工具调用能力的人参考。

来源:GitHub · 灵魂体仓库 · github.com