GitHub · 灵魂体仓库·· 20 天前精选AI 评分75
the-benchmark 发布：本地 LLM 服务器基准工具并新增 Studio 本地 UI
MrBrunoWolff/the-benchmark
来源与原文
GitHub · 灵魂体仓库
发布时间：（北京时间）
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/MrBrunoWolff/the-benchmark
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
作者发布 the-benchmark，一个零依赖的本地 LLM 服务器基准工具（https://github.com/MrBrunoWolff/the-benchmark），支持任何 OpenAI 兼容的 /v1/chat/completions 端点，包括 LM Studio、Ollama、llama.cpp server 和 vLLM。工具测量 prefill、generation、concurrency 和 agentic 四个阶段，并新增可选的 Studio 本地 UI，可用 Docker 隔离环境运行经独立验证的编码与文件类 agent 任务。
推荐理由
这是作者对自家本地 LLM 基准工具的完整说明，四组实测数据展示了为什么 tok/s 不能预测 agent 任务的实际完成时间。
来源：GitHub · 灵魂体仓库 · github.com