GitHub · 去对齐工具与仓库·· 8 天前精选AI 评分62
llm-server-benchmark：本地 LLM 推理可复现基准测试框架
Lautloserspieler/llm-server-benchmark
来源与原文
GitHub · 去对齐工具与仓库
发布时间：（北京时间）
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/Lautloserspieler/llm-server-benchmark
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
Lautloserspieler 在 GitHub 发布 llm-server-benchmark，一个面向本地 LLM 推理的可复现基准测试框架，支持 llama.cpp 原生基准与 Docker 化 vLLM 后端，TGI 和 Ollama 处于未发布的 Beta 状态。框架在记录性能结果的同时保存硬件、驱动、后端、模型文件、量化、基准设置与 NVML/rocm-smi 遥测数据，提供 TTFT 与并发压测、长上下文 KV cache 基准、OOM 与多租户等压力测试，输出 HTML/PDF/CSV/JSON 报告，并通过配置指纹、模型 sha256 和 llama-bench 二进制哈希支持带严格校验的跨机器比较。
推荐理由
这个基准框架把硬件、驱动、量化、遥测等条件与性能结果一起记录，并用严格模式校验跨机器比较的可比性。
来源：GitHub · 去对齐工具与仓库 · github.com