GitHub · 去对齐工具与仓库·· 3 小时前AI 评分41
LLMBench:无需依赖的本地 LLM 推理端点基准测试 GUI 工具发布 1.0.0
burakkara010/LLMBench
来源与原文
GitHub · 去对齐工具与仓库
发布时间:(北京时间)
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/burakkara010/LLMBench
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
LLMBench 1.0.0 发布,这是一款跨平台 GUI 工具,用于测试 Ollama、vLLM、SGLang、llama.cpp、LM Studio、LocalAI、TensorRT-LLM 等本地 LLM 推理端点性能。它基于 Python 3.8+ 标准库、零依赖,覆盖 TTFT、吞吐、并发、上下文扩展等六项测试,输出均值、中位数、P95 等统计,并支持一键导出 CSV 或 JSON。
来源:GitHub · 去对齐工具与仓库 · github.com