跳到正文
热点事件持续更新

LLMBench 1.0.0 发布:零依赖的本地 LLM 推理基准测试 GUI 工具

1 篇报道1 个报道来源2 小时前更新

先了解这件事

AI 综述

burakkara010 发布了 LLMBench 1.0.0,一款用于测试本地 LLM 推理端点性能的跨平台 GUI 工具,支持 Ollama、vLLM、SGLang、llama.cpp、LM Studio、LocalAI、TensorRT-LLM 等 OpenAI 兼容服务器。 该工具基于 Python 3.8+ 标准库构建,零依赖,覆盖 TTFT、吞吐、并发、上下文扩展等六项测试,输出均值、中位数、P95 等统计结果,并支持一键导出 CSV 或 JSON。许可证允许自由使用、修改和分享,不提供任何担保。

AI 根据报道生成 · 2 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月28日
  1. GitHub · 去对齐工具与仓库
    LLMBench:无需依赖的本地 LLM 推理端点基准测试 GUI 工具发布 1.0.0

    LLMBench 1.0.0 发布,这是一款跨平台 GUI 工具,用于测试 Ollama、vLLM、SGLang、llama.cpp、LM Studio、LocalAI、TensorRT-LLM 等本地 LLM 推理端点性能。它基于 Python 3.8+ 标准库、零依赖,覆盖 TTFT、吞吐、并发、上下文扩展等六项测试,输出均值、中位数、P95 等统计,并支持一键导出 CSV 或 JSON。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。