GitHub · 去对齐工具与仓库·· 1 小时前精选AI 评分56
AI-Bench 发布 v1.0.0,在本地 CPU/GPU 上评测 LLM 性能
eachan/AI-Bench
来源与原文
GitHub · 去对齐工具与仓库
发布时间:(北京时间)
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/eachan/AI-Bench
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
开源工具 AI-Bench 发布 v1.0.0,可在本地 CPU 和 GPU 上运行 AI/LLM 性能基准并以桌面 UI 展示结果。它封装 llama.cpp llama-bench(GGUF 模型的提示处理与生成吞吐)和 MLPerf Client(跨 llama.cpp/CUDA、DirectML、OpenVINO、TensorRT-RTX 等执行提供方的标准化推理基准),并内置合成基准(GEMM 吞吐、内存带宽、模拟 token 生成)无需下载即可运行。
推荐理由
该工具把 llama.cpp llama-bench 和 MLPerf Client 封装成桌面应用,让用户无需命令行即可在本地硬件上跑标准化 LLM 评测并跨机对比。
来源:GitHub · 去对齐工具与仓库 · github.com