跳到正文
GitHub · 去对齐工具与仓库·· 1 小时前精选AI 评分56

AI-Bench 发布 v1.0.0,在本地 CPU/GPU 上评测 LLM 性能

eachan/AI-Bench

来源与原文

GitHub · 去对齐工具与仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/eachan/AI-Bench

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

开源工具 AI-Bench 发布 v1.0.0,可在本地 CPU 和 GPU 上运行 AI/LLM 性能基准并以桌面 UI 展示结果。它封装 llama.cpp llama-bench(GGUF 模型的提示处理与生成吞吐)和 MLPerf Client(跨 llama.cpp/CUDA、DirectML、OpenVINO、TensorRT-RTX 等执行提供方的标准化推理基准),并内置合成基准(GEMM 吞吐、内存带宽、模拟 token 生成)无需下载即可运行。

推荐理由

该工具把 llama.cpp llama-bench 和 MLPerf Client 封装成桌面应用,让用户无需命令行即可在本地硬件上跑标准化 LLM 评测并跨机对比。

来源:GitHub · 去对齐工具与仓库 · github.com