GitHub · 灵魂体仓库·· 20 天前AI 评分44
Vonzlov 开源 llm-bench:面向任务选择的 LLM 对比评测工具
Vonzlov/llm-bench
来源与原文
GitHub · 灵魂体仓库
发布时间:(北京时间)
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/Vonzlov/llm-bench
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
Vonzlov 的 llm-bench 项目用统一基准对比 Ollama、vLLM 本地模型与云端 API 模型的质量、速度和价格,并给出推荐。项目已完成阶段 0(脚手架、CI、假模型、k3s GPU 支持),阶段 1 核心包括测量客户端、负载生成器(1–32 并发阶梯)、MASSIVE 和 XQuAD 开源数据集下载,以及分类任务的质量评测(准确率、macro-F1、95% bootstrap 区间)。整个系统在单台 GPU 机器上以 Kubernetes 运行,架构不绑定具体机器。
来源:GitHub · 灵魂体仓库 · github.com