跳到正文
GitHub · 灵魂体仓库·· 18 天前精选AI 评分75

m-bench 开源本地 LLM 全栈基准工具,推荐 Qwen3.6-35B-A3B-NVFP4 加 vLLM 配置

luongnv89/m-bench

来源与原文

GitHub · 灵魂体仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/luongnv89/m-bench

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

luongnv89 在 GitHub 开源 m-bench,一套针对自己机器基准测试完整 LLM 配置(serving 参数、thinking 模式、编码代理)的工具,每个任务附参考解,validate 需 28/28 通过。当前最佳配方为 unsloth/Qwen3.6-35B-A3B-NVFP4(MoE,约 3B 激活)跑 vLLM,关 thinking,core16+hard12 达 82.1% pass@1,吞吐约 35-48 tok/s 单流。多轮实测显示 thinking 对一次性代码生成多耗约 13 倍输出 token 仅换 +1.7 分,但在工具循环中可把轮次从 6.8 降到 5.2;同一权重经四个不同代理得分相差最多 23 分。

推荐理由

原文用多轮实测数据说明同一模型在不同配置和代理下得分差异巨大,为本地部署选型提供了可复用的基准方法和结论。

来源:GitHub · 灵魂体仓库 · github.com