ggufbench 实测 8 个本地 GGUF 模型的 agent 编码能力:27B 级已够用
作者 /u/Joralk_ 自建 harness,在 2× RTX 5080 上以统一采样配置实测 8 个本地 GGUF 模型的工具调用、代码与 agent 任务,每任务跑 3 个种子并统计均值与标准差。结果显示 125B 的 Qwen3.8-Flash-Next 并非榜首,35B MiniCPM-V-4.7 与 27B Qwen3.8 在 agent 任务上与其持平,工具调用可靠性比模型规模更关键;开启 thinking 模式使 27B 代码分从 0.79 升至 0.93、agent 分从 0.90 升至 0.96,但延迟从 36 ms 增至 629 ms 且每调用多花约 253 个中位 token。
推荐理由:作者自建 harness 实测 8 个本地 GGUF 模型的工具调用与 agent 编码表现,还给出 thinking 模式开关的量化代价,方法可复用。