ggufbench 实测 8 个本地 GGUF 模型的 agent 编码能力：27B 级已够用
Which GGUF should a coding agent run? Seven local models + one Strata engine, one harness: tool-calling, code, agent tasks, speed (mean ± std, 3 seeds per task)
来源与原文
Reddit · r/LocalLLaMA
作者：/u/Joralk_
发布时间：（北京时间）
阅读原始来源 · reddit.com ↗完整链接与内容说明
https://www.reddit.com/r/LocalLLaMA/comments/1xcjhmm/which_gguf_should_a_coding_agent_run_seven_local/
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
作者 /u/Joralk_ 自建 harness，在 2× RTX 5080 上以统一采样配置实测 8 个本地 GGUF 模型的工具调用、代码与 agent 任务，每任务跑 3 个种子并统计均值与标准差。结果显示 125B 的 Qwen3.8-Flash-Next 并非榜首，35B MiniCPM-V-4.7 与 27B Qwen3.8 在 agent 任务上与其持平，工具调用可靠性比模型规模更关键；开启 thinking 模式使 27B 代码分从 0.79 升至 0.93、agent 分从 0.90 升至 0.96，但延迟从 36 ms 增至 629 ms 且每调用多花约 253 个中位 token。
作者自建 harness 实测 8 个本地 GGUF 模型的工具调用与 agent 编码表现，还给出 thinking 模式开关的量化代价，方法可复用。
来源：Reddit · r/LocalLLaMA · reddit.com