Reddit · r/LocalLLaMA· /u/Lost-Masterpiece2400·· 10 天前AI 评分42
Qwen3 14B 评测模型不比 8B 强:一处提示词修改让正确评分从 3/14 升到 10/14
My 14B judge did no better than the 8B. One prompt change took it from 3/14 to 10/14.
来源与原文
Reddit · r/LocalLLaMA
作者:/u/Lost-Masterpiece2400
发布时间:(北京时间)
阅读原始来源 · reddit.com ↗完整链接与内容说明
https://www.reddit.com/r/LocalLLaMA/comments/1x81z6r/my_14b_judge_did_no_better_than_the_8b_one_prompt/
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
一位 LocalLLaMA 用户在 Ollama 本地 agent 环境中测试发现,Qwen3 14B 作为 judge 模型并不比 qwen3:8b 更准,还因超出 3060 VRAM 慢约 3 倍。失败主因是 judge 把 coder 仅提出而未执行的命令也扣分;在提示词中说明这一区别后,正确评分从 3/14 提升到 10/14。作者认为结构比模型规模更重要,但样本较小。
来源:Reddit · r/LocalLLaMA · reddit.com