作者将 Qwen3-4B 后训练为工具调用 Agent,66 MB llama.cpp LoRA 可在 Mac 上运行
I post-trained Qwen3-4B as a tool-using agent, and the result runs on a Mac as a 66 MB llama.cpp LoRA. Validation 0.51 → 0.83, everything open, including what didn't work
来源与原文
Reddit · r/LocalLLaMA
作者:/u/DesignerIsland5524
发布时间:(北京时间)
阅读原始来源 · reddit.com ↗完整链接与内容说明
https://www.reddit.com/r/LocalLLaMA/comments/1xi8yav/i_posttrained_qwen34b_as_a_toolusing_agent_and/
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
Reddit 用户 /u/DesignerIsland5524 发布了自建 Agent 框架 Tadpole,将 Qwen3-4B 后训练为工具调用 Agent,144 项验证集分数从 0.507 提升到 0.826,适配器以 66 MB llama.cpp LoRA 形式在 Hugging Face 开放,可加载在 Q8_0 GGUF 之上于 16 GB M5 Mac 本地运行。SFT 用验证过的轨迹使虚假完成声明从 420 次运行中的 31 次降到 1 次;expert iteration 在验证集提升明显但在 held-out 测试上与起点持平;GRPO 在同等 rollout 预算下全面落后。
作者给出各训练阶段的验证与held-out分数对比,还写明了GRPO败给expert iteration等失败经验,可复现成本约140美元。
来源:Reddit · r/LocalLLaMA · reddit.com