跳到正文
Reddit · r/LocalLLaMA· /u/DesignerIsland5524·· 3 小时前精选AI 评分70

作者将 Qwen3-4B 后训练为工具调用 Agent,66 MB llama.cpp LoRA 可在 Mac 上运行

I post-trained Qwen3-4B as a tool-using agent, and the result runs on a Mac as a 66 MB llama.cpp LoRA. Validation 0.51 → 0.83, everything open, including what didn't work

来源与原文

Reddit · r/LocalLLaMA

作者:/u/DesignerIsland5524

发布时间:(北京时间)

阅读原始来源 · reddit.com ↗
完整链接与内容说明

https://www.reddit.com/r/LocalLLaMA/comments/1xi8yav/i_posttrained_qwen34b_as_a_toolusing_agent_and/

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

Reddit 用户 /u/DesignerIsland5524 发布了自建 Agent 框架 Tadpole,将 Qwen3-4B 后训练为工具调用 Agent,144 项验证集分数从 0.507 提升到 0.826,适配器以 66 MB llama.cpp LoRA 形式在 Hugging Face 开放,可加载在 Q8_0 GGUF 之上于 16 GB M5 Mac 本地运行。SFT 用验证过的轨迹使虚假完成声明从 420 次运行中的 31 次降到 1 次;expert iteration 在验证集提升明显但在 held-out 测试上与起点持平;GRPO 在同等 rollout 预算下全面落后。

推荐理由

作者给出各训练阶段的验证与held-out分数对比,还写明了GRPO败给expert iteration等失败经验,可复现成本约140美元。

来源:Reddit · r/LocalLLaMA · reddit.com