GitHub · 去对齐工具与仓库·· 8 天前精选AI 评分58
next-experiment 开源:用因果实验定位 LLM 微调失败原因
MaxKharlan/next-experiment
来源与原文
GitHub · 去对齐工具与仓库
发布时间:(北京时间)
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/MaxKharlan/next-experiment
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
MaxKharlan 发布 next-experiment,一个在 Nebius Token Factory 上诊断微调失败原因并做因果验证的智能体。它先按概率排序可能病因,用最便宜的探针和 fix/control 对照实验确认病因,确认后才在批准后重训。演示案例中 Qwen3-0.6B 因学习率 1e-5 过低只答对 14% 的 200 条 held-out 查询,4 个 Post-training job 证实病因后重训达 42.5%,全程约 $0.075。基准在 13 个 Token Factory 任务上对比四种方法,Next Experiment 9/9 找到病因、0 误报,成本比 ReAct 低 30%。仓库含 HTTP API、调查回放页面、权重探针与完整文档,Apache 2.0 许可。
推荐理由
原文给出基准对比数据,这个诊断智能体以低 30% 的成本达到与 ReAct 相同的病因定位成功率,方法可迁移到自己的微调排查。
来源:GitHub · 去对齐工具与仓库 · github.com