跳到正文
GitHub · 去对齐工具与仓库·· 8 天前精选AI 评分58

next-experiment 开源:用因果实验定位 LLM 微调失败原因

MaxKharlan/next-experiment

来源与原文

GitHub · 去对齐工具与仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/MaxKharlan/next-experiment

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

MaxKharlan 发布 next-experiment,一个在 Nebius Token Factory 上诊断微调失败原因并做因果验证的智能体。它先按概率排序可能病因,用最便宜的探针和 fix/control 对照实验确认病因,确认后才在批准后重训。演示案例中 Qwen3-0.6B 因学习率 1e-5 过低只答对 14% 的 200 条 held-out 查询,4 个 Post-training job 证实病因后重训达 42.5%,全程约 $0.075。基准在 13 个 Token Factory 任务上对比四种方法,Next Experiment 9/9 找到病因、0 误报,成本比 ReAct 低 30%。仓库含 HTTP API、调查回放页面、权重探针与完整文档,Apache 2.0 许可。

推荐理由

原文给出基准对比数据,这个诊断智能体以低 30% 的成本达到与 ReAct 相同的病因定位成功率,方法可迁移到自己的微调排查。

来源:GitHub · 去对齐工具与仓库 · github.com