Reddit · r/LocalLLaMA· /u/zhebrak·· 14 天前AI 评分55
BrokenML:测试 Agent 能否修复故障 ML 作业的基准
BrokenML: can agents fix broken ML jobs?
来源与原文
Reddit · r/LocalLLaMA
作者:/u/zhebrak
发布时间:(北京时间)
阅读原始来源 · reddit.com ↗完整链接与内容说明
https://www.reddit.com/r/LocalLLaMA/comments/1x41pqt/brokenml_can_agents_fix_broken_ml_jobs/
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
作者 /u/zhebrak 发布了自建基准 BrokenML,测试 Agent 在不同权限级别下修复故障 ML 作业的能力,场景包括双节点 Slurm 集群上的 PyTorch over Gloo 和 Docker Compose 里的 llama.cpp 服务器。故障类型覆盖 rank 间 shape 不匹配、挂起的 collective、straggler 节点、OOM、损坏的 checkpoint、调度问题、低服务吞吐和静默 loss 发散,由独立验证器在全新集群上复跑作业来打分。
来源:Reddit · r/LocalLLaMA · reddit.com