跳到正文
Reddit · r/LocalLLaMA· /u/zhebrak·· 14 天前AI 评分55

BrokenML:测试 Agent 能否修复故障 ML 作业的基准

BrokenML: can agents fix broken ML jobs?

来源与原文

Reddit · r/LocalLLaMA

作者:/u/zhebrak

发布时间:(北京时间)

阅读原始来源 · reddit.com ↗
完整链接与内容说明

https://www.reddit.com/r/LocalLLaMA/comments/1x41pqt/brokenml_can_agents_fix_broken_ml_jobs/

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

作者 /u/zhebrak 发布了自建基准 BrokenML,测试 Agent 在不同权限级别下修复故障 ML 作业的能力,场景包括双节点 Slurm 集群上的 PyTorch over Gloo 和 Docker Compose 里的 llama.cpp 服务器。故障类型覆盖 rank 间 shape 不匹配、挂起的 collective、straggler 节点、OOM、损坏的 checkpoint、调度问题、低服务吞吐和静默 loss 发散,由独立验证器在全新集群上复跑作业来打分。

来源:Reddit · r/LocalLLaMA · reddit.com