arXiv · cs.AI· Trevor McCourt·· 20 天前AI 评分36
容错基础模型:LLM 可被训练适应不可靠硬件
Fault-tolerant foundation models
来源与原文
arXiv · cs.AI
作者:Trevor McCourt
发布时间:(北京时间)
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2610.10311v1
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
一项 arXiv 研究显示,LLM 可以被训练以容忍硬件不可靠性,且随着模型规模增大,其错误韧性反而提升。基于 40,000 GPU-hours 在模拟故障数字硬件上的训练,研究者推导出修正的神经缩放定律,并猜想经过适当训练的 LLM 可能是形式上容错的,这意味着在低功耗故障硬件上运行 AI 推理有望带来可观的能耗节省。
来源:arXiv · cs.AI · arxiv.org