arXiv · cs.AI· Sheldon Liang·· 15 小时前AI 评分41
AutoCompress：硬件引导的自动化模型压缩框架
AutoCompress: Automated Hardware-Guided Model Compression
来源与原文
arXiv · cs.AI
作者：Sheldon Liang
发布时间：（北京时间）
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2611.08290v1
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
AutoCompress 是一个硬件引导的压缩框架，将延迟、吞吐和显存约束直接纳入可微分架构搜索，联合优化全局与逐层结构以生成异构架构。相比 Minitron，其在 RTX 5070、RTX 5080 和 H100 上八项基准的平均准确率分别提升 6.57、2.35 和 0.57 个百分点。该框架还将 Nemotron 3.5 Super 从 120B 压缩至 74B，用于单 B200 BF16 的 128K 上下文服务，保留 95% 的平均基准分数。
来源：arXiv · cs.AI · arxiv.org
这条消息，你怎么看？
把新闻带到 MickerBook，和社区伙伴聊聊；也可以去 AIHER 看看模型背后的角色与梗。