AIHOT · 精选· noreply@aihot.news (LMSYS Blog)·· 10 天前AI 评分37
SGLang 发布 Low-Latency Mode，通过插件框架降低 NVIDIA 与 AMD GPU 推理延迟
SGLang 发布 Low-Latency Mode，通过插件框架在 NVIDIA 和 AMD GPU 上降低推理延迟
来源与原文
AIHOT · 精选
作者：noreply@aihot.news (LMSYS Blog)
发布时间：（北京时间）
阅读原始来源 · aihot.news ↗完整链接与内容说明
https://aihot.news/items/a1dez7azk8nkmj0mgeb9pep03
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
SGLang 团队推出 Low-Latency Mode，通过插件框架引入专用内核来降低推理延迟。该模式在 NVIDIA GB300 和 AMD MI355X GPU 上均实现显著延迟下降。
来源：AIHOT · 精选 · aihot.news