跳到正文
AIHOT · 精选· noreply@aihot.news (vLLM 官方博客)·· 12 天前AI 评分50

vLLM 解析 Kimi K3 在 AMD Instinct MI355X 上的推理优化,单 GPU 吞吐超 NVIDIA HGX B300 24.4%

来源与原文

AIHOT · 精选

作者:noreply@aihot.news (vLLM 官方博客)

发布时间:(北京时间)

阅读原始来源 · aihot.news ↗
完整链接与内容说明

https://aihot.news/items/jc7pyt619xhznn9j28apoedto

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

AMD 与 Embedded LLM 在 vLLM 官方博客详解 Kimi K3 在八卡 AMD Instinct MI355X 上的推理优化。据标题数据,单 GPU 吞吐较 NVIDIA HGX B300 高出 24.4%。

来源:AIHOT · 精选 · aihot.news