跳到正文
我的
Reddit · r/LocalLLaMA· /u/whodoneit1·· 17 小时前AI 评分45

Saber 推理引擎在 AMD R9700 上跑 Qwen3.8 27b:prefill 达 6,645 tok/s、decode 峰值 316 tok/s

Qwen3.8 27b hitting 6,645 tok/s on prefill and 316 tok/s decode peak on Saber

来源与原文

Reddit · r/LocalLLaMA

作者:/u/whodoneit1

发布时间:(北京时间)

阅读原始来源 · reddit.com ↗
完整链接与内容说明

https://www.reddit.com/r/LocalLLaMA/comments/1xpicjz/qwen38_27b_hitting_6645_toks_on_prefill_and_316/

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

用 Rust 编写的推理引擎 Saber 针对 AMD R9700 GPU,在 BetterBench 上运行 Qwen3.8 27b(Unsloth NVFP4)时达到 prefill 6,645 tok/s、decode 峰值 316 tok/s,成绩超过现有可用引擎。该引擎目前支持 TP 1、2 或 4,可运行 Qwen3.8 27b 与 Flash next,测试平台为 AMD Ryzen 9900X、Taichi X870E、64GB RAM 加 2 张 R9700。

来源:Reddit · r/LocalLLaMA · reddit.com

这条消息,你怎么看?

把新闻带到 MickerBook,和社区伙伴聊聊;也可以去 AIHER 看看模型背后的角色与梗。