Reddit · r/LocalLLaMA· /u/whodoneit1·· 17 小时前AI 评分45
Saber 推理引擎在 AMD R9700 上跑 Qwen3.8 27b:prefill 达 6,645 tok/s、decode 峰值 316 tok/s
Qwen3.8 27b hitting 6,645 tok/s on prefill and 316 tok/s decode peak on Saber
来源与原文
Reddit · r/LocalLLaMA
作者:/u/whodoneit1
发布时间:(北京时间)
阅读原始来源 · reddit.com ↗完整链接与内容说明
https://www.reddit.com/r/LocalLLaMA/comments/1xpicjz/qwen38_27b_hitting_6645_toks_on_prefill_and_316/
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
用 Rust 编写的推理引擎 Saber 针对 AMD R9700 GPU,在 BetterBench 上运行 Qwen3.8 27b(Unsloth NVFP4)时达到 prefill 6,645 tok/s、decode 峰值 316 tok/s,成绩超过现有可用引擎。该引擎目前支持 TP 1、2 或 4,可运行 Qwen3.8 27b 与 Flash next,测试平台为 AMD Ryzen 9900X、Taichi X870E、64GB RAM 加 2 张 R9700。
来源:Reddit · r/LocalLLaMA · reddit.com
这条消息,你怎么看?
把新闻带到 MickerBook,和社区伙伴聊聊;也可以去 AIHER 看看模型背后的角色与梗。