Reddit · r/LocalLLaMA· /u/giveen·· 13 天前精选AI 评分58
Ninfer Extended:单张 RTX 5090 上多模型 prefill 与 decode 吞吐实测
Ninfer Extended
来源与原文
Reddit · r/LocalLLaMA
作者:/u/giveen
发布时间:(北京时间)
阅读原始来源 · reddit.com ↗完整链接与内容说明
https://www.reddit.com/r/LocalLLaMA/comments/1x56712/ninfer_extended/
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
/u/giveen 发布 NInfer 的扩展 fork ninfer-ext,在单张 RTX 5090 上实测多款模型的 prefill 与 decode 吞吐。测试覆盖 Gemma 4 26B-A4B (QAT int4)、Gemma 4 31B IT M1、Qwen3.6-35B-A3B(含 nvfp4)、Qwen3.8-27B(含 nvfp4)和 Qwen3.8-Flash-Next nvfp4,给出 1/2/4/8 并发下数据,prefill 最高达 21,897 tokens/s(Qwen3.6-35B-A3B nvfp4,C=8),并对比 plain 与 MTP 投机解码模式。
推荐理由
作者用自家 fork 在单张 RTX 5090 上给出多个模型不同并发与量化档的 prefill 和 decode 数据,可直接比对选型。
来源:Reddit · r/LocalLLaMA · reddit.com