Reddit · r/LocalLLaMA· /u/jesdga95·· 3 天前AI 评分55
七款 Qwen 3.8 FN 推理引擎单张 RTX 5090 实测对比,Basalt 与 Infernix 领先
I ran all the popular Qwen 3.8 FN engines on a single 5090 + 128GB of RAM, here are the numbers
来源与原文
Reddit · r/LocalLLaMA
作者:/u/jesdga95
发布时间:(北京时间)
阅读原始来源 · reddit.com ↗完整链接与内容说明
https://www.reddit.com/r/LocalLLaMA/comments/1xdlunp/i_ran_all_the_popular_qwen_38_fn_engines_on_a/
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
作者在单张 RTX 5090(400 W)加 128GB 内存的 Linux 机器上,对 Strata、Infernix、capy-flash、ninfer-ext、ninfer、llama.cpp 和 Basalt 七个 Qwen 3.8 FN 推理引擎做了基准测试,每个引擎各自转换 NVIDIA NVFP4 权重后跑相同的七个 greedy 请求,每个请求独立冷启动。
来源:Reddit · r/LocalLLaMA · reddit.com