跳到正文
Reddit · r/LocalLLaMA· /u/Suspicious-Mark-5450·· 21 天前精选AI 评分58

作者自研推理引擎 Infernix 发布新版本,针对 RTX5090 优化 Qwen3.8-Flash-Next 运行

Infernix - New Release!

来源与原文

Reddit · r/LocalLLaMA

作者:/u/Suspicious-Mark-5450

发布时间:(北京时间)

阅读原始来源 · reddit.com ↗
完整链接与内容说明

https://www.reddit.com/r/LocalLLaMA/comments/1xl4pf6/infernix_new_release/

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

作者发布自研推理引擎 Infernix 新版本,针对 Windows 和 Linux 上的 RTX5090 优化运行 Qwen3.8-Flash-Next 等最新 Qwen 架构模型。新增 NVIDIA QAD FP4、GSQ-RCO-IQ3_S、FP8 等多个量化版本权重、Ornith 1.5 122B NVFP4 及其 uncensored 版、DFlash2 推测解码草稿模型、WebUI 启动器(beta)和自动推测解码配置;并给出与 Strata、Basalt 的性能对比,声称整体优于 Strata、部分场景优于 Basalt,同时避免专家尾跳过等牺牲质量的优化,新增可完全复现的 --lossless 模式。

推荐理由

作者给出了与 Strata、Basalt 的具体性能和精度对比数据,还解释了各引擎在激活精度上的取舍,方便读者自行判断。

来源:Reddit · r/LocalLLaMA · reddit.com