Reddit · r/LocalLLaMA· /u/Suspicious-Mark-5450·· 21 天前精选AI 评分58
作者自研推理引擎 Infernix 发布新版本,针对 RTX5090 优化 Qwen3.8-Flash-Next 运行
Infernix - New Release!
来源与原文
Reddit · r/LocalLLaMA
作者:/u/Suspicious-Mark-5450
发布时间:(北京时间)
阅读原始来源 · reddit.com ↗完整链接与内容说明
https://www.reddit.com/r/LocalLLaMA/comments/1xl4pf6/infernix_new_release/
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
作者发布自研推理引擎 Infernix 新版本,针对 Windows 和 Linux 上的 RTX5090 优化运行 Qwen3.8-Flash-Next 等最新 Qwen 架构模型。新增 NVIDIA QAD FP4、GSQ-RCO-IQ3_S、FP8 等多个量化版本权重、Ornith 1.5 122B NVFP4 及其 uncensored 版、DFlash2 推测解码草稿模型、WebUI 启动器(beta)和自动推测解码配置;并给出与 Strata、Basalt 的性能对比,声称整体优于 Strata、部分场景优于 Basalt,同时避免专家尾跳过等牺牲质量的优化,新增可完全复现的 --lossless 模式。
推荐理由
作者给出了与 Strata、Basalt 的具体性能和精度对比数据,还解释了各引擎在激活精度上的取舍,方便读者自行判断。
来源:Reddit · r/LocalLLaMA · reddit.com