跳到正文
只看工程#无对齐发布
  1. Reddit · r/LocalLLaMA72

    RTX 5090 上实测 Qwen3.8-Flash-Next：Infernix NVFP4 对比 Strata，512k 上下文解码 137 tok/s

    /u/zipzak 在 5090 + 192GB Windows 机器上，对 Qwen3.8-Flash-Next Uncensored（abliterated checkpoint）做了 Strata 0.1.41（Q4_K_S）与 Infernix 2026.10.09.2（NVFP4）的同日 A/B 评测。结果为 Infernix 512k 上下文解码 137.0 tok/s、冷预填充 3,497 tok/s，262k 下比 Strata 快约 23%；两者 PPL 统计持平，视觉功能均可用，作者将 Infernix 作为日常主力。

    推荐理由：作者在同一硬件与同一推理契约下对两个推理引擎做同日 A/B 实测，给出了解码速度、预填充、质量和冷启动数据，方法可参考。

  1. Reddit · r/LocalLLaMA60

    在 RTX 4090 上以 262K 上下文和约 130 tok/s 运行无审查版 Qwen3.8-27B（HauhauCS）

    作者将 HauhauCS 发布的无审查 Qwen3.8-27B（GGUF 格式）转换为自研 C++/CUDA 推理引擎 NInfer 的格式，在单张 4090 上跑出 262K 全原生上下文、约 130 tok/s 解码速度（MTP3，70.8% 接受率）、9K 提示词下 3,591 tok/s 预填充，Perplexity 与官方产物差距在 1.3% 以内，视觉和工具调用仍可用，采用 E8 4Bit 量化。转换器与说明见 https://github.com/T-Crypt/ninfer-4090/pull/4，仓库为 ninfer。

    推荐理由：作者给出转换前后速度、上下文和困惑度的对照数字，读者可据此评估自研推理格式在量化去对齐模型上的可用性。

已经到底了