QFN 量化与 CUDA 选择讨论:Qwen3.8-Flash-Next 在 Strata 与 5090/4090 工作站上的实测
一位用户在 5090+4090(152GB 总内存)工作站和 128GB 内存的 Strix Halo 上测试 Qwen3.8-Flash-Next 的不同量化版本,发现 ISTA-DASLab 的 GSQ-RCO-GGUF(Q3_S)效果最好,unsloth 较大量化则出现大量 tool calling 问题。Strata 上没有这些问题,且其针对 QFN 调整了 LlamaCpp,但存在一类无法绕过的坏输出错误;Gufo 仅适用于 Strix Halo。作者询问 CUDA 平台还有哪些可选方案。