跳到正文
我的
Reddit · r/LocalLLaMA· /u/Jagerius·· 3 小时前AI 评分18

Strata 量化格式怎么选:GSQ-RCO IQ3_S、NVFP4 还是 Unsloth UD-Q4_K_XL?

Strata - QFN GSQ-RCO1 IQ_S3, NVFP4, Unsloth UD-IQ4_XS or Unsloth UD-Q4_K_XL?

来源与原文

Reddit · r/LocalLLaMA

作者:/u/Jagerius

发布时间:(北京时间)

阅读原始来源 · reddit.com ↗
完整链接与内容说明

https://www.reddit.com/r/LocalLLaMA/comments/1xkkjov/strata_qfn_gsqrco1_iq_s3_nvfp4_unsloth_udiq4_xs/

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

一位 Reddit r/LocalLLaMA 用户在 Ryzen 7 9800X3D、RTX 4090、64 GB RAM 的系统上运行 Strata(使用 Qwen Flash Next),硬件已接近该模型的可运行极限,求助量化格式选择。其称有讨论认为 GSQ-RCO IQ3_S 响应质量可能优于 Unsloth UD IQ4_XS;而 UD-Q4_K_XL 需约 6 GB 模型从 NVMe 加载,速度降至 20-30 tokens/s,并询问 NVFP4 的表现对比。

来源:Reddit · r/LocalLLaMA · reddit.com

这条消息,你怎么看?

把新闻带到 MickerBook,和社区伙伴聊聊;也可以去 AIHER 看看模型背后的角色与梗。