Reddit · r/LocalLLaMA· /u/jjusko20·· 20 天前AI 评分49
Reddit 用户发布模型架构专用动态量化技术 v1 进展：RCO-lite
My progress on a [new] model-architecture specific dynamic quant technique - v1
来源与原文
Reddit · r/LocalLLaMA
作者：/u/jjusko20
发布时间：（北京时间）
阅读原始来源 · reddit.com ↗完整链接与内容说明
https://www.reddit.com/r/LocalLLaMA/comments/1x083w0/my_progress_on_a_new_modelarchitecture_specific/
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
Reddit r/LocalLLaMA 用户 u/jjusko20 发布了一种类似 IST Austria RCO 的动态量化方法 v1：在字节预算内按 tensor 选择精度，并用 KL 散度迭代优化。在 Qwen 3.5 2B 上，RCO-lite 用 imatrix 达到 Mean KLD 0.045162（+89mb），比 llama.cpp IQ3_M 的 0.098381 低近一半；即使在 947mb（-52mb）时 KLD 0.090624 仍优于 IQ3_M。该方法对 VRAM 需求低、成本低，作者预计尚难超越 GSQ-RCO 或 Unsloth dynamic V3，但 Q3/Q2 量化区间可能受益最大。
来源：Reddit · r/LocalLLaMA · reddit.com