Reddit · r/LocalLLaMA· /u/ethertype·· 9 天前AI 评分55
llama.cpp 提议新量化类型 IQ2_K 至 IQ6_K
New quant types suggested: IQ2_K, IQ3_K, IQ4_K, IQ5_K and IQ6_K
来源与原文
Reddit · r/LocalLLaMA
作者：/u/ethertype
发布时间：（北京时间）
阅读原始来源 · reddit.com ↗完整链接与内容说明
https://www.reddit.com/r/LocalLLaMA/comments/1x8zj9j/new_quant_types_suggested_iq2_k_iq3_k_iq4_k_iq5_k/
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
Reddit 用户 /u/ethertype 转发了 llama.cpp 提议的新量化类型 IQ2_K、IQ3_K、IQ4_K、IQ5_K 和 IQ6_K。要点包括：文件大小与 Q-quants 相同，KLD 相比 Q-quants 明显改善，但性能略有下降，且生成 IQ 量化较慢；附 PR 链接 https://github.com/ggml-org/llama.cpp/pull/30715 和测试模型 https://huggingface.co/eaddario/IQ2_K-IQ6_K-Test-Models。
来源：Reddit · r/LocalLLaMA · reddit.com