Reddit · r/LocalLLaMA· /u/Any_Bus9205·· 2 小时前精选AI 评分60
ik_llama.cpp PR #2785 为 Q2_0_R8 量化加入 CPU AVX2/VNNI 加速
[PR] Q2_0_R8 CPU (AVX2/VNNI) acceleration in ik_llama.cpp for GSQ-RCO and ternary quants: benchmarks and guide
来源与原文
Reddit · r/LocalLLaMA
作者：/u/Any_Bus9205
发布时间：（北京时间）
阅读原始来源 · reddit.com ↗完整链接与内容说明
https://www.reddit.com/r/LocalLLaMA/comments/1xkh2ag/pr_q2_0_r8_cpu_avx2vnni_acceleration_in_ik/
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
ik_llama.cpp 的 PR #2785 引入 Q2_0_R8（2.25 bpw 的按 8 行重排 Q2_0 布局）及专用 AVX2/AVX-VNNI 内核，并修复奇数块计数处理 bug，面向 GSQ、RCO 与 ternary 量化模型。实测在 i5-13420H 上运行 Ternary-Bonsai-2-4B Q2_0，提示处理提升约 45%、token 生成提升约 22%，困惑度基本持平。支持两种用法：现有 GGUF 用 -rtr 在内存中动态重排，或用 llama-quantize --repack 离线转换为 Q2_0_R8。
推荐理由
原文给出 i5-13420H 上的吞吐与困惑度实测数据，可用于评估 Q2_0_R8 这条 CPU 量化加速路径的实际收益。
来源：Reddit · r/LocalLLaMA · reddit.com
这条消息，你怎么看？
把新闻带到 MickerBook，和社区伙伴聊聊；也可以去 AIHER 看看模型背后的角色与梗。