ik_llama.cpp PR #2785 引入 Q2_0_R8 量化 CPU 加速
热点事件持续更新
ik_llama.cpp PR #2785 引入 Q2_0_R8 量化 CPU 加速
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
ik_llama.cpp 的 PR #2785 引入 Q2_0_R8 量化布局(按 8 行重排的 Q2_0,2.25 bpw),并为其加入专用 AVX2/AVX-VNNI CPU 加速内核,同时修复了奇数块计数处理的 bug。该提交由 /u/Any_Bus9205 发布于 Reddit r/LocalLLaMA,面向 GSQ、RCO 与 ternary 量化模型。
AI 根据报道生成 · 1 小时前更新
最新进展11月1日 02:06
ik_llama.cpp PR #2785 为 Q2_0_R8 量化加入 CPU AVX2/VNNI 加速报道时间线
沿着报道,了解事件的不同侧面。
11月1日
- Reddit · r/LocalLLaMA精选ik_llama.cpp PR #2785 为 Q2_0_R8 量化加入 CPU AVX2/VNNI 加速
ik_llama.cpp 的 PR #2785 引入 Q2_0_R8(2.25 bpw 的按 8 行重排 Q2_0 布局)及专用 AVX2/AVX-VNNI 内核,并修复奇数块计数处理 bug,面向 GSQ、RCO 与 ternary 量化模型。实测在 i5-13420H 上运行 Ternary-Bonsai-2-4B Q2_0,提示处理提升约 45%、token 生成提升约 22%,困惑度基本持平。支持两种用法:现有 GGUF 用 -rtr 在内存中动态重排,或用 llama-quantize --repack 离线转换为 Q2_0_R8。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。