Reddit · r/LocalLLaMA· /u/pmttyji·· 5 天前AI 评分46
llama.cpp WebGPU 新增 Q2_0 支持：PR #30914 性能提升数十倍
webgpu : add Q2_0 support by teddygood · Pull Request #30914 · ggml-org/llama.cpp
来源与原文
Reddit · r/LocalLLaMA
作者：/u/pmttyji
发布时间：（北京时间）
阅读原始来源 · reddit.com ↗完整链接与内容说明
https://www.reddit.com/r/LocalLLaMA/comments/1xcdpks/webgpu_add_q2_0_support_by_teddygood_pull_request/
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
llama.cpp 的 WebGPU 后端在 PR #30914 中新增 Q2_0 量化支持。在 RTX 3060 上用 Dawn WebGPU 实测，Ternary Bonsai 1.7B Q2_0 的 pp512 从 35.03 t/s 提升到 1915.91 t/s，tg128 从 14.02 t/s 提升到 94.75 t/s；Bonsai 2 2B Q2_0 的 pp512 达 2039.89 t/s，tg128 达 71.72 t/s。
来源：Reddit · r/LocalLLaMA · reddit.com