Reddit · r/LocalLLaMA· /u/jacek2023·· 13 天前AI 评分52
llama.cpp 新 PR 引入 GDN chunked kernel，多款 GPU 上 Qwen 模型推理提速
cuda, hip: GDN chunked kernel by am17an · Pull Request #29353 · ggml-org/llama.cpp
来源与原文
Reddit · r/LocalLLaMA
作者：/u/jacek2023
发布时间：（北京时间）
阅读原始来源 · reddit.com ↗完整链接与内容说明
https://www.reddit.com/r/LocalLLaMA/comments/1x5skta/cuda_hip_gdn_chunked_kernel_by_am17an_pull/
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
Reddit 用户转发 ggml-org/llama.cpp 的 Pull Request #29353（am17an 提交的 cuda/hip GDN chunked kernel），并附多组推理速度对比。RTX PRO 6000 Blackwell 上 Qwen3.5-35B-A3B-Q8_0 在 2048/4096 prompt tokens 下分别提升 20.6% 和 17.8%，RTX 5090 上同模型 Q4_K_S 提升 16.4%-17.9%，RTX 4090 提升 10.8%-11.1%，Qwen3.8-27B 在多卡上提升约 0.9%-6.4%，Spark GB10 上各模型提升约 3.4%-5.7%。
来源：Reddit · r/LocalLLaMA · reddit.com