Reddit · r/LocalLLaMA· /u/jacek2023·· 18 天前AI 评分43
llama.cpp PR 优化 Qwen 3.x GDN 状态处理，prompt 处理提速约 5.5%
ggml-cuda: assign four GDN state columns per warp by SongXiaoXi · Pull Request #30087 · ggml-org/llama.cpp
来源与原文
Reddit · r/LocalLLaMA
作者：/u/jacek2023
发布时间：（北京时间）
阅读原始来源 · reddit.com ↗完整链接与内容说明
https://www.reddit.com/r/LocalLLaMA/comments/1x0m3ff/ggmlcuda_assign_four_gdn_state_columns_per_warp/
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
llama.cpp 合并请求通过为每个 warp 分配四个 GDN state 列，带来 Qwen 3.x 的 prompt 处理提速：pp512 从 3075.24 t/s 提升到 3243.60 t/s（+5.5%），pp4096 提升 +5.3%，而 tg128 仅 +0.1%，文本生成速度基本不变。
来源：Reddit · r/LocalLLaMA · reddit.com