Reddit · r/LocalLLaMA· /u/jacek2023·· 3 小时前AI 评分46
llama.cpp CUDA PR 融合 MoE gate/up 矩阵乘与 GLU，Qwen3 提示词处理提速
CUDA: fuse MoE gate/up matmuls and GLU in MMQ by anujj · Pull Request #31188 · ggml-org/llama.cpp
来源与原文
Reddit · r/LocalLLaMA
作者：/u/jacek2023
发布时间：（北京时间）
阅读原始来源 · reddit.com ↗完整链接与内容说明
https://www.reddit.com/r/LocalLLaMA/comments/1xhodj3/cuda_fuse_moe_gateup_matmuls_and_glu_in_mmq_by/
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
llama.cpp 新 CUDA PR 将 MoE 的 gate/up 矩阵乘与 GLU 融合，带来 MoE 模型提示词处理加速。在 DGX Spark (GB10) 上 Qwen3-30B-A3B Q4_K_M 提速 17.2%，Qwen3.6-35B-A3B 提速 9.1%-9.9%；RTX 5090 上两个模型均提速约 5.7%-6.1%。
来源：Reddit · r/LocalLLaMA · reddit.com