Reddit · r/LocalLLaMA· /u/jacek2023·· 1 天前AI 评分51
llama.cpp PR #29948 融合 FFN gate/up matmuls 与 GLU，DGX Spark 推理提速最高约 10.7%
CUDA: fuse FFN gate/up matmuls and GLU in MMQ with interleaved gate/up rows by anujj · Pull Request #29948 · ggml-org/llama.cpp
来源与原文
Reddit · r/LocalLLaMA
作者：/u/jacek2023
发布时间：（北京时间）
阅读原始来源 · reddit.com ↗完整链接与内容说明
https://www.reddit.com/r/LocalLLaMA/comments/1xey0uw/cuda_fuse_ffn_gateup_matmuls_and_glu_in_mmq_with/
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
anujj 向 ggml-org/llama.cpp 提交 PR #29948，在 MMQ 中以交错 gate/up 行的方式融合 FFN gate/up matmuls 与 GLU。
来源：Reddit · r/LocalLLaMA · reddit.com