Reddit · r/LocalLLaMA· /u/pmttyji·· 21 天前精选AI 评分64
llama.cpp Metal 优化 PR：few-row MMA matmul 与批量拷贝加速推测解码
metal : few-row MMA mat-mul and batched copies for speculative decoding by pratiknarola-t · Pull Request #29869 · ggml-org/llama.cpp
来源与原文
Reddit · r/LocalLLaMA
作者：/u/pmttyji
发布时间：（北京时间）
阅读原始来源 · reddit.com ↗完整链接与内容说明
https://www.reddit.com/r/LocalLLaMA/comments/1wyurmi/metal_fewrow_mma_matmul_and_batched_copies_for/
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
ggml-org/llama.cpp 收到编号 #29869 的 Pull Request，为 Metal 后端加入 few-row MMA matmul 与批量拷贝以加速推测解码。
推荐理由
原文给出了同一环境下 PR 前后 DFlash2 推测解码的 decode tok/s 对照，读者可以据此评估该 Metal 优化在不同任务下的实际收益。
来源：Reddit · r/LocalLLaMA · reddit.com