Reddit · r/LocalLLaMA· /u/nickm_27·· 5 天前精选AI 评分62
llama.cpp PR #29864 重构 Intel XMX 矩阵引擎，B70 投机解码速度大幅提升
Massive B70 spec-decoding improvement - Intel XMX matrix engines refactored by budiony · Pull Request #29864 · ggml-org/llama.cpp
来源与原文
Reddit · r/LocalLLaMA
作者：/u/nickm_27
发布时间：（北京时间）
阅读原始来源 · reddit.com ↗完整链接与内容说明
https://www.reddit.com/r/LocalLLaMA/comments/1xcqb3p/massive_b70_specdecoding_improvement_intel_xmx/
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
/u/nickm_27 实测 ggml-org/llama.cpp 的 PR #29864 重构 Intel XMX 矩阵引擎后，B70 在 SYCL 下投机解码速度大幅提升，测试模型为 Muse Glimmer Q6_K (30B) 搭配 DFlash2。9 项任务总耗时从 46.86 秒降至 26.68 秒，各任务 tok/s 普遍从约 36-53 提升到约 53-88；作者说明因 token 验证成本显著降低而调大了 n-max，接受率从 0.7845 降到 0.363 属预期现象。
推荐理由
作者实测了 llama.cpp 重构 Intel XMX 矩阵引擎后 B70 的投机解码速度，前后总耗时从 46.86 秒降到 26.68 秒，数据完整可复现。
来源：Reddit · r/LocalLLaMA · reddit.com