M3 Max 36GB 实测五大推理引擎:Kapitsa 稠密 41.3 tok/s,oMLX 与 Kapitsa 在 Qwen3.6-35B-A3B 上约 123 tok/s 打平
Five engines on an M3 Max 36 GB: Kapitsa 41 tok/s dense, oMLX/Kapitsa tie at ~123 tok/s on Qwen3.6-35B-A3B, plus Flint 40B
来源与原文
Reddit · r/LocalLLaMA
作者:/u/Hyungsun
发布时间:(北京时间)
阅读原始来源 · reddit.com ↗完整链接与内容说明
https://www.reddit.com/r/LocalLLaMA/comments/1xe3fug/five_engines_on_an_m3_max_36_gb_kapitsa_41_toks/
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
作者在 M3 Max 36GB 上用统一协议实测 Kapitsa 0.2.12、oMLX 0.7.2、Rapid-MLX 0.16.8、Splash 1.4.0、MTPLX 2.12.2 五个引擎。稠密 Qwen3.8-27B-4bit 上 Kapitsa 41.3 tok/s 领先,oMLX 34.1;MoE Qwen3.6-35B-A3B 上 oMLX 122.9 与 Kapitsa 122.7 打平;Flint 40B-A2.5B 在 36GB 上由 Kapitsa 跑出 134.2 tok/s。oMLX 稠密从 17.9 提到 34.1 主要归功于 oQ4e-mtp 检查点加 Lightning MTP 的投机配置而非引擎本身;MTP 接受率稠密 75-78%、MoE 81-85%。
同一台 Mac 上五个推理引擎用统一协议实测,还标明各引擎权重与投机配置差异,数字可直接对照自家硬件选型。
来源:Reddit · r/LocalLLaMA · reddit.com