Reddit · r/LocalLLaMA· /u/DotaMate·· 4 小时前AI 评分41
Nanbeige4.3-33B Q4 在 MacBook Pro M5 Max 上的推理对比：mlx-lm vs llama.cpp vs Kapitsa
Nanbeige4.3-33B Q4 on a MacBook Pro M5 Max, mlx-lm vs llama.cpp vs Kapitsa, Prefill/Decode 512 to 32K range.
来源与原文
Reddit · r/LocalLLaMA
作者：/u/DotaMate
发布时间：（北京时间）
阅读原始来源 · reddit.com ↗完整链接与内容说明
https://www.reddit.com/r/LocalLLaMA/comments/1xgaupg/nanbeige4333b_q4_on_a_macbook_pro_m5_max_mlxlm_vs/
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
在 MacBook Pro M5 Max（128 GB）上对 Nanbeige4.3-33B 4-bit 模型在 mlx-lm、llama.cpp 和 Kapitsa 三个引擎做了 512 到 32K token 的 prefill、decode、TTFT 和内存对比。Kapitsa 凭 KFlash 树状投机解码在 decode 和多轮延迟上领先，如 512 token decode 34.9 tokens/s、follow-up TTFT 140 ms。作者指出该模型 KV cache 效率低（128K 需 26 GB），编码能力不错但仍推荐 27B/35B 的 Qwen 模型。
来源：Reddit · r/LocalLLaMA · reddit.com