热点事件持续更新

Nanbeige4.3-33B三引擎推理实测：Kapitsa解码领先

1 篇报道1 个报道来源4 小时前更新

先了解这件事

AI 综述

Reddit用户DotaMate在MacBook Pro M5 Max（128 GB）上实测Nanbeige4.3-33B 4-bit模型在mlx-lm、llama.cpp和Kapitsa三个引擎的表现，覆盖512至32K token的prefill、decode、TTFT和内存数据。结果显示Kapitsa凭KFlash树状投机解码在decode和多轮延迟上领先，如512 token decode达34.9 tokens/s、follow-up TTFT 140 ms。作者自述是Kapitsa的开发者，提醒读者对数据保持留意。作者还指出该模型KV cache效率低，128K上下文需26 GB内存，认为其编码能力不错，但仍推荐27B/35B的Qwen模型。

AI 根据报道生成 · 2 小时前更新

最新进展10月27日 06:10

Nanbeige4.3-33B Q4 在 MacBook Pro M5 Max 上的推理对比：mlx-lm vs llama.cpp vs Kapitsa

报道时间线

沿着报道，了解事件的不同侧面。

10月27日

06:10
Reddit · r/LocalLLaMA
Nanbeige4.3-33B Q4 在 MacBook Pro M5 Max 上的推理对比：mlx-lm vs llama.cpp vs Kapitsa
在 MacBook Pro M5 Max（128 GB）上对 Nanbeige4.3-33B 4-bit 模型在 mlx-lm、llama.cpp 和 Kapitsa 三个引擎做了 512 到 32K token 的 prefill、decode、TTFT 和内存对比。Kapitsa 凭 KFlash 树状投机解码在 decode 和多轮延迟上领先，如 512 token decode 34.9 tokens/s、follow-up TTFT 140 ms。作者指出该模型 KV cache 效率低（128K 需 26 GB），编码能力不错但仍推荐 27B/35B 的 Qwen 模型。

本事件热度走势

还没有足够的连续观测数据，暂不绘制趋势。