开源推理引擎 Kapitsa 实测 Recursive Flint 40B Q4 在 MacBook Pro M4 Pro 上达 128 tok/s

Kapitsa 开源推理引擎贡献者 Ye 发布 Flint 40B A2.5B Q4 在 MacBook Pro M4 Pro 48GB 上的实测，使用 Kapitsa 达到 128 tok/s 短上下文解码。Kapitsa 为 Apple Silicon 定制 Metal kernel，在 128K 上下文解码上比 recursive 自家引擎快 1.30 倍、比 llama.cpp 快 1.9 倍，缓存后续轮次首 token 延迟 0.13 秒；针对 Flint Q4 训练的 KFlash tree drafter 声称已带来 1.4 倍解码加速，预计周一发布。