跳到正文
Reddit · r/LocalLLaMA· /u/DotaMate·· 6 天前精选AI 评分68

Kapitsa 0.2 发布 KFlash 投机解码,并实测对比 Apple Silicon 多款推理引擎

KFlash: Benchmarks of newly released versions of Apple Silicon optimized engines: 1.4.0 Splash (DFlash2 ~ 50 tok/s) vs 0.2 Kapitsa (KFlash ~65 tok/s), MLX(MTP) & more on Qwen 3.8 27b/4b/35b 4Q on Macbook Pro M4 Pro 48 GB 2024, 48GB & Macbook Pro M1 Pro 16GB 2021

来源与原文

Reddit · r/LocalLLaMA

作者:/u/DotaMate

发布时间:(北京时间)

阅读原始来源 · reddit.com ↗
完整链接与内容说明

https://www.reddit.com/r/LocalLLaMA/comments/1xbdxg3/kflash_benchmarks_of_newly_released_versions_of/

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

Kapitsa 开发者发布 0.2 版,引入新投机解码方法 KFlash,并在 MacBook Pro M4 Pro 48GB 与 M1 Pro 16GB 上对比多款引擎的解码速度。Qwen3.8 27B 4-bit 下 Kapitsa 0.2 KFlash 达 63 tok/s,Inco Splash 1.4.0 DFlash2 为 53 tok/s;Qwen3.6 35B-A3B 上两者分别为 161 和 135 tok/s。KFlash 在同一遍检查中用 best-first 树检查草稿候选,而非单链遇错即停。作者提供 kapitsa bench 供用户自测并提交结果,Splash 需 M3 或更新芯片,Kapitsa 支持 M1 至 M6。

推荐理由

作者给出两代 Mac 上多引擎的实测数据,并解释了 KFlash 与 DFlash2 在投机解码检查方式上的差异,便于读者对照自己的机型。

来源:Reddit · r/LocalLLaMA · reddit.com