跳到正文
Reddit · r/LocalLLaMA· /u/Serious_Scarcity7818·· 12 天前精选AI 评分61

RTX 3060 12 GB 实测 RustingStrata vs PolyStrata vs llama.cpp 跑 Qwen3.6-35B-A3B

RustingStrata vs PolyStrata vs llama.cpp on one RTX 3060 12 GB: Qwen3.6-35B-A3B

来源与原文

Reddit · r/LocalLLaMA

作者:/u/Serious_Scarcity7818

发布时间:(北京时间)

阅读原始来源 · reddit.com ↗
完整链接与内容说明

https://www.reddit.com/r/LocalLLaMA/comments/1xsipew/rustingstrata_vs_polystrata_vs_llamacpp_on_one/

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

作者在一台 RTX 3060 12 GB + Ryzen 5 7600X 的机器上,用同一个 GGUF 文件(Qwen3.6-35B-A3B-UD-Q3_K_M,Unsloth,15.9 GiB)对比三个引擎。5290 token 提示词、生成 128 token:无 MTP 解码 RustingStrata 90.9 tok/s、PolyStrata 78.5 tok/s、llama.cpp 53.5 tok/s;开启 MTP 后分别为 128.4、97.5-100.4、77.7 tok/s;prefill llama.cpp 1692 tok/s 最快。作者注明 PolyStrata 的 no-MTP 行因引擎仍接受了部分 draft 而非干净数据,MTP 收益受文本类型影响,结果不保证在其他显卡上复现。

推荐理由

同一张 RTX 3060 上对三个推理引擎做了同模型同量化的对照,作者还标明了哪些条件不严格等价,方便读者自行解读结果。

来源:Reddit · r/LocalLLaMA · reddit.com