Reddit · r/LocalLLaMA· /u/Serious_Scarcity7818·· 12 天前精选AI 评分61
RTX 3060 12 GB 实测 RustingStrata vs PolyStrata vs llama.cpp 跑 Qwen3.6-35B-A3B
RustingStrata vs PolyStrata vs llama.cpp on one RTX 3060 12 GB: Qwen3.6-35B-A3B
来源与原文
Reddit · r/LocalLLaMA
作者:/u/Serious_Scarcity7818
发布时间:(北京时间)
阅读原始来源 · reddit.com ↗完整链接与内容说明
https://www.reddit.com/r/LocalLLaMA/comments/1xsipew/rustingstrata_vs_polystrata_vs_llamacpp_on_one/
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
作者在一台 RTX 3060 12 GB + Ryzen 5 7600X 的机器上,用同一个 GGUF 文件(Qwen3.6-35B-A3B-UD-Q3_K_M,Unsloth,15.9 GiB)对比三个引擎。5290 token 提示词、生成 128 token:无 MTP 解码 RustingStrata 90.9 tok/s、PolyStrata 78.5 tok/s、llama.cpp 53.5 tok/s;开启 MTP 后分别为 128.4、97.5-100.4、77.7 tok/s;prefill llama.cpp 1692 tok/s 最快。作者注明 PolyStrata 的 no-MTP 行因引擎仍接受了部分 draft 而非干净数据,MTP 收益受文本类型影响,结果不保证在其他显卡上复现。
推荐理由
同一张 RTX 3060 上对三个推理引擎做了同模型同量化的对照,作者还标明了哪些条件不严格等价,方便读者自行解读结果。
来源:Reddit · r/LocalLLaMA · reddit.com