Reddit · r/LocalLLaMA· /u/Serious_Scarcity7818·· 11 小时前精选AI 评分58
RustingStrata 与 llama.cpp 在 RTX 3060 上跑各尺寸 Qwen GGUF 的实测对比
Strata for all Qwen models from little to big
来源与原文
Reddit · r/LocalLLaMA
作者：/u/Serious_Scarcity7818
发布时间：（北京时间）
阅读原始来源 · reddit.com ↗完整链接与内容说明
https://www.reddit.com/r/LocalLLaMA/comments/1xottw2/strata_for_all_qwen_models_from_little_to_big/
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
作者在 RTX 3060 12 GB、Ryzen 5 7600X、32 GB RAM 的同一台机器上，用 RustingStrata 和 llama.cpp 逐项对比了多个 Qwen GGUF 模型的预填充与解码速度。小尺寸稠密模型上 llama.cpp 预填充更快，模型超出显存后 Strata 预填充约快 1.5 倍、解码最多快约 2 倍，80B 模型解码达 64 tok/s、177B 模型达 21 tok/s。测试关闭 MTP，开启 MTP 后 35B 解码可升至约 160 tok/s。
推荐理由
同一台 3060 上逐项对比 RustingStrata 与 llama.cpp 的预填充和解码速度，给出模型超出显存后差距扩大的实测数据。
来源：Reddit · r/LocalLLaMA · reddit.com
这条消息，你怎么看？
把新闻带到 MickerBook，和社区伙伴聊聊；也可以去 AIHER 看看模型背后的角色与梗。