热点事件持续更新

RustingStrata 与 llama.cpp 跑 Qwen GGUF 实测对比

1 篇报道1 个报道来源11 小时前更新

先了解这件事

AI 综述

用户 Serious_Scarcity7818 在 RTX 3060 12 GB、Ryzen 5 7600X、32 GB RAM 的同一台机器上，用 RustingStrata 和 llama.cpp 逐项对比多个 Qwen GGUF 模型的预填充与解码速度。小尺寸稠密模型上 llama.cpp 预填充更快；模型超出显存后，Strata 预填充约快 1.5 倍、解码最多快约 2 倍，80B 模型解码达 64 tok/s、177B 模型达 21 tok/s。测试关闭 MTP，开启 MTP 后 35B 解码可升至约 160 tok/s。作者称测试时桌面有浏览器、Discord 等常规程序且未调优，因此数字低于 README；手工调优 llama.cpp（-ncmoe 12）在安静机器上跑 35B 表现更好，约 2236 预填充 / 68 解码。

AI 根据报道生成 · 11 小时前更新

报道时间线

沿着报道，了解事件的不同侧面。

11月6日

04:47
Reddit · r/LocalLLaMA精选
RustingStrata 与 llama.cpp 在 RTX 3060 上跑各尺寸 Qwen GGUF 的实测对比
作者在 RTX 3060 12 GB、Ryzen 5 7600X、32 GB RAM 的同一台机器上，用 RustingStrata 和 llama.cpp 逐项对比了多个 Qwen GGUF 模型的预填充与解码速度。小尺寸稠密模型上 llama.cpp 预填充更快，模型超出显存后 Strata 预填充约快 1.5 倍、解码最多快约 2 倍，80B 模型解码达 64 tok/s、177B 模型达 21 tok/s。测试关闭 MTP，开启 MTP 后 35B 解码可升至约 160 tok/s。

本事件热度走势

可比范围当前: 7
可比范围峰值: 1011月6日 05:00
近 24 小时变化: –

趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。