Betelgeuse 在 2x8GB DDR4 + RTX 3060 12GB 上以 24 tok/s 跑 Qwen 3.8 Flash Next IQ4_XS
Betelgeuse running Qwen 3.8 Flash Next IQ4_XS at 24 tok/s on 2x8GB DDR4 (14 tok/s on a single 16GB stick) + RTX 3060 12GB — 0 dropped experts, 100% byte-exact
来源与原文
Reddit · r/LocalLLaMA
作者:/u/zyxciss
发布时间:(北京时间)
阅读原始来源 · reddit.com ↗完整链接与内容说明
https://www.reddit.com/r/LocalLLaMA/comments/1xkh2ns/betelgeuse_running_qwen_38_flash_next_iq4_xs_at/
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
Betelgeuse(bel-cli/bel-server)作者针对此前仅测单条内存的质疑,在 RTX 3060 12GB 上用 IQ4_XS(约 100GB 级、完整 4-bit 专家)重测:2x8GB 双通道达 24.0 tok/s,1x16GB 单通道 14.0 tok/s,而原生 llama.cpp 约 0.5-0.6 tok/s,输出与原版 100% 逐字节一致,0 掉专家。原因是其独占主机内存 victim cache 加异步硬件 DMA(MOE_DMA=1),双通道使主机带宽约翻倍(约 38 GB/s),GPU DMA 可全速经 PCIe 命中 victim cache。
作者在同为 16GB 内存的两种通道配置下给出实测对比,还解释了性能差距来自双通道带宽翻倍,数据可直接复现。
来源:Reddit · r/LocalLLaMA · reddit.com
这条消息,你怎么看?
把新闻带到 MickerBook,和社区伙伴聊聊;也可以去 AIHER 看看模型背后的角色与梗。