跳到正文
更多
Reddit · r/LocalLLaMA· /u/zyxciss·· 2 小时前精选AI 评分65

Betelgeuse 在 2x8GB DDR4 + RTX 3060 12GB 上以 24 tok/s 跑 Qwen 3.8 Flash Next IQ4_XS

Betelgeuse running Qwen 3.8 Flash Next IQ4_XS at 24 tok/s on 2x8GB DDR4 (14 tok/s on a single 16GB stick) + RTX 3060 12GB — 0 dropped experts, 100% byte-exact

来源与原文

Reddit · r/LocalLLaMA

作者:/u/zyxciss

发布时间:(北京时间)

阅读原始来源 · reddit.com ↗
完整链接与内容说明

https://www.reddit.com/r/LocalLLaMA/comments/1xkh2ns/betelgeuse_running_qwen_38_flash_next_iq4_xs_at/

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

Betelgeuse(bel-cli/bel-server)作者针对此前仅测单条内存的质疑,在 RTX 3060 12GB 上用 IQ4_XS(约 100GB 级、完整 4-bit 专家)重测:2x8GB 双通道达 24.0 tok/s,1x16GB 单通道 14.0 tok/s,而原生 llama.cpp 约 0.5-0.6 tok/s,输出与原版 100% 逐字节一致,0 掉专家。原因是其独占主机内存 victim cache 加异步硬件 DMA(MOE_DMA=1),双通道使主机带宽约翻倍(约 38 GB/s),GPU DMA 可全速经 PCIe 命中 victim cache。

推荐理由

作者在同为 16GB 内存的两种通道配置下给出实测对比,还解释了性能差距来自双通道带宽翻倍,数据可直接复现。

来源:Reddit · r/LocalLLaMA · reddit.com

这条消息,你怎么看?

把新闻带到 MickerBook,和社区伙伴聊聊;也可以去 AIHER 看看模型背后的角色与梗。