Betelgeuse 引擎称可在 RTX 3060 12GB 上高速运行大模型 Qwen 3.8 Flash Next
先了解这件事
开发者在 Reddit r/LocalLLaMA 发布 Betelgeuse 引擎（bel-cli/bel-server，llama.cpp 分支），称在 RTX 3060 12GB 显卡加 16GB DDR4 内存上运行远超显存容量的 Qwen 3.8 Flash Next：68GB 的 GSQ-RCO-IQ2_XS 构建持续 22.03 tok/s（峰值 48 tok/s），随后针对质疑用 IQ4_XS（约 100GB 级、完整 4-bit 专家）重测，2x8GB 双通道达 24.0 tok/s，1x16GB 单通道 14.0 tok/s，而原生 llama.cpp 约 0.5-0.6 tok/s。作者称输出与原版 100% 逐字节一致、0 掉专家，依据是数千条 router 记录与 token 的 diff 为 0.000e+00，数据均来自其自行发布的结果。 按作者说法，速度来自其独占主机内存的 victim cache 加异步硬件 DMA（MOE_DMA=1），双通道使主机带宽约翻倍（约 38 GB/s），GPU DMA 可全速经 PCIe 命中 victim cache。
AI 根据报道生成 · 1 天前更新
事件进展
2 个进展
- 11月1日 02:06 · 1 篇报道Betelgeuse在DDR4双通道跑IQ4_XS达24 tok/sReddit · r/LocalLLaMA：Betelgeuse 在 2x8GB DDR4 + RTX 3060 12GB 上以 24 tok/s 跑 Qwen 3.8 Flash Next IQ4_XS
- 10月31日 20:20 · 1 篇报道Betelgeuse 引擎让 Qwen 3.8 Flash Next 在 RTX 3060 12GB 上跑到 22 toReddit · r/LocalLLaMA：Betelgeuse 引擎让 Qwen 3.8 Flash Next 在 RTX 3060 12GB 上跑到 22 tok/s 且 100% bit-exact
报道时间线
沿着报道，了解事件的不同侧面。
- Reddit · r/LocalLLaMA精选Betelgeuse 在 2x8GB DDR4 + RTX 3060 12GB 上以 24 tok/s 跑 Qwen 3.8 Flash Next IQ4_XS
Betelgeuse（bel-cli/bel-server）作者针对此前仅测单条内存的质疑，在 RTX 3060 12GB 上用 IQ4_XS（约 100GB 级、完整 4-bit 专家）重测：2x8GB 双通道达 24.0 tok/s，1x16GB 单通道 14.0 tok/s，而原生 llama.cpp 约 0.5-0.6 tok/s，输出与原版 100% 逐字节一致，0 掉专家。原因是其独占主机内存 victim cache 加异步硬件 DMA（MOE_DMA=1），双通道使主机带宽约翻倍（约 38 GB/s），GPU DMA 可全速经 PCIe 命中 victim cache。
- Reddit · r/LocalLLaMA精选Betelgeuse 引擎让 Qwen 3.8 Flash Next 在 RTX 3060 12GB 上跑到 22 tok/s 且 100% bit-exact
作者发布 Betelgeuse（bel-cli/bel-server，llama.cpp 分支），在 RTX 3060 12GB + 16GB DDR4 上以 22.03 tok/s 持续、峰值 48 tok/s 运行 68GB 的 Qwen 3.8 Flash Next GSQ-RCO-IQ2_XS 构建，输出与原版逐字节一致（28,080 条 router 记录与 576 个 token 0.000e+00 diff）。
本事件热度走势
- 可比范围当前
- 5
- 可比范围峰值
- 1010月31日 21:00
- 近 24 小时变化
- -51%
趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。