MoEShift alpha 开源：M4 Pro 上以 7.5GB 内存跑大模型 MoE 推理
先了解这件事
开发者 /u/dave-tro 在 Reddit r/LocalLLaMA 发布开源推理运行时 MoEShift 的 alpha 版。该运行时基于 llama.cpp，从 SSD 按需加载专家、在 RAM 缓存常用专家，并将读取与 GPU 计算重叠，用于在内存受限设备上运行大型 MoE 模型。 作者称，在 24GB M4 Pro 上以 ISTA-DASLab 的 GSQ-RCO IQ3_XXS 量化（磁盘占用 76GB）运行 Qwen 3.8 Flash Next，6k token 提示词加 256 输出的总推理耗时 63.3 秒，对比 Strata 0.2.7 的 129.9 秒；提示词处理 160.8 tok/s 对 61.8，峰值内存 7.5GB 对 14GB。短提示词下生成 10.44 tok/s 对 8.4，峰值内存 6.4GB。
AI 根据报道生成 · 1 天前更新
报道时间线
沿着报道，了解事件的不同侧面。
- Reddit · r/LocalLLaMA精选MoEShift alpha 开源：在 24GB M4 Pro 上以 7.5GB 峰值内存跑 Qwen 3.8 Flash Next 125B IQ3_XXS 达 10 t/s
作者 /u/dave-tro 发布了开源推理运行时 MoEShift 的 alpha 版，基于 llama.cpp，从 SSD 按需加载专家、在 RAM 缓存常用专家并将读取与 GPU 计算重叠。在 24GB M4 Pro 上用 ISTA-DASLab 的 GSQ-RCO IQ3_XXS 量化（磁盘占用 76GB）运行 Qwen 3.8 Flash Next，6k token 提示词加 256 输出时总推理 63.3 秒，对比 Strata 0.2.7 的 129.9 秒；提示词处理 160.8 tok/s 对 61.8，生成 9.9 tok/s，峰值内存 7.5GB 对 14GB；短提示词下生成 10.44 tok/s 对 8.4，峰值内存 6.4GB。
本事件热度走势
- 可比范围当前
- 5
- 可比范围峰值
- 1010月31日 00:00
- 近 24 小时变化
- –
趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。