MoEShift alpha 开源：在 24GB M4 Pro 上以 7.5GB 峰值内存跑 Qwen 3.8 Flash Next 125B IQ3_XXS 达 10 t/s

作者 /u/dave-tro 发布了开源推理运行时 MoEShift 的 alpha 版，基于 llama.cpp，从 SSD 按需加载专家、在 RAM 缓存常用专家并将读取与 GPU 计算重叠。在 24GB M4 Pro 上用 ISTA-DASLab 的 GSQ-RCO IQ3_XXS 量化（磁盘占用 76GB）运行 Qwen 3.8 Flash Next，6k token 提示词加 256 输出时总推理 63.3 秒，对比 Strata 0.2.7 的 129.9 秒；提示词处理 160.8 tok/s 对 61.8，生成 9.9 tok/s，峰值内存 7.5GB 对 14GB；短提示词下生成 10.44 tok/s 对 8.4，峰值内存 6.4GB。