用户自改 Splash 在 24GB M5 MacBook Air 上实测 Qwen3.8-Flash-Next Q2 解码 48.8 t/s

Reddit 用户 /u/Inside-Pen-8395 发布实测：在 24GB M5 MacBook Air 上，用 Splash 1.4.0 加约 800 行自建 fork 运行 Qwen3.8-Flash-Next（ISTA GSQ-RCO Q2_0 量化），解码平均达 48.8 t/s，高于 stock 的 28.8 t/s。 做法是让装不下的专家从 SSD 按需流式读取：24,576 个专家槽位中约 6,800 个（约 28%）驻留约 8.8 GB 内存，其余从 SSD 读取，支持 256K 上下文；缓存感知路由保留路由器前 4 个专家的选择，并把第 5–10 个的选择偏向已在内存中的专家。作者注明每种配置只跑了一次，±1 t/s 属于噪声。

AI 根据报道生成 · 2 天前更新