BigMoeOnEdge 开源：从闪存流式运行超内存 MoE 模型到手机和笔记本
先了解这件事
Reddit 用户 /u/dai_app 发布 BigMoeOnEdge，一个基于 llama.cpp 公共 API 的自适应流式引擎（Planner），通过从闪存流式读取专家权重，让超出设备内存的 MoE 模型在本地运行，支持 Android、iOS、macOS、Windows 和 Linux，并内置 OpenAI 兼容服务器，采用 Apache-2.0 许可证开源。作者称其设想是作为 llama.cpp 之上的流式 MoE 层，考虑提交 PR 集成但不确定是否符合该项目目标。 作者公布的实测数据称：DeepSeek V4 Flash 284B（91 GB）在 12GB Android 手机上约 0.94-1 tok/s，Qwen3.6-35B-A3B 在同设备上 4.8-10 tok/s、NPU prefill 100-300+ tok/s；16GB Apple silicon 设备上 Qwen3.6-35B-A3B 达 18-30 tok/s，2000-token prompt 处理从 21 秒降到 3.4 秒。这些数字均出自作者自述，尚无独立验证。
AI 根据报道生成 · 18 小时前更新
事件进展
2 个进展
- 10月26日 19:27 · 1 篇报道BigMoeOnEdge 发布：闪存流式运行超大 MoE 模型GitHub · 灵魂体仓库：BigMoeOnEdge 开源：从闪存流式加载超大 MoE 模型到手机和笔记本
- 10月20日 19:15 · 1 篇报道作者介绍 BigMoeOnEdge 自适应流式优化器Reddit · r/LocalLLaMA：BigMoeOnEdge 作者展示自适应流式优化器，可在消费级硬件上运行大型 MoE 模型
报道时间线
沿着报道，了解事件的不同侧面。
- GitHub · 灵魂体仓库精选BigMoeOnEdge 开源：从闪存流式加载超大 MoE 模型到手机和笔记本
BigMoeOnEdge 是一个开源引擎，通过从闪存流式读取专家权重，让超过设备内存的 MoE 模型在本地运行，基于 llama.cpp 公共 API，支持 Android、iOS、macOS、Windows 和 Linux，并内置 OpenAI 兼容服务器。--auto 规划器会测量机器的内存、存储速度和各计算单元后自动设置缓存与常驻权重；实测包括 12 GB 手机上跑 91 GB 的 DeepSeek V4 Flash 284B（0.94 tok/s）、Qwen3.6-35B-A3B 达 4.8-5.0 tok/s，16 GB Apple silicon 笔记本上 Qwen3.6-35B-A3B 达 18-24 tok/s。
- Reddit · r/LocalLLaMABigMoeOnEdge 作者展示自适应流式优化器，可在消费级硬件上运行大型 MoE 模型
BigMoeOnEdge 作者发布自适应流式 Planner，作为 llama.cpp 之上的资源调度层，在手机、Mac、Windows 笔记本等设备上运行远超内存的 MoE 模型，并提供 OpenAI 兼容本地服务器。实测 Qwen3.6-35B-A3B 在 12GB Android 手机上解码 10 tok/s、NPU prefill 100-300+ tok/s，16GB Mac 上 Planner 将解码从 7 提升到 25-30 tok/s、2000-token prompt 从 21 秒降到 3.4 秒；DeepSeek V4 Flash 284B 在 12GB 手机上 1 tok/s。作者考虑向 llama.cpp 提 PR 集成。
本事件热度走势
- 可比范围当前
- 6
- 可比范围峰值
- 1010月26日 20:00
- 近 24 小时变化
- –
趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。