开发者发布MoE推理后端MoEShift并征集Mac基准测试
热点事件历史事件
开发者发布MoE推理后端MoEShift并征集Mac基准测试
1 篇报道1 个报道来源12 天前更新
先了解这件事
AI 综述
有开发者(/u/dave-tro)在 Reddit r/LocalLLaMA 发布了面向 M 系列 Mac 的 MoE 推理后端 MoEShift,并征集社区用户在不同机型上运行基准测试。据其称,该项目通过 SSD offloading 和针对 Apple Silicon 的架构优化,可在 24GB 内存的 Mac 上运行 Qwen 3.8 Flash Next。这些效果为开发者自述,尚待社区实测验证。 参与方式是克隆仓库并运行 python ./benchmarks/run.py,将结果以 benchmark-results.json 上传到 GitHub。磁盘空间要求因模型而异:测试 Qwen 3.8 Flash Next IQ3 XXS 需约 120GB 空闲空间,Qwen 3.6 35B A3B 需 61GB。
AI 根据报道生成 · 10 天前更新
最新进展11月11日 04:57
MoEShift 征集 M 系列 Mac 用户实测其 MoE 推理后端报道时间线
沿着报道,了解事件的不同侧面。
11月11日
- Reddit · r/LocalLLaMAMoEShift 征集 M 系列 Mac 用户实测其 MoE 推理后端
有开发者在 r/LocalLLaMA 征集 M 系列 Mac 用户测试其 MoE 推理后端 MoEShift,该项目通过 SSD offloading 和 Apple Silicon 架构优化,可在 24GB Mac 上运行 Qwen 3.8 Flash Next。测试需克隆仓库并运行 python ./benchmarks/run.py,结果以 benchmark-results.json 上传到 GitHub;测试 Qwen 3.8 Flash Next IQ3 XXS 需约 120GB 磁盘空间,Qwen 3.6 35B A3B 需 61GB。