跳到正文
热点事件历史事件

开发者发布MoE推理后端MoEShift并征集Mac基准测试

1 篇报道1 个报道来源12 天前更新

先了解这件事

AI 综述

有开发者(/u/dave-tro)在 Reddit r/LocalLLaMA 发布了面向 M 系列 Mac 的 MoE 推理后端 MoEShift,并征集社区用户在不同机型上运行基准测试。据其称,该项目通过 SSD offloading 和针对 Apple Silicon 的架构优化,可在 24GB 内存的 Mac 上运行 Qwen 3.8 Flash Next。这些效果为开发者自述,尚待社区实测验证。 参与方式是克隆仓库并运行 python ./benchmarks/run.py,将结果以 benchmark-results.json 上传到 GitHub。磁盘空间要求因模型而异:测试 Qwen 3.8 Flash Next IQ3 XXS 需约 120GB 空闲空间,Qwen 3.6 35B A3B 需 61GB。

AI 根据报道生成 · 10 天前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月11日
  1. Reddit · r/LocalLLaMA
    MoEShift 征集 M 系列 Mac 用户实测其 MoE 推理后端

    有开发者在 r/LocalLLaMA 征集 M 系列 Mac 用户测试其 MoE 推理后端 MoEShift,该项目通过 SSD offloading 和 Apple Silicon 架构优化,可在 24GB Mac 上运行 Qwen 3.8 Flash Next。测试需克隆仓库并运行 python ./benchmarks/run.py,结果以 benchmark-results.json 上传到 GitHub;测试 Qwen 3.8 Flash Next IQ3 XXS 需约 120GB 磁盘空间,Qwen 3.6 35B A3B 需 61GB。