跳到正文
Reddit · r/LocalLLaMA· /u/dave-tro·· 12 天前AI 评分49

MoEShift 征集 M 系列 Mac 用户实测其 MoE 推理后端

Anyone willing to benchmark my MoE runtime on their M-series Mac?

来源与原文

Reddit · r/LocalLLaMA

作者:/u/dave-tro

发布时间:(北京时间)

阅读原始来源 · reddit.com ↗
完整链接与内容说明

https://www.reddit.com/r/LocalLLaMA/comments/1xsyges/anyone_willing_to_benchmark_my_moe_runtime_on/

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

有开发者在 r/LocalLLaMA 征集 M 系列 Mac 用户测试其 MoE 推理后端 MoEShift,该项目通过 SSD offloading 和 Apple Silicon 架构优化,可在 24GB Mac 上运行 Qwen 3.8 Flash Next。测试需克隆仓库并运行 python ./benchmarks/run.py,结果以 benchmark-results.json 上传到 GitHub;测试 Qwen 3.8 Flash Next IQ3 XXS 需约 120GB 磁盘空间,Qwen 3.6 35B A3B 需 61GB。

来源:Reddit · r/LocalLLaMA · reddit.com