Reddit · r/LocalLLaMA· /u/yibie·· 17 天前精选AI 评分68
作者发布 strata-mlx：在 Mac 上用 MLX 引擎运行 Strata 的 GGUF 模型
Sharing my latest project: strata-mlx
来源与原文
Reddit · r/LocalLLaMA
作者：/u/yibie
发布时间：（北京时间）
阅读原始来源 · reddit.com ↗完整链接与内容说明
https://www.reddit.com/r/LocalLLaMA/comments/1x29nii/sharing_my_latest_project_stratamlx/
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
作者花了约一天半写出非官方 MLX 引擎 strata-mlx，直接读取 Strata 的 GGUF 文件、不改权重，在 Mac 上运行 Qwen3.8-Flash-Next 这个 125B 参数 MoE 模型。内存不足以装下整个模型时按需从 SSD 读取专家；模拟测试中 66 GB 的 Q2_0 文件在 16 GB、24 GB、32 GB 内存档位分别跑出 6–7、19–23、28–47 tokens/秒，提示词读取约 273–287 tokens/秒。代码与实验日志在 https://github.com/yibie/strata-mlx。
推荐理由
作者用限内存实测给出不同 Mac 内存档位的运行速度数据，对想在 Mac 上跑超内存大模型的人有参考价值。
来源：Reddit · r/LocalLLaMA · reddit.com