跳到正文
GitHub · 去对齐工具与仓库·· 20 天前精选AI 评分70

MLX-Flash 发布:让超出 Mac 内存的本地大模型以接近全速运行

szibis/mlx-flash

来源与原文

GitHub · 去对齐工具与仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/szibis/mlx-flash

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

szibis 在 GitHub 发布 MLX-Flash v0.7.0,一个面向 Apple Silicon 的本地推理工具,通过 SSD 流式读取加内存感知缓存。

推荐理由

README 给出了 M3 Max 36GB 上的实测对比,Qwen3-30B 在内存压力下从 3 tok/s 提到 82 tok/s,并如实标注了模型放得下时收益有限的情况。

来源:GitHub · 去对齐工具与仓库 · github.com