GitHub · 去对齐工具与仓库·· 20 天前精选AI 评分70
MLX-Flash 发布:让超出 Mac 内存的本地大模型以接近全速运行
szibis/mlx-flash
来源与原文
GitHub · 去对齐工具与仓库
发布时间:(北京时间)
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/szibis/mlx-flash
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
szibis 在 GitHub 发布 MLX-Flash v0.7.0,一个面向 Apple Silicon 的本地推理工具,通过 SSD 流式读取加内存感知缓存。
推荐理由
README 给出了 M3 Max 36GB 上的实测对比,Qwen3-30B 在内存压力下从 3 tok/s 提到 82 tok/s,并如实标注了模型放得下时收益有限的情况。
来源:GitHub · 去对齐工具与仓库 · github.com