GitHub · 灵魂体仓库·· 21 天前精选AI 评分69
retronym/mlx-lm-setup：单台 Mac 上的本地 AI 网关方案
retronym/mlx-lm-setup
来源与原文
GitHub · 灵魂体仓库
发布时间：（北京时间）
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/retronym/mlx-lm-setup
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
retronym 开源 mlx-lm-setup，在 localhost:8090 部署一个网关，按需在 Apple silicon 上以 MLX 启动开放权重模型、空闲时卸载，并把内存控制在 28 GB 预算内，数据不出本机。
推荐理由
作者给出了各模型的内存占用、加载策略和选型实测数据，读者可以据此评估在单台 Mac 上跑多模型本地网关的可行性。
来源：GitHub · 灵魂体仓库 · github.com