跳到正文
GitHub · 去对齐工具与仓库·· 20 天前精选AI 评分68

在 macOS Recovery 模式跑 LLM 推理,为 64 GB Mac 多挤出约 2.3 GB GPU 内存

Dmitriy-Romanov/recoveryos-llm

来源与原文

GitHub · 去对齐工具与仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/Dmitriy-Romanov/recoveryos-llm

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

作者 Dmitriy-Romanov 发布 recoveryos-llm 仓库,介绍在 macOS Recovery 最小系统里启动 LLM 服务器的方法:64 GB M1 Max 上 GPU 可用内存从正常系统的 55.4 GB 提升到 57.6 GB,多出约 2.3 GB。方法是用 sysctl iogpu.wired_limit_mb=59000 提高 wired limit,配合 MLX 系服务器(SUSHI)运行 176B MoE 量化模型 Qwen3.8-Flash-Next-Sushi-3bpw(约 49 GB 权重),并给出挂载磁盘、启动服务器、Wi-Fi 连接的完整命令。

推荐理由

作者实测在 Recovery 模式下启动 LLM 服务器可多出约 2.3 GB GPU 内存,并给出具体命令和余量经验值,方法可直接复用。

来源:GitHub · 去对齐工具与仓库 · github.com