Reddit · r/LocalLLaMA· /u/Chida82·· 15 天前精选AI 评分70
Chida82 在 128 GB Mac 上流式运行 341 GB 模型,两个 macOS 修复让首 token 快 8 倍
Running a 341 GB model on a 128 GB Mac: two small macOS fixes made the first token 8x faster
来源与原文
Reddit · r/LocalLLaMA
作者:/u/Chida82
发布时间:(北京时间)
阅读原始来源 · reddit.com ↗完整链接与内容说明
https://www.reddit.com/r/LocalLLaMA/comments/1x3icmd/running_a_341_gb_model_on_a_128_gb_mac_two_small/
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
/u/Chida82 分享在其 sf-ds4-1flash(antirez ds4 的单模型 Metal 后端分支)上流式运行 341 GB Q2 GGUF 于 128 GB M5 Max 的两个 macOS 修复。修复 F_NOCACHE 在 APFS 上 16 KB 页边界外仍部分缓存的问题后,8K prompt 后首 token 从 1.23 s 降到 0.15 s;改用轮询共享邮箱而非等待 command buffer 后 decode 再提速 5.5%-6.2%。相比上游 ds4,prefill +45% 到 +99%,decode 约 30 tok/s(2K 上下文),输出经逐位校验保持一致。
推荐理由
作者给出两个 macOS 底层修复的具体方法与前后数据,流式从 SSD 跑大模型的本地部署场景可以直接对照排查。
来源:Reddit · r/LocalLLaMA · reddit.com