64GB Mac跑27B长上下文Agent十天实测分享

Reddit 用户 /u/M5_Maxxx 分享在 64GB M4 Max 上用 LM Studio 跑 Qwen3.8 27B（16GB MLX 量化）做编码 Agent 十天的实测结果，认为 64GB 已成为这类场景的甜点区间。 在其典型会话（上下文约 100k–200k token、开启 256k 上下文）下，引擎进程占用约 48–50GB 内存，其中 46GB 为 GPU 内存。prompt cache 命中率 93%，命中时每轮只需处理约 1k 新 token，未命中时完整 prefill 约需 20 分钟。作者称 LM Studio 的 MLX 视觉路径不支持该模型的 KV 量化，在 48GB 内存下只能降到约 128k 上下文，或改用 llama.cpp 的 q8 KV；更大的 MoE 模型或双模型方案仍需 128GB。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。