Reddit · r/LocalLLaMA· /u/hive-technology·· 20 天前精选AI 评分60
Mac Studio M5 Ultra 256GB 单机跑四个开源模型做真实 Agent 工作的实测
Four open models on one Mac Studio (M5 Ultra, 256 GB) doing real agent work on solar: lineup, memory budgets, and tok/s
来源与原文
Reddit · r/LocalLLaMA
作者:/u/hive-technology
发布时间:(北京时间)
阅读原始来源 · reddit.com ↗完整链接与内容说明
https://www.reddit.com/r/LocalLLaMA/comments/1wzn10v/four_open_models_on_one_mac_studio_m5_ultra_256/
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
作者在一台 Mac Studio(M5 Ultra,256 GB 统一内存)上同时驻留四个开源模型,按大模型/小文本/小视觉/决策四槽位分工处理真实 Agent 工作。工作档为 Qwen3.8 Flash Next(99 GB)+ Gemma 4 26B 4-bit + Qwen 3.6 35B-A3B + Clef-Flash 9B,留 82 GB 给上下文;智能档为 DeepSeek V4 Flash 4-bit(常驻 128 GB)。实测吞吐:Qwen3.8 Flash Next 生成约 51-58 tok/s(投机解码草稿接受率 55-65%),DeepSeek V4 Flash 生成 27-31 tok/s。
推荐理由
作者实测了四模型共驻一台 Mac Studio 的内存预算与吞吐数据,还给出本地模型尚不能胜任规划角色的具体分工方案。
来源:Reddit · r/LocalLLaMA · reddit.com