跳到正文
Reddit · r/LocalLLaMA· /u/hive-technology·· 20 天前精选AI 评分60

Mac Studio M5 Ultra 256GB 单机跑四个开源模型做真实 Agent 工作的实测

Four open models on one Mac Studio (M5 Ultra, 256 GB) doing real agent work on solar: lineup, memory budgets, and tok/s

来源与原文

Reddit · r/LocalLLaMA

作者:/u/hive-technology

发布时间:(北京时间)

阅读原始来源 · reddit.com ↗
完整链接与内容说明

https://www.reddit.com/r/LocalLLaMA/comments/1wzn10v/four_open_models_on_one_mac_studio_m5_ultra_256/

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

作者在一台 Mac Studio(M5 Ultra,256 GB 统一内存)上同时驻留四个开源模型,按大模型/小文本/小视觉/决策四槽位分工处理真实 Agent 工作。工作档为 Qwen3.8 Flash Next(99 GB)+ Gemma 4 26B 4-bit + Qwen 3.6 35B-A3B + Clef-Flash 9B,留 82 GB 给上下文;智能档为 DeepSeek V4 Flash 4-bit(常驻 128 GB)。实测吞吐:Qwen3.8 Flash Next 生成约 51-58 tok/s(投机解码草稿接受率 55-65%),DeepSeek V4 Flash 生成 27-31 tok/s。

推荐理由

作者实测了四模型共驻一台 Mac Studio 的内存预算与吞吐数据,还给出本地模型尚不能胜任规划角色的具体分工方案。

来源:Reddit · r/LocalLLaMA · reddit.com