跳到正文
Reddit · r/LocalLLaMA· /u/Food4Lessy·· 6 天前AI 评分15

如何在 M1 Max 64GB 上榨出最大 token 速度?

How to squeeze the Max Token from M1 Max 64gb?

来源与原文

Reddit · r/LocalLLaMA

作者:/u/Food4Lessy

发布时间:(北京时间)

阅读原始来源 · reddit.com ↗
完整链接与内容说明

https://www.reddit.com/r/LocalLLaMA/comments/1xb9ax1/how_to_squeeze_the_max_token_from_m1_max_64gb/

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

一位用户在 r/LocalLLaMA 求助:过去 9 个月主要使用 Gemini Flash Pro、Claude、DeepSeek、Groq 与 Cerebras 等云端模型,现想在 M1 Max 64GB 上离线运行 32B、70B、120B 模型处理敏感原型工作。7B Llama MLX 可达 45 token/sec,但 32B 模型在 LM Studio 中报错,用途涵盖医学/法律研究、轻量编码、CAD/PCB 与图像生成等。

来源:Reddit · r/LocalLLaMA · reddit.com