Reddit · r/LocalLLaMA· /u/Competitive-Bake4602·· 2 天前AI 评分54
ANEMLL Forge 0.2.1 支持 M6 32GB 在 Apple Neural Engine 上运行 Qwen3.8-27B 达 192K 上下文
M6 Mac Mini owners (32GB): now you can run Qwen3.8-27B in high quality on the Apple Neural Engine
来源与原文
Reddit · r/LocalLLaMA
作者：/u/Competitive-Bake4602
发布时间：（北京时间）
阅读原始来源 · reddit.com ↗完整链接与内容说明
https://www.reddit.com/r/LocalLLaMA/comments/1xejv61/m6_mac_mini_owners_32gb_now_you_can_run_qwen3827b/
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
ANEMLL Forge 0.2.1 发布，Qwen3.8-27B 在 M6 32GB 的 Neural Engine 上最高可跑 192K 上下文。新增 INT8 K/V cache（为 FP16 一半）并用共享输出 head 的更小 drafter 节省 0.86 GB ANE 内存；decode 依内容为 JSON 35–62 tok/s、code 18–32、prose 10–17，prefill 短上下文 260 tok/s、192K 时 62；作者称 96K 是 32GB 下的甜点位（123 tok/s prefill、约 27 tok/s decode、约 21.4 GB 内存），完整 192K 首次编译约需 2 小时，用 --ctx 只编译所需条目时 16K 从下载到运行约 10 分钟。
来源：Reddit · r/LocalLLaMA · reddit.com