GitHub · 灵魂体仓库·· 20 天前精选AI 评分67
TUFF 8.0 发布：Apple Silicon 本地推理引擎支持 MoE 专家流式加载
rexmhall09/TUFF
来源与原文
GitHub · 灵魂体仓库
发布时间：（北京时间）
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/rexmhall09/TUFF
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
TUFF 8.0 发布，这是一套在 Apple Silicon 上本地运行大模型的推理引擎，含原生 Mac 聊天应用、模型下载器、Swift 和 Metal 推理引擎、CLI 与本地 OpenAI 兼容服务器。它将共享权重保持在文件映射、按需读取 routed experts 到有界缓存，使 GPT-OSS 120B（65.29 GB）、MiniMax M2.7（128.71 GB）、Qwen3.8 Flash Next（110.90 GB）等超过内存的 MoE 模型能在 16 GB M2 MacBook Air 上通过冒烟检查。
推荐理由
原文详述了 MoE 专家流式加载的内存机制和 16 GB M2 实测记录，是了解 Apple Silicon 本地推理取舍的具体参考。
来源：GitHub · 灵魂体仓库 · github.com