Reddit · r/SillyTavernAI· /u/LeRobber·2026-10-28 06:08· 2 小时前AI 评分32

本地运行大型 MoE 模型的新后端方案

Locally Run Large MOE models

来源与原文

Reddit · r/SillyTavernAI

作者：/u/LeRobber

发布时间：2026-10-28 06:08（北京时间）

完整链接与内容说明

https://www.reddit.com/r/SillyTavernAI/comments/1xh6eg6/locally_run_large_moe_models/

本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。

AI 导读

Reddit 用户 u/LeRobber 分享了一个面向本地运行的 LLM “压缩（compaction）”后端方案，通过检查实际被调用的专家，把部分 MoE 大语言模型存放在磁盘上运行，让一些配置下的机器也能跑起更大的模型。作者希望本地部署爱好者可以借此尝试更大的模型。