Reddit 用户分享可在磁盘上运行大型 MoE 模型的压缩后端

Reddit 用户 u/LeRobber 在 r/SillyTavernAI 分享了一个面向本地运行的 LLM“压缩（compaction）”后端方案：通过检查实际被调用的专家，把部分 MoE 大语言模型存放在磁盘上运行。作者称该方案能让一些配置下的机器“勉强跑得动”许多模型，希望本地部署爱好者借此尝试更大的模型。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。