Reddit · r/LocalLLaMA· /u/IceFog72·· 21 天前精选AI 评分60
IceFog72 发布 ik_llama.cpp 分支：MoE 专家常驻与混合 CPU/GPU 执行优化
k_llama.cpp MoE Optimizations: Expert Residency, Hybrid CPU/GPU Execution, Q2_0 Support
来源与原文
Reddit · r/LocalLLaMA
作者：/u/IceFog72
发布时间：（北京时间）
阅读原始来源 · reddit.com ↗完整链接与内容说明
https://www.reddit.com/r/LocalLLaMA/comments/1wynomx/k_llamacpp_moe_optimizations_expert_residency/
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
/u/IceFog72 发布 ik_llama.cpp 分支，加入带宽自适应 CPU/GPU 混合执行、专家常驻（expert residency）、jadidbourbaki 的 n-gram cache 优化适配以及 Q2_0 量化支持，可用 --moe-resident auto --moe-resident-mib N 控制常驻专家占用的 VRAM 上限。
推荐理由
作者在自建 RTX 2060 6GB 环境给出前后对比数据，读者可据此判断这套 MoE 常驻专家方案是否适合自己的瓶颈场景。
来源：Reddit · r/LocalLLaMA · reddit.com