GitHub · 去对齐工具与仓库·· 18 天前AI 评分29
moepager:面向 MoE 大语言模型的专家感知页缓存管理工具(研究原型)
shreshth006/moepager
来源与原文
GitHub · 去对齐工具与仓库
发布时间:(北京时间)
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/shreshth006/moepager
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
GitHub 项目 moepager 旨在让 llama.cpp 在低内存 Linux 机器上通过 mmap 运行超出 RAM 的 Mixture-of-Eexperts LLM,无需修改推理引擎。它解析 GGUF 头定位各 (layer, expert) 单元,用 eBPF 或 mincore 观测缺页以学习路由统计,进而 pin 高价值专家、用大 readahead 补全部分缺页专家、降级冷专家。目前处于 go/no-go 前的研究原型阶段,尚未在真实模型上做基准测试,也未声称任何加速比。
来源:GitHub · 去对齐工具与仓库 · github.com