跳到正文
GitHub · 去对齐工具与仓库·· 18 天前AI 评分29

moepager:面向 MoE 大语言模型的专家感知页缓存管理工具(研究原型)

shreshth006/moepager

来源与原文

GitHub · 去对齐工具与仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/shreshth006/moepager

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

GitHub 项目 moepager 旨在让 llama.cpp 在低内存 Linux 机器上通过 mmap 运行超出 RAM 的 Mixture-of-Eexperts LLM,无需修改推理引擎。它解析 GGUF 头定位各 (layer, expert) 单元,用 eBPF 或 mincore 观测缺页以学习路由统计,进而 pin 高价值专家、用大 readahead 补全部分缺页专家、降级冷专家。目前处于 go/no-go 前的研究原型阶段,尚未在真实模型上做基准测试,也未声称任何加速比。

来源:GitHub · 去对齐工具与仓库 · github.com