GitHub · 去对齐工具与仓库·· 14 天前精选AI 评分82
推理引擎 Abyss 让单张消费级 GPU 跑 50-280 GB MoE 模型
zephel01/Abyss
来源与原文
GitHub · 去对齐工具与仓库
发布时间:(北京时间)
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/zephel01/Abyss
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
GitHub 项目 Abyss(Project Maya 的 fork)发布了单 PC 上的 MoE 大模型推理引擎,把 DeepSeek V4 / V4.1 Flash、GLM-5.3-Flash、Qwen3.8-Flash-Next、Ornith-1.5 等模型的专家按热度分布在 VRAM、锁页 RAM 和 NVMe SSD 之间。
推荐理由
README 附了各模型在具体硬件上的实测吞吐、KL 和与 llama.cpp 的对照,可作为单卡跑大 MoE 的选型参考。
来源:GitHub · 去对齐工具与仓库 · github.com