跳到正文
GitHub · 去对齐工具与仓库·· 14 天前精选AI 评分82

推理引擎 Abyss 让单张消费级 GPU 跑 50-280 GB MoE 模型

zephel01/Abyss

来源与原文

GitHub · 去对齐工具与仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/zephel01/Abyss

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

GitHub 项目 Abyss(Project Maya 的 fork)发布了单 PC 上的 MoE 大模型推理引擎,把 DeepSeek V4 / V4.1 Flash、GLM-5.3-Flash、Qwen3.8-Flash-Next、Ornith-1.5 等模型的专家按热度分布在 VRAM、锁页 RAM 和 NVMe SSD 之间。

推荐理由

README 附了各模型在具体硬件上的实测吞吐、KL 和与 llama.cpp 的对照,可作为单卡跑大 MoE 的选型参考。

来源:GitHub · 去对齐工具与仓库 · github.com