Abyss:单卡消费级 GPU 分层加载 50-280 GB MoE 模型的本地推理引擎
先了解这件事
GitHub 项目 Abyss(Project Maya 的 fork)发布了一款单 PC 上的 MoE 大模型推理引擎,可将 50-280 GB 的模型跑在单张消费级 GPU 上。其做法是把 DeepSeek V4 / V4.1 Flash、GLM-5.3-Flash、Qwen3.8-Flash-Next、Ornith-1.5 等模型的专家按使用热度分层存放在 VRAM、锁页 RAM 和 NVMe SSD 中,并随对话需要在层间移动,使超过显存容量的模型也能以可用速度运行。 运行条件方面,引擎支持 Linux(在 Ubuntu 上测试过),以及 DGX Spark 上的 ARM64(beta)。当 VRAM 加 RAM 约等于模型文件大小时,所有专家都能驻留内存;内存较少时则从 SSD 读取。仓库还提供可选的运行时去对齐功能:通过 --uncensor 参数在推理时移除每次残差写入中的拒答方向,且可按请求切换。 另有开发者为该引擎系列提交了 CUDA+ROCm 混合后端方案:让 RTX 5090(CUDA)与 Strix Halo iGPU(ROCm)在同一进程内协作跑 GLM-5.3-Flash Maya-M GGUF,开发者称最高提速 48%;代码已提交 GitHub PR,Project MAYA 作者表示欢迎,计划测试后再决定是否合并。
AI 根据报道生成 · 5 天前更新
事件进展
2 个进展
- 11月10日 10:09 · 1 篇报道开发者实现 CUDA+ROCm 双后端混合 GPU LLM 推理,最高提速 48%Reddit · r/LocalLLaMA:开发者实现 CUDA+ROCm 双后端混合 GPU LLM 推理,最高提速 48%
- 11月9日 09:44 · 1 篇报道Abyss 推理引擎仓库页面介绍GitHub · 去对齐工具与仓库:推理引擎 Abyss 让单张消费级 GPU 跑 50-280 GB MoE 模型
报道时间线
沿着报道,了解事件的不同侧面。
- Reddit · r/LocalLLaMA精选开发者实现 CUDA+ROCm 双后端混合 GPU LLM 推理,最高提速 48%
开发者基于 Project MAYA 推理引擎开发了 fork,让 RTX 5090(CUDA 后端)与 Strix Halo iGPU(ROCm 后端)在同一进程内协作完成 GLM-5.3-Flash Maya-M GGUF 的 prefill 和 decode,称最高提速 48%。CUDA 后端负责 attention、dense/shared 层和 expert cache,ROCm 后端执行互补专家;代码已提交 GitHub PR,project-maya 作者表示欢迎并计划测试后再决定合并。
- GitHub · 去对齐工具与仓库精选推理引擎 Abyss 让单张消费级 GPU 跑 50-280 GB MoE 模型
GitHub 项目 Abyss(Project Maya 的 fork)发布了单 PC 上的 MoE 大模型推理引擎,把 DeepSeek V4 / V4.1 Flash、GLM-5.3-Flash、Qwen3.8-Flash-Next、Ornith-1.5 等模型的专家按热度分布在 VRAM、锁页 RAM 和 NVMe SSD 之间。