跳到正文
热点事件历史事件

Abyss:单卡消费级 GPU 分层加载 50-280 GB MoE 模型的本地推理引擎

2 篇报道2 个报道来源13 天前更新

先了解这件事

AI 综述

GitHub 项目 Abyss(Project Maya 的 fork)发布了一款单 PC 上的 MoE 大模型推理引擎,可将 50-280 GB 的模型跑在单张消费级 GPU 上。其做法是把 DeepSeek V4 / V4.1 Flash、GLM-5.3-Flash、Qwen3.8-Flash-Next、Ornith-1.5 等模型的专家按使用热度分层存放在 VRAM、锁页 RAM 和 NVMe SSD 中,并随对话需要在层间移动,使超过显存容量的模型也能以可用速度运行。 运行条件方面,引擎支持 Linux(在 Ubuntu 上测试过),以及 DGX Spark 上的 ARM64(beta)。当 VRAM 加 RAM 约等于模型文件大小时,所有专家都能驻留内存;内存较少时则从 SSD 读取。仓库还提供可选的运行时去对齐功能:通过 --uncensor 参数在推理时移除每次残差写入中的拒答方向,且可按请求切换。 另有开发者为该引擎系列提交了 CUDA+ROCm 混合后端方案:让 RTX 5090(CUDA)与 Strix Halo iGPU(ROCm)在同一进程内协作跑 GLM-5.3-Flash Maya-M GGUF,开发者称最高提速 48%;代码已提交 GitHub PR,Project MAYA 作者表示欢迎,计划测试后再决定是否合并。

AI 根据报道生成 · 5 天前更新

事件进展

2 个进展

  1. 11月10日 10:09 · 1 篇报道
    开发者实现 CUDA+ROCm 双后端混合 GPU LLM 推理,最高提速 48%
    Reddit · r/LocalLLaMA:开发者实现 CUDA+ROCm 双后端混合 GPU LLM 推理,最高提速 48%
  2. 11月9日 09:44 · 1 篇报道
    Abyss 推理引擎仓库页面介绍
    GitHub · 去对齐工具与仓库:推理引擎 Abyss 让单张消费级 GPU 跑 50-280 GB MoE 模型

报道时间线

沿着报道,了解事件的不同侧面。

11月10日
  1. Reddit · r/LocalLLaMA精选
    开发者实现 CUDA+ROCm 双后端混合 GPU LLM 推理,最高提速 48%

    开发者基于 Project MAYA 推理引擎开发了 fork,让 RTX 5090(CUDA 后端)与 Strix Halo iGPU(ROCm 后端)在同一进程内协作完成 GLM-5.3-Flash Maya-M GGUF 的 prefill 和 decode,称最高提速 48%。CUDA 后端负责 attention、dense/shared 层和 expert cache,ROCm 后端执行互补专家;代码已提交 GitHub PR,project-maya 作者表示欢迎并计划测试后再决定合并。

11月9日
  1. GitHub · 去对齐工具与仓库精选
    推理引擎 Abyss 让单张消费级 GPU 跑 50-280 GB MoE 模型

    GitHub 项目 Abyss(Project Maya 的 fork)发布了单 PC 上的 MoE 大模型推理引擎,把 DeepSeek V4 / V4.1 Flash、GLM-5.3-Flash、Qwen3.8-Flash-Next、Ornith-1.5 等模型的专家按热度分布在 VRAM、锁页 RAM 和 NVMe SSD 之间。