GoLeM 发布：MoE 专家权重驻留磁盘按需调入 GPU 推理
热点事件持续更新
GoLeM 发布：MoE 专家权重驻留磁盘按需调入 GPU 推理
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
eranelbaz 在 GitHub 发布 GoLeM，一个让 MoE 大模型专家权重休眠在磁盘、使用时才逐级调入内存和 VRAM 的推理服务器，保证被选中专家的矩阵乘法在 GPU 上执行。v1 目标模型为 GLM-5.3-Flash，DeepSeek-V4.1-Flash 为实验性支持。 运行条件：仅支持 Linux，GPU 需为 AMD 且 ROCm ≥ 7.2.4，暂不支持 NVIDIA/CUDA、macOS 和 Windows。作者在 24 GiB VRAM（RX 7900 XTX）+ 93 GiB DDR5 + 4TB NVMe 环境测试，装不进内存的专家从 SSD 流式读取；UD-Q4_K_XL 量化、262144 上下文下冷/热 prefill 为 11.1s/13.4s，生成 2.42/2.12 token/s。
AI 根据报道生成 · 2 小时前更新
最新进展10月27日 01:30
GoLeM 服务器发布：GLM-5.3-Flash 等 MoE 模型专家权重按需从磁盘流式调入 GPU报道时间线
沿着报道，了解事件的不同侧面。
10月27日
- GitHub · 去对齐工具与仓库精选GoLeM 服务器发布：GLM-5.3-Flash 等 MoE 模型专家权重按需从磁盘流式调入 GPU
GoLeM 在 GitHub 发布，这是一个让 MoE 大模型专家权重保持休眠在磁盘、使用时才逐级调入内存和 VRAM 的推理服务器，保证每个被选中专家的矩阵乘法都在 GPU 上执行。目标模型为 GLM-5.3-Flash，DeepSeek-V4.1-Flash 为实验性支持；在 RX 7900 XTX（24 GiB）+ 93 GiB DDR5 + 4TB NVMe 上，UD-Q4_K_XL 量化 262144 上下文冷/热 prefill 11.1s/13.4s，生成 2.42/2.12 token/s。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。