跳到正文
更多
热点事件持续更新

Reddit 用户测算 MoE 工作站配比并晒出自建配置

2 篇报道1 个报道来源6 小时前更新

先了解这件事

AI 综述

Reddit 用户 /u/Numerous-Ad6217 在 r/LocalLLaMA 分享了面向 MoE 模型的预算型本地推理工作站配比分析:通过对多个开源 MoE 模型在 Q4 和 Q8 量化下的活跃与闲置参数量作图拟合,得出约 0.0565 的斜率,即每 1 GB 活跃 VRAM 权重对应约 18 GB 闲置 RAM 权重,据此认为其配置下 384 GB DDR4 配 32 GB VRAM 接近平衡点,可给 KV cache 和运行时开销留余量;升到 512 GB RAM 则会逼近 GPU 上限。作者提醒实际结果取决于模型架构、专家路由、缓存效率和推理后端。 随后该用户晒出实际建成的机器:AMD EPYC 7452(8 内存通道)、Gigabyte MZ32 主板、Radeon AI PRO R9700(32 GB)和 256 GB DDR4 内存(16×16GB),整机价格约为 DGX Spark 的一半,赶在 Qwen4 发布前完成,即将开始实验。注意实际配置用的是 256 GB 内存,与此前分析中的 384 GB 平衡点不同。

AI 根据报道生成 · 5 小时前更新

事件进展

2 个进展

  1. 10月31日 21:54 · 1 篇报道
    用户晒出MoE工作站装机配置
    Reddit · r/LocalLLaMA:Reddit 用户晒出以 MoE 为中心的工作站配置,价格约为 DGX Spark 一半
  2. 10月22日 07:37 · 1 篇报道
    分享 MoE 工作站 RAM/VRAM 配比分析
    Reddit · r/LocalLLaMA:围绕 MoE 模型搭建预算型 AI 工作站:384 GB DDR4 配 32 GB VRAM 的平衡点

报道时间线

沿着报道,了解事件的不同侧面。

10月31日
  1. Reddit · r/LocalLLaMA
    Reddit 用户晒出以 MoE 为中心的工作站配置,价格约为 DGX Spark 一半

    Reddit r/LocalLLaMA 用户分享自建的 MoE 工作站:AMD EPYC 7452(8 内存通道)、Gigabyte MZ32 主板、Radeon AI PRO R9700(32GB)和 256GB DDR4 内存(16×16GB)。整机价格约为 DGX Spark 的一半,赶在 Qwen4 发布前完成,即将开始实验。

10月22日
  1. Reddit · r/LocalLLaMA精选
    围绕 MoE 模型搭建预算型 AI 工作站:384 GB DDR4 配 32 GB VRAM 的平衡点

    Reddit 用户 /u/Numerous-Ad6217 分享了围绕 MoE 模型搭建预算型本地推理工作站的思路:用单张 32 GB VRAM 的 AMD Radeon AI PRO R9700 加廉价 DDR4 ECC RAM 存放闲置专家。作者对多个主流开源 MoE 模型在 Q4 和 Q8 量化下的活跃与闲置参数量作图,拟合出约 0.0565 的斜率,即每 1 GB 活跃 VRAM 权重对应约 18 GB 闲置 RAM 权重;据此 384 GB DDR4 配 32 GB VRAM 是其配置的平衡点,可给 KV cache 和运行时开销留出余量,而升到 512 GB RAM 会逼近 GPU 上限。作者提醒实际结果取决于模型架构、专家路由、缓存效率和推理后端。

本事件热度走势

可比范围当前
9
可比范围峰值
1010月31日 23:00
近 24 小时变化
–

趋势仅比较持续完整观测到的相同主体,范围可能小于当前热度统计。移动指针或点击图表查看每小时热度;键盘可用左右方向键切换。