热点事件持续更新

Reddit用户分享DGX Spark上三项MoE推理优化实测结果

1 篇报道1 个报道来源2 小时前更新

先了解这件事

AI 综述

Reddit r/LocalLLaMA 用户 /u/pmttyji 分享了在 NVIDIA DGX Spark 上提升 MoE 推理速度的三种方法及实测数据：Humming MXFP4 MoE 后端使 decode 达 39.45 tok/s（较 baseline 36.09 tok/s 提升 9.3%）；在线 FP8 LM head 量化达 43.94 tok/s（+21.7%）；MTP NEXTN 投机解码（steps=3 / topk=1 / draft_tokens=4）达 102.88 tok/s（+185.1%），TPOT 从 27.71 ms 降至 9.72 ms。其中效果最显著的是投机解码方案，但其数据对应特定参数配置（steps=3 / topk=1 / draft_tokens=4）。以上均为该用户的实测结果，来自其帖子自述。

AI 根据报道生成 · 1 小时前更新

最新进展10月28日 11:52

在 NVIDIA DGX Spark 上提升 MoE 推理的 3 种方法

报道时间线

沿着报道，了解事件的不同侧面。

10月28日

11:52
Reddit · r/LocalLLaMA
在 NVIDIA DGX Spark 上提升 MoE 推理的 3 种方法
在 NVIDIA DGX Spark 上的 MoE 推理实测中，三种优化手段分别为：Humming MXFP4 MoE 后端（decode 39.45 tok/s，较 baseline 36.09 tok/s 提升 9.3%）、在线 FP8 LM head 量化（43.94 tok/s，+21.7%）、MTP NEXTN 投机解码（steps=3 / topk=1 / draft_tokens=4 时 102.88 tok/s，+185.1%，TPOT 从 27.71 ms 降至 9.72 ms）。

本事件热度走势

还没有足够的连续观测数据，暂不绘制趋势。