Reddit · r/LocalLLaMA· /u/pmttyji·· 3 小时前AI 评分36
在 NVIDIA DGX Spark 上提升 MoE 推理的 3 种方法
3 Ways to Boost MoE Inference on NVIDIA DGX Spark
来源与原文
Reddit · r/LocalLLaMA
作者：/u/pmttyji
发布时间：（北京时间）
阅读原始来源 · reddit.com ↗完整链接与内容说明
https://www.reddit.com/r/LocalLLaMA/comments/1xhdwtt/3_ways_to_boost_moe_inference_on_nvidia_dgx_spark/
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
在 NVIDIA DGX Spark 上的 MoE 推理实测中，三种优化手段分别为：Humming MXFP4 MoE 后端（decode 39.45 tok/s，较 baseline 36.09 tok/s 提升 9.3%）、在线 FP8 LM head 量化（43.94 tok/s，+21.7%）、MTP NEXTN 投机解码（steps=3 / topk=1 / draft_tokens=4 时 102.88 tok/s，+185.1%，TPOT 从 27.71 ms 降至 9.72 ms）。
来源：Reddit · r/LocalLLaMA · reddit.com