GitHub · 去对齐工具与仓库·· 18 天前精选AI 评分67
decodebench 仓库发布：在 vLLM 与 B200 上实测 NVFP4 对比 MXFP4 解码性能
cezarc1/decodebench
来源与原文
GitHub · 去对齐工具与仓库
发布时间：（北京时间）
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/cezarc1/decodebench
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
cezarc1 在 GitHub 发布 decodebench，基准测试真实推理栈上的 LLM 解码速度，核心结论是 NVFP4 在小批次下更快。在 vLLM v0.31.0、1× NVIDIA B200、Qwen3-32B（W4A4）上，batch 1/8/32 时 NVFP4 解码吞吐比 MXFP4 高 7.1%/7.5%/4.2%，batch 64–512 时两者差距在 ±2% 以内；大 GEMM 场景 NVFP4 高出约 9% TFLOPS。实验采用预注册假设与判定规则，固定 vLLM、FlashInfer 0.7.0.post1、PyTorch 2.13.0 等版本，并公开原始数据、RESULTS.md 与 fp4bench 工具供复现。
推荐理由
这个基准用预注册协议在真实 vLLM 栈上对比 NVFP4 与 MXFP4 的解码性能，并公开全部原始数据与复现流程，方法设计值得借鉴。
来源：GitHub · 去对齐工具与仓库 · github.com