ORL 扩散语言模型加速方法开源：单张 RTX 5090 跑出 2,788 tokens/s
[Research] 2,788 tokens/s on a single RTX 5090 with a diffusion LLM — Introducing ORL (fully open source)
来源与原文
Reddit · r/LocalLLaMA
作者：/u/arty_photography
发布时间：（北京时间）
阅读原始来源 · reddit.com ↗完整链接与内容说明
https://www.reddit.com/r/LocalLLaMA/comments/1x7polk/research_2788_tokenss_on_a_single_rtx_5090_with_a/
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
团队发布 ORL（On-Policy Residual Learning）研究并全量开源，用 on-policy 残差学习和 Adjacent Entropy Contraction 让扩散语言模型在更少前向传播内收敛更多 token。配合自研推理引擎 dlmrt，LLaDA-2.1-mini + ORL 在单张 RTX 5090 上达 2,788 tokens/s（NVFP4），DiffusionGemma 26B MoE 达 7,708 tokens/s（8× B200）；QwenDLM-4B 端到端吞吐提升约 6.9×，HumanEval pass@1 从 82.9% 升至 89.6%，单 H100 上 1,298 tokens/s，快于 DFlash 的 746 和 EAGLE3 的 405。
原文给出各模型吞吐、HumanEval 前后对比和与 DFlash、EAGLE3 的同精度对照，可复现的代码和权重也已开放。
来源：Reddit · r/LocalLLaMA · reddit.com