跳到正文
  1. Reddit · r/LocalLLaMA70

    ORL 扩散语言模型加速方法开源:单张 RTX 5090 跑出 2,788 tokens/s

    团队发布 ORL(On-Policy Residual Learning)研究并全量开源,用 on-policy 残差学习和 Adjacent Entropy Contraction 让扩散语言模型在更少前向传播内收敛更多 token。配合自研推理引擎 dlmrt,LLaDA-2.1-mini + ORL 在单张 RTX 5090 上达 2,788 tokens/s(NVFP4),DiffusionGemma 26B MoE 达 7,708 tokens/s(8× B200);QwenDLM-4B 端到端吞吐提升约 6.9×,HumanEval pass@1 从 82.9% 升至 89.6%,单 H100 上 1,298 tokens/s,快于 DFlash 的 746 和 EAGLE3 的 405。

    推荐理由:原文给出各模型吞吐、HumanEval 前后对比和与 DFlash、EAGLE3 的同精度对照,可复现的代码和权重也已开放。

已经到底了