arXiv · cs.AI· Nilesh Prasad Pandey·· 3 天前AI 评分42
NgramRL：用感知 rollout 的 N-gram 推测解码加速 RL 后训练中的结构化生成
NgramRL: Accelerating RL Post-Training for Structured Generation via Rollout-Aware N-gram Speculative Decoding
来源与原文
arXiv · cs.AI
作者：Nilesh Prasad Pandey
发布时间：（北京时间）
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2610.32881v1
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
NgramRL 从同一提示词的近期 rollout 历史构建逐提示词 n-gram 草稿器，加速 RL 后训练中占比可超 70% 训练时间的 rollout 生成，无需辅助模型或常驻 GPU 草稿状态。在两种模型家族和三种推理、结构化生成任务上，warm-cache 下每次目标模型前向提交 3.60-7.77 个 token，比 SuffixDecoding 最高快 1.99 倍、比 prompt-lookup decoding 快 7.0 倍；Spider 上 prefetcher 以候选预算 16 覆盖 Qwen3-8B 96.6% 的结果，rollout 吞吐提升 1.38 倍。
来源：arXiv · cs.AI · arxiv.org