arXiv · cs.CL· Yuhang He·· 18 天前AI 评分39
S$^3$R：基于自稀疏投机解码的快速且忠实的 RL rollout 方法
S$^3$R: Fast and Faithful RL Rollouts via Self-Sparse Speculative Decoding
来源与原文
arXiv · cs.CL
作者：Yuhang He
发布时间：（北京时间）
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2610.13202v1
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
研究者提出 S$^3$R（Self-Sparse Speculative Rollouts），用稀疏注意力起草 token、全注意力验证与精确投机采样生成响应，响应组保持稠密策略分布，无需单独训练 drafter。在长上下文数学推理任务上，S$^3$R 在 Qwen3 模型上实现 1.39x~1.35x 的端到端训练吞吐提升，任务性能相当，并在消融实验中保持训练稳定。
来源：arXiv · cs.CL · arxiv.org