arXiv · cs.AI· Leonardo Cesani·· 18 天前AI 评分18
方差缩减策略梯度算法 LVR-PG 达到近似极小极大最优
Variance-Reduced Policy Gradient is Nearly Minimax-Optimal
来源与原文
arXiv · cs.AI
作者：Leonardo Cesani
发布时间：（北京时间）
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2610.13692v1
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
论文提出 Loopless Variance-Reduced PG（LVR-PG），一个统一的理论框架，抽象出一类结合递归更新与防御性重要性采样的一阶估计器，涵盖 PAGE-PG 和 STORM-PG 等已知方法。该类算法在弱梯度支配条件下，仅用一阶更新即实现 $\tilde{\mathcal{O}}(\epsilon^{-2})$ 的 last-iterate 全局收敛。通过将下界扩展到连续参数化策略，论文给出 $\Omega(\epsilon^{-2})$ 样本复杂度极限，证明该框架在对数因子和 horizon 项内达到极小极大最优。
来源：arXiv · cs.AI · arxiv.org