arXiv · cs.AI· Yize Hao·· 14 天前AI 评分33
KL 正则化离线 Q-Learning 的快速速率研究
Fast Rates for Offline Q-Learning with KL Regularization
来源与原文
arXiv · cs.AI
作者：Yize Hao
发布时间：（北京时间）
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2610.18839v1
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
该论文研究有限视界 MDP 中带 KL 正则化的离线 Q-learning。论文提出 KLQ，利用 KL 正则化在无需显式悲观主义的情况下达到 O(1/ε) 样本复杂度，但对 KL 正则化参数和视界存在指数依赖；进一步提出的 KLPQ 引入悲观主义，在保持同样速率的同时消除了指数依赖。作者称这是表格型有限视界 KL 正则化 MDP 中离线 Q-learning 的首个快速速率保证。
来源：arXiv · cs.AI · arxiv.org