面向鲁棒强化学习的可证高效 Q-learning 算法

该研究提出一种用于鲁棒强化学习的异步 Q-learning 算法，解决基于鲁棒 MDP（RMDP）的 model-free 方法缺失问题。在 γ 折扣无限时域设定下，仅用单条 Markovian 样本轨迹，算法对最优 Q 函数实现逐元素 ε-逼近的样本复杂度受 $\frac{1}{\mu_{\min}\varepsilon^2(1-\gamma)^3\max\{1-\gamma,\sigma\}} + \frac{t_{\text{mix}}}{\mu_{\min}(1-\gamma)}$ 约束（不含对数因子），达到近极小极大最优，仅多出 $\frac{1}{1-\gamma}$ 因子。相比现有边界显著改进，适用于 TV 距离不确定集（不确定度 σ）下的真实环境 sim-to-real 鲁棒性需求。