Agentic In-Context Learning:Transformer 能在闭环交互中学到哪些算法?
研究提出 Agentic In-Context Learning(Agentic ICL)框架,分析固定参数 Transformer 在闭环交互中能学习哪些算法,涵盖主动学习、bandits 和在线 RL。理论上构造了能在有限步长内近似这些算法的因果 Transformer 并给出回报损失界;蒸馏实验显示 Transformer 可学会执行三种代表性递归。在无 oracle 动作或状态标签下,用结果奖励或过程奖励训练的模型形成不同决策策略,且这种差异在预训练语言模型中跨文本改写依然存在。