arXiv · cs.AI· Shiguang Wu·· 11 天前AI 评分41
Agentic In-Context Learning：Transformer 能在闭环交互中学到哪些算法？
Agentic In-Context Learning: What Algorithms Can Transformers Learn in Closed-Loop Interaction?
来源与原文
arXiv · cs.AI
作者：Shiguang Wu
发布时间：（北京时间）
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2610.23051v1
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
研究提出 Agentic In-Context Learning（Agentic ICL）框架，分析固定参数 Transformer 在闭环交互中能学习哪些算法，涵盖主动学习、bandits 和在线 RL。理论上构造了能在有限步长内近似这些算法的因果 Transformer 并给出回报损失界；蒸馏实验显示 Transformer 可学会执行三种代表性递归。在无 oracle 动作或状态标签下，用结果奖励或过程奖励训练的模型形成不同决策策略，且这种差异在预训练语言模型中跨文本改写依然存在。
来源：arXiv · cs.AI · arxiv.org