按兴趣浏览，循来源深入。
论文提出在冻结的 VLM 外部搜索推理程序，借鉴 AlphaEvolve 的自主进化思路，由 LLM judge 依据训练题失败案例迭代改进代码。在 3 个 VLM 和 4 个科学图表基准上，描述性问题的精确匹配准确率平均从 16.6% 提升到 41.3%，单次最大提升 55.2 个百分点，进化后的程序还比基线快 3.8 倍。
推荐理由：论文说明相当一部分 VLM 图表问答错误来自推理管线而非模型本身，不改权重、只进化推理程序即可大幅提分。
Yue Huang 等人发布 RSI Arena 论文，让十个前沿模型作为训练智能体，各自从 NVIDIA Nemotron 3.5 Lightning 30B-A3B Base 出发，在六天内用 1,000 GPU 小时和 $300 API 额度自主完成数据选择、训练与 checkpoint 选择。最强的 GPT-6 Astra 训练模型在 12 项能力基准上平均弥补了基座到 Instruct 差距的中位数 76%，人类偏好评分经长度与格式调整后接近 NVIDIA Instruct；第二阶段十个模型中八个的风格调整相对评分继续提升，但基准提升与偏好提升无明显关联，且一个模型在 StrongREJECT 上有害合规上升。
推荐理由：十个前沿模型自主后训练同一基座并接受人类盲评，还报告了有害合规上升的副作用，结果细节值得细看。
论文提出 Agent S4，一种自主计算机使用智能体，从任务经验中构建可演化的智能体界面：元智能体在无成功标签的合成任务轨迹上构建并修订界面与用法知识仓库，再通过基于种群的进化按未见验证任务的表现筛选。在 OSWorld V2 上，Agent S4 搭配 Qwen3.8-27B 与演化界面仓库取得 21.3% binary score，为固定界面同模型的 3.8 倍，高于 GPT-5.5（13.0%）和 Claude Opus 4.8（20.6%），成本约为后两者的 4.3% 和 1.5%；在 ScienceBoard 上同模型成功率从 41.4% 提升至 58.6%。代码已开源。
推荐理由：论文提出让智能体自主演化操作界面，用无标签轨迹和种群进化构建接口库，并给出 OSWorld V2 与成本对比数据。
论文追踪七个开源 RL 后训练框架的提交历史，并关联 2025 年 1 月至 2026 年 6 月的 6939 篇 arXiv 论文。在 1598 篇提出通用 RL 训练方法的论文中，只有 37 篇被至少一个框架纳入；每季度队列在 180 天内纳入数量稳定在 5 到 7 篇，而队列规模从 72 篇增至 386 篇。被纳入的论文更常训练 30B 及以上参数的策略（41% 对 10%），更常修改现有损失中的系数、clip、mask 或权重（29% 对 9%）；两个差距在剔除框架维护公司自身论文后依然成立，而代码开源比例在两组中相同。超过九成未被纳入的方法在框架 issues 中没有任何提及或引用。数据以追踪器形式发布，链接训练失败与框架实现并列出各框架贡献规则。
推荐理由：论文用提交历史量化了 RL 论文进入开源训练框架的真实比例，数据可帮助读者评估方法复现和框架选型的落差。
Zihan Chen发布arXiv论文（arXiv:2610.27610），对2026年10月冻结的114项递归自我改进（RSI）研究全文编码，其中90项自称RSI。结果显示90%报告了产品评估，但仅60%在选择未用任务上评估，仅22%审计两次以上完整循环；26项声称改进流程的研究中只有4项在同一起点和匹配预算下比较前后流程，作者据此提出将每项声明与对应评估设计绑定的报告标准。
推荐理由：论文用统一编码框架量化了RSI研究的证据缺口，指出可重复性和改进流程验证远弱于产品评估。
Rui Shi 等发布 arXiv 论文 WeAct，在冻结骨干上训练能力专属 LoRA 适配器，并把适配器选择加入 Agent 动作空间，用原生 tool-calling 接口按需组合能力。在 8 个 deep-research 基准上，Qwen3-32B 加 WeAct 比全量微调平均准确率高 6.2% 且计算更少，比最强静态 LoRA 合并方法高 27.5%，并支持不改动骨干的模块化持续扩展。
推荐理由：把适配器选择纳入 Agent 动作空间来缓解灾难性遗忘，在 8 个 deep-research 基准上给出了与全量微调的对比数字。
论文提出 LM2LM，用强化学习训练大语言模型生成语言模型改进提案，并以研究世界模型（RWM，一个冻结 LLM）从真实实验记录预测提案收益作为奖励，定期执行高排名提案以更新上下文保持反馈可靠。在八个自回归与扩散 LM 开发环境中，Qwen3.8-27B 经 LM2LM 训练后在留出任务上超越获得 300 条真实实验记录的 GPT-6-sol，数据生成成本降低 33%，并能泛化到训练未见的模型家族。论文链接 https://arxiv.org/abs/2610.23344v1
推荐理由：论文用研究世界模型替代真实训练反馈来训练改进提案模型，并给出跨八个环境与 GPT-6-sol 的对比数据，方法可参考。
arXiv 论文提出 Cold-Start Failure-Only Evolution（CFOE），让 LLM Agent 在无先前经验、无外部评估信号的情况下只从失败交互中学习。跨三种自进化范式、多个 LLM 骨干和四个交互环境的实验发现一致的修复-泛化差距：失败经验能修复已失败任务，但对未见任务的持续改进有限；Agent 常误解失败，验证正确的经验也难迁移，而成功轨迹能显著提升泛化。
推荐理由：论文用统一框架量化了只从失败经验中学习的效果边界，指出修复与泛化之间的差距及成功轨迹的作用。
论文提出 CoDA 框架，让仿真数据引擎与动作策略通过共享异构记忆共同进化，记忆将视觉语言评论家的诊断编译为生成程序与训练程序，并用 Text2potential 为动作块价值学习提供密集监督。在四个操作任务族上，分布外成功率从 SFT 后的 5.3% 提升到 27.6%，比最强闭环基线高 9.5 个百分点；LIBERO-Pro 上 15 轮生成与训练使位置扰动下成功率从 25% 升至 84%，指令扰动下从 1% 升至 76%。
推荐理由：论文提出仿真数据引擎与动作策略共同进化的训练框架，并给出分布外成功率的实测对比，方法思路可迁移到机器人策略训练。
论文提出 MetaExp 框架，通过带跨任务结构的可验证任务族训练语言模型智能体把交互反馈变成可迁移的经验学习能力，设计了 Shared-Tool 和 Shared-Workflow 两种任务族。团队在 1,000 个任务族上收集并过滤得到 4,956 条轨迹，微调 Qwen3.5-122B-A10B，参数冻结后在 SpreadsheetBench 提升 +8.5、APEX-Agents 峰值 +2.3、AutomationBench 提升 +14.8，领域排除训练下增益仍保持。论文地址 https://arxiv.org/abs/2610.21492v1
推荐理由：论文用可验证跨任务环境训练经验学习能力，并在三个基准上给出领域排除训练下的迁移增益数据，可参考其环境构造思路。
arXiv 论文 2610.19789 在 ALFWorld、ScienceWorld、Search-QA 和 WebShop 四个环境、三种模型规模上，将十种代表性自蒸馏方法与 GRPO 直接对比，共 132 次训练、累计 12,124.4 H800 GPU 小时，并对预训练骨干和全部十一个训练后方法在八个 rollout 种子上重复评测。结果显示没有方法能在所有设置下稳定超越 GRPO，最终性能好可能掩盖训练不稳定，额外训练成本也不必然带来更好表现。
推荐理由：论文用 132 次训练、1.2 万余 GPU 小时直接对比十种自蒸馏方法与 GRPO，指出最终分数可能掩盖训练不稳定。
arXiv 论文提出 AGORA 框架，独立变化团队构成与相互依赖结构（协作、从众、竞争）来研究自演化多智能体系统（MAS）的演化。在网页搜索、代码库理解与文档问答任务上发现：仅演化很少带来提升，合适的脚手架最多比单独演化的强智能体高出 25 分；其机制是把权威移交给最有能力的成员、其余成员退居辅助，且该成员在团队中成长后优于同一模型单独使用。
推荐理由：论文用 AGORA 框架把团队构成与依赖结构拆成独立变量，给出社会脚手架影响多智能体自演化的实验数据。
arXiv 论文提出 LAGO，将专用语言智能体作为可复用的时序扩展选项，由 meta-agent 检索或生成选项、分发子任务并验证结果，选项库跨任务增长且不更新模型权重。在 500 个 SWE-bench Verified 任务上，冻结的 Qwen3.5-35B-A3B 单次尝试解决率为 58.6%；在固定 150 任务子集上与 mini-SWE-agent、Terminus 2 同条件对比，解决率分别为 49.3%、57.3% 和 60.3%。50 任务消融显示去掉分解少解决 4 个、打乱复用内容少 2 个、去掉选项库少 6 个。
推荐理由：论文给出了同条件下的组件消融与横向对比数据，读者可以据此评估可复用 agent 选项库在长任务中的实际贡献。
论文提出混合推理 Agent 框架 HybridAgents，用 HybridLink 在统一生成过程中于潜在推理与文本交互间动态切换，并以连续工作记忆跨多轮保存混合上下文。配套 HybridSFT 与 HybridRL 后训练算法，在 3 个模型规模、11 个基准上较前沿 LLM Agent 与 Agent 框架平均提升 10.4%，同时 token 减少 35.5%-54.7%、推理提速 1.8x-2.6x、成本节省 2.7x-3.7x，代码与数据已开源。
推荐理由：论文同时给出统一架构、后训练算法和在 11 个基准上的量化对比，读者可以直接查看 10.4% 提升与成本节省数据的来源。
论文提出 TextualRL，一种免梯度的强化学习框架，通过修订引导 LLM 智能体行为的文本上下文来适应任务反馈，而不改变模型参数。其核心机制包括以同任务的一组 rollout 为单位的 Groupwise Policy Critique、跨组证据审查提案的 Cross-Group Policy Update，以及由留出验证奖励决定是否采纳的有界文本补丁。在六个基准上对五个目标智能体的评测中，GPT-5.5 和 Qwen3.8-27B 的测试准确率较基座模型平均分别提升 24.4 和 15.3 个百分点。
推荐理由：原文给出了框架机制与六个基准上的分组对比数据，读者可以据此评估这种免梯度上下文更新方法是否值得复现。
论文提出 MCPDisCo，一个面向 MCP 原生智能体的生态级强化学习框架，在 70 个 MCP 服务器和 527 个工具、六个领域的真实服务器长程交互上训练。框架用 Thought-MDP 显式表示内部推理与路由、执行、终止，通过 token 掩码奖励归因和双向梯度手术缓解推理与工具学习之间的跷跷板干扰，以更少思维链 token 取得更高成功率，并在分布外 MCP-Atlas 与 GAIA 基准上保持单调增益。模型权重和实现已放出。
推荐理由：论文给出推理与工具学习互相干扰的失败模式及其梯度手术解法，在 70 个真实 MCP 服务器上训练并验证分布外泛化。
小米 LLM-Core 团队在 arXiv 发布 MiMo-V2.6 系列全模态模型技术报告（arXiv:2610.11959），核心是通过扩展 RL 计算推动模型自我改进。RL 前先在多模态语料上做 mid-training，RL 计算沿三轴扩展：异步训练每步消耗 1,568 个样本、2.7-3.7B tokens，上下文最长 1M；环境覆盖代码、通用、视觉与 cyber 域；采用 groupwise agentic grading 提升长程任务奖励信号精度并引导更短的 token 高效解法。为稳定训练冻结了 MoE router 并建立多层防 reward hacking 机制，同时开源训练动态、RL 环境与 RL 框架。
推荐理由：报告系统拆解了沿数据、环境、评分三轴扩展 RL 计算的工程细节，并开源训练动态与环境框架，可作复现参考。
arXiv 论文 2610.12002 提出 Agentic-TTT，将测试时训练（TTT）过程封装为可调用工具，训练一个测试时策略来决定何时使用 TTT、调用哪种算法以及是否复用已有技能。在该基准上，Agentic-TTT 相比骨干模型几乎将效用翻倍，学会在效用与计算开销间权衡，并能泛化到训练时未见过的领域。
推荐理由：论文把测试时训练过程变成可调用工具并学习决策策略，在基准上给出了效用提升与泛化的量化结果。
Zijun Wang 等人在 arXiv 发表论文，研究语言模型作为 Research World Models（RWM）预测候选实验干预的结果。评测基于九个研究环境、2600 多条实验记录，涵盖预训练、后训练和推理，超过 171,000 H100 GPU小时；真实实验经验使 RWM 对同环境未见干预的预测提升 Spearman +0.27，OLMo3、Marin、Nanochait 预训练经验可将 Qwen3 环境的选择遗憾降低 78%，多轮 Autoresearch 固定预算下环境内与跨环境知识分别提升最佳收益 15.8% 和 11.6%；13 个模型的消融显示加入研究知识比换模型或增加推理力度更能改善干预排序。论文链接 https://arxiv.org/abs/2610.12235v1
推荐理由：论文用九个环境、超过17万H100 GPU小时的实验记录检验语言模型预测研究实验结果的能力，并给出跨环境复用收益的量化结果。
Xing Zhang 在 arXiv 发布论文（arXiv:2610.11464），提出把 verifier 作为进化对象，用小型确定性 drawback 检测器组合、出生门控和十项锚定参照集加共识来选择，而非以 agent 分数为准。MBPP+ 上比手写种子组合提升 +0.21 held-out agreement；实验发现移除锚定守护会退化为永远通过的空 grader，但下游任务分数不变，说明任务分数无法认证自进化 verifier；其 Double Ratchet 方案在代码生成、text-to-SQL 和报告生成上保留 88-110% 的基准提升。论文已被 NeurIPS 2026 Workshop 收录。
推荐理由：论文用锚定参照集与共识验证协同进化的 verifier，并指出仅靠下游任务分数无法证明其可靠，方法可迁移到自我改进 agent 的评测设计。