按兴趣浏览，循来源深入。
Fran Gómez Pulido 发布 AgentAudit，一个用于重复运行 Agent 评测的统计库，附离线确定性基准 AgentAudit-Bench 和实证研究。对 SWE-bench Verified 的 129 个公开提交复分析显示，Holm 校正后 71.7% 的配对可区分，但 128 个相邻榜单排名中 0.0% 可区分；7 个 1B-7B 本地模型在 120 个核心任务各跑 10 次的实验中，运行噪声占方差 34.4%。核心仅依赖 NumPy 和 SciPy，全程零成本未用付费 API，MIT 许可。
推荐理由：作者用公开榜单复分析和模拟研究量化了单次运行Agent评测的误导程度，给出可复用的统计工具和重复实验方法。
论文提出 Misbehavior-driven RL（MiRL），针对终端智能体在长程任务中反复出现的错误行为做定向强化学习训练，从错误发生处启动 rollout，仅在通过测试且避免错误行为时给奖励。在 Qwen3.5-4B 上，八类错误行为占错误步骤的 52.1%；训练后在未见前缀上错误重复率平均降低 43% 到 57%，Terminal-Bench Lite 得分 51.8% 超过 TMax-4B 的 47.4%，Terminal-Bench 2.1 上 21.3% 对 20.6% 持平，rollout 用量仅为其 35%。
推荐理由：论文给出面向终端智能体的错误定向 RL 方法，附错误占比与基准对比数据，方法思路可迁移到其他长程任务训练。
作者发布 llm-collusion-audit 仓库，在 Apart Research AI Collusion Sprint（2026 年 10 月 23 至 25 日）期间构建黑盒因果审计，从存档的重复定价博弈中重启并施加单一干预（强制降价或涨价、隐藏对手价格、更换伙伴、引入第三方），区分 LLM 定价智能体是在执行卡特尔还是仅被锚定在高价。
推荐理由：该项目用因果干预实验区分 LLM 定价是真实串谋还是锚定高价，方法预注册、含失败结果，结论可直接用于 AI 串谋检测讨论。
论文提出 OS-Wizard，一个面向专用桌面软件的自动轨迹采集框架，结合教程引导探索与 GUI 和代码混合动作空间，并在树探索中检查点和回访关键状态。采集的 10.9K 条轨迹含 54.9K 个状态动作样本，微调开源 base 模型后在专用桌面工作流基准上提升 58.2 个百分点至 64.1%，超过报告的人类水平 59.8%；仅用 GUI 动作也能提升通用桌面任务表现。
推荐理由：论文给出了一条自动化采集专用软件操作轨迹的完整路径，含方法、数据规模和微调后的对比结果，可作同类工作的方法参考。
论文提出 FlashScript，将成功的 Agent 运行编译为可复用的神经符号程序（NSP），动作与数据转换变代码、实例值变参数、需模型判断的决策保留为 LLM 调用。在 120 个 WorkBench 分析任务上配合 Claude Haiku 4.5，NSP 每次运行做出相同工具调用，输入 token 约为 skill 引导 Agent 的 1/70、运行时间约 1/3；复合任务中 skill 引导 Agent 准确率降至 23%，NSP 保持正确，并成功泛化到 108 个未见过实例。
推荐理由：论文把成功的 Agent 运行轨迹编译成可复用的神经符号程序，给出 token 用量与运行一致性的量化对比。
arXiv 论文 2610.33766 提出 StateWise，教单个 LLM 维护可修订的约束状态（含已撤销约束的墓碑标记），通过摘要、条件响应和精确回程检查自训练。在两个 backbone 上，StateWise 相比有监督自训练把 relapse 降低 8-22 个百分点，对话成功率较 backbone 提升 8-19 个百分点，且无需推理时脚手架就胜过 oracle 编译账本基线。论文还发现 Llama-3.1-8B 的有监督变体会让 relapse 约翻倍，因而加入偏好阶段，并评估了该方法对通用指令遵循基准的代价与权重插值缓解手段。
推荐理由：论文指出微调后的 7-8B 模型会精确追踪约束状态却不遵守，这一发现和用偏好阶段修复的思路有参考价值。
论文提出 MCP-Injector，一个可插入的协议感知故障注入中间件，其故障模型基于对 1,774 个开源 MCP 仓库中 57,240 条 issue 与 PR 的挖掘。在跨两个 gpt-oss 骨干（20B、120B）和三种 Agent 框架的 1,350 组实验中，故障导致任务完成分从 8.08 降到 3.23（满分 10），且 120B 在故障下保留的无故障得分比例与 20B 无显著差异（p = 0.96），故障下完成率甚至更低（91.1% vs 95.6%）。作者认为框架级错误处理比模型规模更重要，建议将协议感知故障注入作为能力基准之外的补充评测维度。论文已被 NeurIPS 2026 接收为 poster。
推荐理由：论文提出对 MCP 工具调用路径做故障注入的评测方法，并给出模型规模与容错关系的实测数据。
arXiv:2610.32483 提出评测 LLM Agent 执行框架（harness）与底层模型交互的框架，包含有效完成率（VCR）、Model-Harness Fit、Cross-Model Fit、交互残差和 Token Load 五项指标。研究在 6 个基准上评测 OpenCode、Codex CLI、Pi CLI、DeepAgents 四个框架与四个核心模型，加上两组原生固定组合，共 111 个评测设置、52,168 条轨迹；结果显示框架排名随模型和基准变化，OpenCode 跨模型表现第一，DeepSeek V4 Flash Preview 在共享四基准上保持较高的 Mean VCR。
推荐理由：论文把 Agent 拆成模型与执行框架两部分联合评测，给出五项指标和 52,168 条轨迹的实测，可帮助读者理解框架排名为何随模型和基准而变。
arXiv 论文 2610.32370 提出一个物理可控的多模态智能体，用于非平稳响应下科学仪器的逐shot调参，包含符号物理量提取、两层记忆加 MLLM 生成动作、独立动作可行性检查三个可审计组件。在 EXL-50U 四个平台的 455 shots 按时间顺序回放中，物理符号比波形图像的 macro-F1 高 0.21-0.32，检索上下文使与历史动作方向的一致率提升 22.4-42.7 个百分点；在五个离子源的监督运行中，409 次 executed shots 的束提取率达 86.80%。
推荐理由：论文用可审计的多模态智能体在真实聚变装置上做仪器调参，给出了消融数据和监督运行成功率，方法可迁移到类似非平稳控制场景。
arXiv 论文 DMAIC-Bench（arXiv:2610.32305）提出评测 LLM 智能体自我克制能力的基准，用 97 个种子任务、覆盖四个行业 15 个工业案例，基于 Lean Six Sigma 的显式统计前提构建，配反事实变体以区分合理停止与盲目停止。对六家提供商 13 个模型的实测显示，GO 决策路由准确率平均 92%，NO-GO 决策仅 19%；盲测专家评审估计 11 个被审计智能体的报告在 47% 的 NO-GO 决策点上基于无效证据行动，区间 31% 至 61%。论文含 54 页 14 图，代码与数据已公开。
推荐理由：论文用反事实变体把自我克制从任务完成度里拆出来测，给出 GO/NO-GO 路由准确率的量化差距，可作为评估智能体决策的新方法参考。
论文提出 SWE-Shift，一个评估编码智能体在任务执行中途遭遇代码、依赖或需求变更时表现的基准，包含 120 个场景、12 类变更族，并在 9 个干预位置评测。17 个编码智能体系统的 Shifted 成绩均低于 Clean 基线，GPT-6 Astra 从 67.35% 降至 24.79%，配对成功率 20.34%；工具/会话变更与过期证据在所有系统上配对成功率为零。论文地址 https://arxiv.org/abs/2610.32196v1
推荐理由：这个基准专门测任务执行中途环境被改动时的表现，17 个系统的成绩都下降，暴露了保留已有工作与刷新证据的短板。
论文报道了在北海道大学医院封闭网络内部署的临床支持智能体平台 LLENS，使用 8 块 NVIDIA H200 GPU 与开放权重模型 Kimi K2.6（约 1 万亿参数），自 2026 年 9 月 14 日起在医院网络运行。Kimi K2.6 从 3 个候选中选出，在 2026 年日本医师执照考试模拟中得 480/500 分；在 180 道基于医院文档的问题上，交互式工具访问准确率 97.2%，高于固定检索的 81.3%（差距 15.9 个百分点，95% CI 10.9-21.3）。
推荐理由：在医院封闭网络内部署开源大模型智能体的完整实测，对比了三种检索方式的准确率，方法可迁移到其他内网场景。
论文提出用 LLM 智能体作为语料调试器审计多语言数据管线，通过只读、有预算的 API 探索语料并将发现编译成可执行测试，再由母语者验证。在 FineWeb2 的 26.5M 文档斯洛伐克语子集上，三次运行各花费 $2.21-$2.84，共发现四个现象的七项问题，最大的是 1,408,437 篇（5.32%）通过管线过滤的机器生成内容农场；盲测支持 7 项中的 6 项（缺陷率 .53-1.00 对随机对照的 .08）。编译后的测试套件 0.7 秒即可扫全语料无需 GPU，而单次 LLM 分类需 $12k-$90k；最佳静态采样基线以不到一半成本验证了比任何智能体运行更多的选择器。
推荐理由：论文把 LLM 当语料调试器用一次而非逐条分类，并对比静态采样基线的成本与效果，方法对比值得数据质量工作者参考。
arXiv 论文测试了八开放权重模型在 558 份真实文档上的 JSON 提取行为，发现 schema 中未被强制执行的最小条目数会让超过真实数量的列表占比从 34.5% 升至 55.4%。约一半填充条目来自文档原文，难以被校验发现；告知“少于也可”、散文式计数、提供 N/A 选项等修复方法效果有限，而用校验错误重问反而加剧填充。代码、答案列表与运行记录已开源。
推荐理由：论文用预注册实验量化了 schema 最小条目数如何导致模型凑数虚报，并实测了几种常见修复方法的有效程度。
sierra-research 在 GitHub 发布 τ-bench 2.0，新增 τ-i18n 多语言评测，支持英、西、葡、印地、中、韩六种语言的文本与全双工语音客服任务，并引入 τ-Entity 外呼实体采集域（超 200 个任务）。text-v1 与 voice-v2 各为 6 语言×3 域共 900 次调用，冻结任务集便于复现对比；官方说明 2.0 英文运行与 v1.0.1 非输入一致，2.0 分数不可与 1.x 榜单直接比较。
推荐理由：原文列出各基准的任务数、语言包构成和与 v1.0.1 的具体差异，读者可据此判断 2.0 分数为何不能与 1.x 榜单直接比较。
一项 arXiv 研究（arXiv:2610.29812）在 SciFact 生物医学声明验证任务上，用 live PubMed API 作为唯一工具，对四种 harness 做受控消融，涵盖 closed-book、以 claim 为 query 的单次检索、ReAct 式自写 PubMed 查询的智能体，以及给定 gold abstracts 的 oracle，使用两种高效 frontier 模型作为固定骨干。
推荐理由：受控消融比较四种 harness，指出检索而非推理是生物医学声明验证智能体的瓶颈，方法可迁移到类似评估设计。
arXiv 论文 MemoryTax 提出：当模型足够强、能自行搜索原始历史时，Mem0、Zep 这类预先设计的记忆系统是否仍有价值。作者在一段 LoCoMo 对话（419 轮、152 个问题）上测试四种记忆方法（full context、BM25、Mem0、Zep）和三个编码 Agent（Pi、Codex、Claude Code），每个单元搭配 GPT-4o-mini、GPT-6 Luna 和 Claude Opus 5.5 各跑一次。结果显示 Mem0 仅在 GPT-4o-mini 上胜过 full context，且其构建成本就超过一次 full context 推理；记忆系统还有由写入模型设定的上限。
推荐理由：论文用同一对话横向比较记忆系统与让模型自带工具搜索原始历史，给出成本与准确率的具体数据，可作设计取舍参考。
论文提出 PAUSE 框架，在编码智能体发出首次源码编辑请求前拦截，由独立 Planner 读取任务和编辑前转录生成一份修复计划，无需学习监控器、检查点搜索或额外模型调用。以 Qwen3-coder 为 Executor、GPT-5.6 Sol 为 Planner，在 SWE-bench Verified 的 OpenHands 上提升 16.8%，在 Multilingual 的 SWE-agent 上提升 14.7%，并优于 LivePlan 3.2% 和 3.7%，Planner 开销约为 SICA 周期性监督的 11-15%；离线模式下从记录前缀恢复可挽回 35.4% 的合格失败任务，比重启少用 33-41% 的 Executor token。
推荐理由：论文给出单次规划干预的无搜索引导框架，用 SWE-bench 实测提升幅度与 Planner 开销对比，方法可参考。
arXiv 论文（arXiv:2610.30026）指出，主流文档转换器会丢失作者通过排版编码的含义，导致企业 Agent 自信地答错而非明显不完整。基于 76 份真实政策文档的任务上，格式盲摄取使 micro F1 从 0.690 跌至 0.150（docling）和 0.075（纯文本），差距在两个厂商的六个回答模型上复现；span 级 leave-one-out 将损失定位到高亮（+0.302）和颜色（+0.262），6,460 份文档中 32.8% 带有刻意颜色或高亮。结论是可靠性取决于摄取而非推理，修复方式廉价且可测量。
推荐理由：研究用 76 份真实政策文档量化文档摄取层丢失格式线索的程度，并给出低成本可测的修复方向，对 Agent 构建者有直接参考价值。
Kevin Peckham 在 GitHub 开源 barkup-bench，一个持续进行的预注册基准系列，比较 barkup（HTML 整树重写）与 JSON 细粒度变更工具等方案在让 LLM 智能体编辑页面布局、文档模板、CMS 内容等类型化树时的可靠性。系列已含 45 项研究、8 个模型上超过 36,000 次评分运行，覆盖接口、树规模、部分上下文、检索、会话记忆、多目标编辑等维度，并保留两次重大修正与若干自我反驳。
推荐理由：预注册协议加可复现语料和回归门禁的做法，为评测 LLM 智能体编辑结构化树提供了可迁移的实验纪律。