按兴趣浏览，循来源深入。
研究者推出 IGG 基准，要求智能体先通过交互使目标可见再点击，含 16 个 GUI 环境、601 个任务和七类可见性约束。人类准确率 94.6%，GPT-5.5 为 79.4%，最强开源 VLM 仅 31.6%；干预实验显示为 Qwen3-VL 代做交互可将其准确率从 30.8% 提升至 81.9%，瓶颈在于执行揭示交互而非识别目标。论文已被 EMNLP 2026 主会接收。
推荐理由：论文用两组干预实验定位出瓶颈在执行揭示交互而非目标识别，方法可迁移到 GUI 智能体的评测设计。
arXiv:2610.32483 提出评测 LLM Agent 执行框架（harness）与底层模型交互的框架，包含有效完成率（VCR）、Model-Harness Fit、Cross-Model Fit、交互残差和 Token Load 五项指标。研究在 6 个基准上评测 OpenCode、Codex CLI、Pi CLI、DeepAgents 四个框架与四个核心模型，加上两组原生固定组合，共 111 个评测设置、52,168 条轨迹；结果显示框架排名随模型和基准变化，OpenCode 跨模型表现第一，DeepSeek V4 Flash Preview 在共享四基准上保持较高的 Mean VCR。
推荐理由：论文把 Agent 拆成模型与执行框架两部分联合评测，给出五项指标和 52,168 条轨迹的实测，可帮助读者理解框架排名为何随模型和基准而变。
arXiv 论文 DMAIC-Bench（arXiv:2610.32305）提出评测 LLM 智能体自我克制能力的基准，用 97 个种子任务、覆盖四个行业 15 个工业案例，基于 Lean Six Sigma 的显式统计前提构建，配反事实变体以区分合理停止与盲目停止。对六家提供商 13 个模型的实测显示，GO 决策路由准确率平均 92%，NO-GO 决策仅 19%；盲测专家评审估计 11 个被审计智能体的报告在 47% 的 NO-GO 决策点上基于无效证据行动，区间 31% 至 61%。论文含 54 页 14 图，代码与数据已公开。
推荐理由：论文用反事实变体把自我克制从任务完成度里拆出来测，给出 GO/NO-GO 路由准确率的量化差距，可作为评估智能体决策的新方法参考。
论文提出 SWE-Shift，一个评估编码智能体在任务执行中途遭遇代码、依赖或需求变更时表现的基准，包含 120 个场景、12 类变更族，并在 9 个干预位置评测。17 个编码智能体系统的 Shifted 成绩均低于 Clean 基线，GPT-6 Astra 从 67.35% 降至 24.79%，配对成功率 20.34%；工具/会话变更与过期证据在所有系统上配对成功率为零。论文地址 https://arxiv.org/abs/2610.32196v1
推荐理由：这个基准专门测任务执行中途环境被改动时的表现，17 个系统的成绩都下降，暴露了保留已有工作与刷新证据的短板。
arXiv 论文 MemoryTax 提出：当模型足够强、能自行搜索原始历史时，Mem0、Zep 这类预先设计的记忆系统是否仍有价值。作者在一段 LoCoMo 对话（419 轮、152 个问题）上测试四种记忆方法（full context、BM25、Mem0、Zep）和三个编码 Agent（Pi、Codex、Claude Code），每个单元搭配 GPT-4o-mini、GPT-6 Luna 和 Claude Opus 5.5 各跑一次。结果显示 Mem0 仅在 GPT-4o-mini 上胜过 full context，且其构建成本就超过一次 full context 推理；记忆系统还有由写入模型设定的上限。
推荐理由：论文用同一对话横向比较记忆系统与让模型自带工具搜索原始历史，给出成本与准确率的具体数据，可作设计取舍参考。
论文将 Gemini 3.8 Flash（temperature 0）作为事件触发跌倒筛查器的决策端，零样本判定 32x24 公开热成像数据集中的短片段：438 次摆拍跌倒中被叫出 67%（留出受试者 69%），499 个非跌倒窗口无一误报。在 160x120 有人居住房间 76 小时录音中，395 个日常片段零误报，9 次可见摆拍跌倒捕获 4 次；删除提示词中一句关于离开视野的警示后，敏感率在家用场景升至 9/9，但会把故意躺下误判为跌倒。8x6 像素下敏感率降至 34%，而两个传统检测器在实验室近乎全中却在家庭场景每天误报 14.2 和 23.9 次。作者公开了帧级跌倒标注和全部模型回答。
推荐理由：论文用真实部署口径实测多模态 LLM 做热成像跌倒筛查，给出了敏感率与误报数据，并指出提示词一句话对结果的显著影响。
arXiv 论文提出通过40个日常问题（如“说出一种声音”“说出一位诗人”）的单字答案为语言模型建模指纹，在94个模型的面板上识别出确切模型的准确率为92.5%，随机仅为1.1%；系统提示词会使准确率下降6至16个百分点。作者用该方法检测 OpenRouter 上13个开放模型的96个端点，其中92个与其声称的模型一致，一个端点以 Llama 4 Maverick 之名实际提供 Gemma 4（自报身份且计费按 Gemma 4 的 token 数）；计费记录还显示第一方模型被附加了额外上下文，如 Grok 4.7 对一行问题计费1,247个输入 token，而 GPT-4o 同样问题仅12个 token。方法成本每端点仅几美分，代码与数据已公开。
推荐理由：这篇论文展示了用40个单词答案就能指纹识别API背后的模型，还借计费记录发现OpenRouter上有端点冒名和隐藏注入上下文，方法成本极低可复现。
作者公布 AKBC LM-KBC 2026 共享任务方案，在官方榜单取得 0.6836，超过 0.2964 基线一倍以上。方法是在最多 32B 参数、无检索无微调的限制下，用文本补全方式提示 base 模型并生成 64-256 个输出只保留重复项；对比显示指令微调版本仅得 0.5681，作者称指令微调会降低事实回忆，命名为指令税，其成因是权重而非提示方式。
推荐理由：作者在 LM-KBC 2026 任务中实测同一模型 base 与指令微调版本的事实回忆差距，提出指令税概念，方法可直接迁移。
Ai2 发布 FairStress 基准，用 300 个真实两难决策场景、扩展后超 1300 万测试用例，测量大语言模型在不同人口身份下的决策稳定性和解释差异。实验发现存在反刻板印象的过纠，模型在对抗性前缀下更容易放弃有利于多数群体的正确决策，匹配前缀下向少数群体切换的概率高出 8.8 到 42.4 个百分点；对 BBQ 的对比显示评测提问和打分方式会改变测得的偏见方向。
推荐理由：不止测最终选择，还用对抗性前缀测决策稳定性，揭示了用固定选项打分的旧基准可能漏掉的反向过纠现象。
IBM Research 发布 ALTK-Evolve，通过 GPT-4.1 从智能体自身轨迹中蒸馏行为规则并追加到系统提示词，在不更新权重的情况下让 stock ReAct 智能体在 τ²-bench retail 达到 Pass^4 67.5%，登顶 2026 年 10 月 12 日榜单快照。换用 gpt-5.5 后 airline 以 82.0% 位居第一；对比显示 retail 需 292 条 lossless 全集才见效，airline 的 14 条 sup3 核心反而更可靠，代价主要是输入 token 成本上升，对话轮数略降。
推荐理由：不更新权重，仅靠从轨迹中蒸馏的提示词级规则就把 stock ReAct 智能体推上 τ²-bench 榜首，方法可直接复用。
论文研究 Agent harness 跨轮次处理上下文（丢弃、摘要、回放模型推理）何时改变 Agent 成败，而非只看成本。预注册合成实验显示，所需事实可重新查回时截断上下文几乎无损失，事实不可再观察时成功率降至随机水平，两种惩罚相差 92.5 个百分点（90% CI [89.5, 95.5]），第二家供应商一个模型的复现结果一致。在 ARC-AGI-3 上，Standard harness 与 Provider Adapter harness 存在 63 分差距，改摘要而非丢弃旧轮次并保留记笔记提示可恢复 86%，不保留提示恢复 43%，叠加供应商原生推理回放再恢复 57%；这些为单次运行的点估计。
推荐理由：论文用预注册实验拆解 harness 对 Agent 成败的影响，给出可量化的组件归因，对理解上下文管理设计有直接参考。
Cloudflare 的 27B 多模态决策模型 Clef 已在 Ollama 上线，用户可本地运行或使用 Ollama 云端。该模型从 Qwen3.8-27B 微调而来，以 Apache 2.0 协议开源，支持文本、JSON 与图像输入，可一次读取输入并同时对所有问题的答案打分，兼容 Jev 和 System One API。官方称其登顶 Cloudflare 的 Decision Index，在 Jev benchmark 套件多数项目上超过 Jev，例如 BFCL case exact 98.47 对 95.75；43 个评测的延迟中位数为 209.3ms（Clef-flash 为 38.8ms）。
推荐理由：官方发布了多模态决策模型 Clef 的完整基准与延迟数据，读者可以直接对比它和 Jev 等模型在各场景的实际表现。
arXiv 论文（arXiv:2610.24649）在 Terminal-Bench 2.1 上预先设定的研究中测试决策模型 Jev 1.13 作为控制器能否让 Claude Sonnet 5.5 终端 Agent 更省。21 个 held-out 任务、315 次试验中，Jev 使单次尝试成本上升 19%（几何均值比 1.19，95% CI 1.02-1.36），通过率不变（73.0% vs 73.0%）；比小模型 Claude Haiku 5.5 控制器便宜（比值 0.81），但比安慰剂贵 22%。离线评估中 Jev 排序优于规则（AUROC 0.78 vs 0.62）但校准差：判为未完成的运行中 87% 实际通过，导致要求验证本已正确的工作；所有控制器都从未选择放弃运行。
推荐理由：论文用预先设定的对照实验测了决策模型控制器对 Agent 成本和成功率的影响，数据具体，结论对脚手架设计有参考价值。
arXiv 论文提出 FDE-Gym 基准，包含来自 20 个真实客户场景、18 个行业的 95 个端到端交付任务，考察智能体澄清模糊需求、发现未言明约束并在生产级系统上交付方案的能力。评分以客户自身成功指标的改进归一化（0 到 1），并对与利益相关者的交互（消息、试运行、等待时间）施加惩罚；同时评测了 7 家提供商的 13 个模型配置，最佳配置平均分 0.56，仅完成 14/95 个任务（得分至少 0.8 且无事故）。主要瓶颈是发现未言明约束，但即便在 23 个拿到全部关键事实的任务上，最佳配置也只有 10 个达到 0.8 以上的业务提升，显示解决明确任务与真实客户交付之间存在显著差距。配套有在线练习平台、代码和数据。
推荐理由：基准把交付结果量化为对客户业务指标的改进，还给出 13 个模型配置的实测对比和瓶颈定位，便于评估真实交付能力差距。
论文提出 System1-Arena 基准，统一给模型相同的决策请求并按概率打分，考察哪些决策可交给单次前向的 System-1 模型、哪些需要生成式推理。基准含 105 个任务的 92k 题目和 138 个闭环环境，评测 30 个模型；最大的 System-1 模型在非智能体任务上达到或超过快速闭源 LLM，延迟仅四分之一，推理型 LLM 最准确但成本约为快速 LLM 的 70 倍，闭环中大型开源 LLM 成功率最高（至多 32.9%）。
推荐理由：论文用统一基准量化 System-1 与 System-2 模型的决策分工，读者可借此判断哪些决策不必走生成式推理。
华盛顿大学圣路易斯分校等团队发布 arXiv 论文 arXiv:2610.21270，用 400 个合成医疗工作流 episode 审计 LLM 智能体在证据缺失、过期、冲突或延迟时的升级（escalate）决策，按 5:1 漏报与不必要升级成本计分。五个 1.7B–9.7B 开源权重配置干净决策准确率达 0.97，但不确定性触发的模型漏掉 32–97% 的必要升级，9.7B 配置在冲突下从 0.97 降到 0.78；语言化置信度不一致（ECE 0.10–0.54）。工作流感知控制器将漏升级降到 0.12–0.24、特异性 0.83–0.93，但 30 概念词汇压力测试使其规则检测器在未见改写上的召回从 1.00 降到 0.00，结论限于该基准。
推荐理由：论文量化了医疗 LLM 智能体在证据缺失或冲突时漏掉升级请求的比例，并提示路由控制器也要单独做泛化测试。
研究者提出 VALCON，一个通过双角色变化把价值一致性操作化的评测框架，包含 VAB-Consistency、VAB-Boundary、VAB-Challenge 三个基准套件，代码和数据已开源。对 28 个 LLM 的实验显示普遍的跨角色不一致：输出高度合规的模型常常无法让自身评判与自己的生成对齐。机制探针发现与这种行为不对称相关的角色依赖表征解耦，据此提出的表征定向干预可有效缓解一致性失败。论文被接收为 Findings of ACL: EMNLP 2026。
推荐理由：论文把价值一致性单列为一个对齐维度，给出评测套件、机制分析和干预方法，对关注模型自我评估可靠性的读者有参考。
一项 arXiv 研究发布包含83部出版作品的非线性叙事生成基准，每部作品标注正序与叙事顺序的事件列表及因果依赖、角色知识和悬念结构的故事图。测试显示19个模型按时间顺序讲述都比出版作品更线性，被要求特定结构时约一半情况落在人类范围内；自动化裁判与71位人类读者都更偏好模型默认的线性故事，非线性版本在81%的关键判断中被认为更难跟上，读者还更偏好基于故事图生成的故事而非照搬出版顺序。
推荐理由：论文用83部作品语料和71位人类读者对比模型非线性叙事能力，给出了具体差距数据而非泛泛结论。
作者发布 MultiPartyTurnBench（MPTB），包含 240 段合成、信道分离的 2 至 5 人对话和六种交互类型，评测话轮结束（EOT）检测与打断（INT）检测两项任务。基线模型 EOT 召回率达 82.5-92.6%，但五个全双工智能体在选择性打断处理上接近随机水平（46.9-54.7%），Gemini-3.8-Live 对 97.7% 的附和信号让出话轮，MiniCPM-o-4.5 仅响应 1.4% 的真实打断。论文指出选择性话轮控制仍是多方语音交互的未解难题。
推荐理由：基准把真实话轮转换与易混淆的非事件分开评测，并给出五个全双工智能体在选择性打断上的具体短板数据。
arXiv 论文（arXiv:2610.20417）对 DeepSeek-V4-Flash、GLM-5.3-Flash 和 GPT-6.1-Sol 在 354 个事件活动语料上做预注册冻结评测，发现 micro precision 仅 0.03-0.34、ECE 0.53-0.94，旗舰模型也未消除差距。主要失败不是幻觉：抽样标注回推显示 65.6% 为背景提及、19.9% 为 gold 范围缺口，仅 1.2% 无依据候选。自洽性频率分层可在全部六个测试格通过预注册精度增益门槛，但 45 个关系级反事实显示单句误归属即可翻转 95.6-100% 的高置信判断，结论是置信度分层只能用于排定复核优先级，不能当真值。
推荐理由：论文用预注册冻结评测拆解了 LLM 长文档实体抽取的失败构成，发现主要问题不是幻觉而是背景提及，并给出置信度分层的部署边界。