新闻、仓库与研究，按时间排列。
arXiv:2610.32483 提出评测 LLM Agent 执行框架（harness）与底层模型交互的框架，包含有效完成率（VCR）、Model-Harness Fit、Cross-Model Fit、交互残差和 Token Load 五项指标。研究在 6 个基准上评测 OpenCode、Codex CLI、Pi CLI、DeepAgents 四个框架与四个核心模型，加上两组原生固定组合，共 111 个评测设置、52,168 条轨迹；结果显示框架排名随模型和基准变化，OpenCode 跨模型表现第一，DeepSeek V4 Flash Preview 在共享四基准上保持较高的 Mean VCR。
推荐理由：论文把 Agent 拆成模型与执行框架两部分联合评测，给出五项指标和 52,168 条轨迹的实测，可帮助读者理解框架排名为何随模型和基准而变。
SCI-AGENT-EXAM 是一个面向科研工作流的智能体评测基准，包含 120 个专家标注任务，覆盖 11 个科学领域和 7 种研究任务类型。它采用程序化验证与经校准的 LLM 评审相结合的混合评估协议，并对执行轨迹的进展与稳定性进行分析。对 10 个前沿 LLM 智能体的实验显示，GPT-6 Astra 以 80.9 的总分领先，但仅 26.0% 的运行超过 0.95 成功阈值。
Async-RBench 是一个面向 LLM Agent 异步任务执行的基准，包含覆盖八个场景的 200 个可执行任务，并通过场景控制器与 Event Response Contract（ERC）规范结果处理，同时以 Dynamic Replanning Score（DRS）独立于任务成功率进行评分。对九个 Agent 的评测显示 DRS 得分为 19.2 到 45.1，且异步交付下任务成功率平均为 26.0%，低于批量交付的 29.7%；对其中三个 Agent 在每次收到结果后重建计划的提示策略仅带来 2.6 到 3.5 分的 DRS 提升。
DealsFlow 是一个部署于英国早期基金的人机协同智能体框架，让 LLM 阅读创业公司融资材料并引用证据评分，通过阶段化佐证上限（78/70/60 分）、只降不升的怀疑者调用和预取证据模式抑制评分虚高。在 142 笔三年以上 SEIS/EIS 投资上，其评分与总价值倍数的 Spearman ρ=0.45、识别减记的 AUC 0.71，优于无约束 LLM 的 0.38 和 0.68；20 份申请的试点中分析师单件耗时从 44.7 降至 18.9 分钟，但 70% 的报告仍需至少一处修正。
一项 arXiv 研究测试 System One（决策）模型的决策微调能否比普通 reranker 微调更适合做重排器。在 0.6B 到 27B 六个 Qwen 骨干和十个 TREC DL 与 BEIR 集合上，9B 及以下 reranker 微调在 nDCG@10 上领先 5 到 29 分，27B 两者持平。结论：需要 reranker 就直接微调 reranker。
arXiv 论文 DMAIC-Bench（arXiv:2610.32305）提出评测 LLM 智能体自我克制能力的基准，用 97 个种子任务、覆盖四个行业 15 个工业案例，基于 Lean Six Sigma 的显式统计前提构建，配反事实变体以区分合理停止与盲目停止。对六家提供商 13 个模型的实测显示，GO 决策路由准确率平均 92%，NO-GO 决策仅 19%；盲测专家评审估计 11 个被审计智能体的报告在 47% 的 NO-GO 决策点上基于无效证据行动，区间 31% 至 61%。论文含 54 页 14 图，代码与数据已公开。
推荐理由：论文用反事实变体把自我克制从任务完成度里拆出来测，给出 GO/NO-GO 路由准确率的量化差距，可作为评估智能体决策的新方法参考。
论文提出 SWE-Shift，一个评估编码智能体在任务执行中途遭遇代码、依赖或需求变更时表现的基准，包含 120 个场景、12 类变更族，并在 9 个干预位置评测。17 个编码智能体系统的 Shifted 成绩均低于 Clean 基线，GPT-6 Astra 从 67.35% 降至 24.79%，配对成功率 20.34%；工具/会话变更与过期证据在所有系统上配对成功率为零。论文地址 https://arxiv.org/abs/2610.32196v1
推荐理由：这个基准专门测任务执行中途环境被改动时的表现，17 个系统的成绩都下降，暴露了保留已有工作与刷新证据的短板。
一项 arXiv 研究发现，仅更改语料的收集日期元数据即可改变五个开源 LLM 在时间性问答中的答案：在 595 个 Wikipedia 页面上，交换前后两天的提问日期使后向引用 exact match 下降 37.6-51.4 个百分点。七种提示词变体（包括明确忽略收集时间的指令）均无法消除该效应；加入思维链可将 Qwen3.5 的损失从 30.1 降至 11.1 个百分点。该诊断可将元数据影响与证据变化分离，为时间性 QA 输入提供实用审计方法。
一项研究在六语言因子设计中用 10 个开源模型（3B-14B）检验多语言 P(True) 自我评估，基准为 LSQA、MMMLU 和 TriviaQA。三种语言各自影响评估的不同方面：对齐回答与问题或验证器语言可提升区分度但不改善校准，仅验证器语言就可使校准误差变化达 0.04；未经验证的评分器会把 MMMLU 英-印地语准确率差距从 0.198 缩到 0.038。因此多语言置信度结果只在三种语言均报告且评分器经过验证时才具可比性。
研究者对文档分类标准 benchmark RVL-CDIP 进行系统审计，发现其 400,000 份文档中约 10.5% 标签错误，35.2% 的测试集在训练集中存在重复或近似重复。移除页面识别码后 SOTA 模型损失 11 个百分点，图像模型在分布外文档上损失 16 至 28 个百分点。团队重训 25 个模型并发布去标识化修正语料，重训的 13 个模型准确率提升 0.9 至 2.9 个百分点，最高的 LayoutLMv3 达 96.5%。
一项实证研究评估了四个专用决策模型在越南语零-shot 分类中的表现，覆盖六个任务组共 13 个分类设置，并测试英语、越南语和双语标签描述及 teencode、拼写错误、去声调等语言扰动的影响。结果显示，英语标签描述下 JEV 表现最强，在 11 个分类设置中排名第一，双语描述并无一致提升；去声调导致的性能下降最大，使平均 macro-F1 降低 9.51–15.47 分。
TTS 通常用 ASR 转录输出评估词错误率，但识别器本身的错误也会被计入。在 LibriSpeech 和 FLEURS 上，评估识别器对人类语音中极罕见词的漏识率达 33-67%，用另两族识别器复核后，至少一个识别器听到的词的表观 TTS 错误率降低两到三倍（极罕见 LibriSpeech 词从 10-13% 降至 3-5%）。直接忽略这些漏识词有偏：识别器在这些词上发现 TTS 错误的频率为 4-6% 对 0.2-0.3%，且推翻约半数保留的错误。
一项 arXiv 研究用 601 对天城文-拉丁文审计身份对测试发现，Qwen2.5-7B 在马拉地语提示下，同一人名判断准确率从拉丁文的 35.1% 降至天城文的 8.5%。在 374 对马拉雅拉姆语对上复现了该效应，0.925 AUROC，且标量校准可恢复 87% 的模型-探针平衡准确率差距。对 Qwen 中间层的干预将马拉地语同一人准确率从 6.5% 提升至 33.5%，不同人准确率保持 98.5%。
一项 arXiv 研究让四个 LLM（两个闭源、两个开源）以盲评方式评审来自 Nature、Science、Cell 等 20 本期刊的 200 篇 2026 年已发表论文，800 份评审中 75.6% 建议大修或拒稿，各模型比例从 17.5% 到 100% 不等（p < 0.001）。在被植入一个特定领域方法学或统计缺陷后，各模型检出率为 17.0% 到 60.5%，显示模型间结论高度不一致且假阳性与漏检并存。
研究者提出 PhysTrace，一个无需训练的框架，将 MLLM 生成的历史条件预期与观测视频窗口对齐，以时序定位视频生成模型中的物理违规并给出可解释描述。配套发布的 IntPhys2-Timing 基准为 IntPhys2 加入违规时间区间，PhysTrace 在其上的 Hit Rate 最高达 70.7%，并在 IntPhys2 的可能-不可能判别总准确率上优于对比方法。应用于 diffusion/flow 视频模型的重建视频时，该框架可跨时间步揭示属性与噪声相关的物理违规定位模式。
研究者推出 DuoCook，一个基于 Unreal Engine、受 Overcooked 启发的视觉规划与协调评测 benchmark，由单一视觉语言模型通过俯视视觉观察同时控制两名玩家。benchmark 包含 5 类共 20 张地图，评估任务得分、订单完成率、交付精度、动作接受率和 API 花费，并对共享自写笔记记忆做了消融实验。表现最强的模型 gpt-6-astra 平均订单完成率仅为 26.2%；笔记记忆对 Claude 和 Qwen 平均加分，对 GPT 和 Gemini 则为负向。
一项研究用西班牙 MIR 住院医师考试规则评测了 4 个 8B 至 27B 参数的开源模型，共 1,552 道题。三个较大模型答完全部题目可排进约前 600 至 3,000 名，41 至 43 个专业仍可匹配。但医学微调虽降低过度自信却牺牲准确率，且替换或删除图像不影响成绩，13-38% 的正确答案因临床不合理理由排除干扰项。
一项研究提出用成本感知弃权评估 IT 工单自动路由策略的离线可用性。在 47,837 条工单、八分类的公开语料上，TF-IDF 加逻辑回归在校准数据上选定阈值 0.60 后，测试成本从 0.763 降至 0.472，相对降低 38.1%，错误路由率从 15.3% 降至 3.5%；表现最好的提示配置准确率 0.477，低于同批工单上微调 DistilBERT 的 0.879。研究还报告 correctness AUROC 与 ECE，并强调这是评估框架而非新的弃权算法。
一项基于 PRISM 公开数据集的研究比较了用户的口头偏好与实际评分行为：1,396 名参与者对来自 21 个 LLM 的 29,347 条回复进行了评分。研究发现，回复长度、格式和拒答语言等问卷未涉及的具体特征，对评分的影响不亚于被调查属性的文本代理指标；口头优先级只与模型的感知属性相关，难以预测实际奖励的特征。个人信息对预测留出选择的增益最多仅 0.13 个百分点，而更强的池化模型为 1.11，这对偏好获取和 AI 个性化具有启示意义。
研究者推出 TutorCaseBench，基于教育学、教育心理学和特殊教育的定性案例研究评估 LLM 导师。基准包含 923 段对话、五种挑战类型，通过 1,560 项开放式生成和 2,537 项选择题评测。11 个 SOTA 模型中最强者也仅在 55.8% 的开放式案例中满足评分标准，开源权重模型在情境化适应上的差距更明显，数据已公开。
研究者推出 TRIAD 基准，用文本-图像-音频三元组评测全模态大模型的歧义消解能力，包含 327 个手写问题、86 个场景组和 18 类歧义。对 14 个全模态系统的评测显示，最佳模型的组级准确率仍落后人类 20 分以上；移除答案选项后模型组准确率跌至个位数，且现有系统在文本和图像并存时常低估音频线索。
研究者提出视频中心深度研究报告生成任务，并发布技能工作流与评测基准 OmniDR-Bench。该基准包含 50 个中英文任务、覆盖 19 个真实子类别、共 6,414 条标准，并采用 Omni Atomic Rubric Trees（Omni-ARTs）从视听定位、多模态证据使用和交互式呈现三个维度评估。在 18 个智能体配置中，最佳系统仅得 63.3/100 分，代码与数据已开源。
研究者提出个人智能体基准 ColaBench，覆盖健康与日常生活场景，包含 349 个任务、10 个 Profiles 和 13,033 篇文档的知识库，通过 Evidence Graph 将个人状况与公开交互记录及文档证据关联。配套方法 MemKB 利用状态摘要、规则应用和记忆-文档链接检索知识，达到 86.25% Accuracy，平均每任务 4.07 轮交互。错误分析发现无依据的个人假设和规则误用是主要障碍。
SecLog-Bench 是一个可扩展的网络安全日志推理评测基准，构建覆盖 29 种攻击场景的仿真平台，结合审计日志、应用日志和网络流量多源证据，并为每个样本标注结构化分步证据链。对 8 个主流 LLM 的评测显示，最佳模型准确率仅 44.44%、Macro-F1 为 45.07%，最高 Stage Reasoning F1 仅 54.87%，表明当前模型攻击进展推理能力有限且推理质量与预测准确率常不一致。
arXiv 论文提出评估人工智慧（AW）的基于轨迹的测量框架，将其行为化定义为对判断的情境敏感调节，并用九组件画像、两项转换指标和关键失败报告进行评分。三项简化模拟显示：单准则模拟在每领域 24 个情景时达到精度标准；瓶颈估计在接近平局时存在 0.55 点的下偏；增量预测模拟用 8 和 12 个模型族分别以 .508 和 .742 的概率检测到 0.027 的 Brier 改善。12 模型族目标仍属暂定，画像能否预测超越能力的独立决策结果仍是开放问题。
一篇 arXiv 论文提出，内容审核系统的过度拦截与保护不足同源于依据词汇表面形式而非信息功能判断危害，并归纳为七种失败模式。作者提出一套评估协议，在 11 种语言上测试五个开放系统，55 个系统-语言组合中有 51 个无法在母语者水平区分有害功能与无害形式；能力提升在九种语言中改善判别，但阿拉伯语和罗马化印地语仍接近随机，最受益与最不受益语言社区之间的差距随能力扩大。
一项 arXiv 研究指出，LLM 的 ToM 基准总分混淆了显式 ToM（识别信念）与应用 ToM（用信念预测行为）。在 SimpleToM 上，Llama-3.1-8B 总分 51.5%，但识别心理状态达 99.4%，预测行为仅 28.9%。提出 BSTTT 结合提醒语后，Llama 行为预测提升 40.8 个百分点，其中提醒贡献大部分，BSTTT 额外增加 1.3 至 5.5 个百分点，研究者建议分别报告显式与应用准确率。
arXiv 论文提出 Dual Exam 评测框架，在物理、数字、社会和科学领域分别固定环境响应测试多模态智能体、固定动作干预测试世界模型。Agent 赛道含 1,088 项、15 类报告维度的 10 种配置，GPT 6 Astra 以 31.3 的 Agent Index 居首；World Model 赛道含 400 个案例、8 个场景，GPT-Image-2 以 21.7 的全覆盖总分领先。150 个案例的耦合试点任务成功为零，揭示了任务表现不均与任务相关状态保持失败的问题。
研究者提出 MQAScore，利用大型音频语言模型（LALM）对二元问题的肯定回答概率，沿流派、乐器、情绪主题、人声、用途五个维度逐一验证原子音乐概念。他们还基于存在/缺失标注和 LLM 引导的概念替换构建验证标签，并提出 Sensitivity-Invariance Ratio 衡量评估器对改变语义替换的选择性响应。实验显示概念级评分可提升问答式与相似度式评估器，MQAScore 可作为全局相似度的可靠、可解释细粒度补充。
一项 arXiv 研究指出，成对评测会让同一 prompt 下响应共享的分数成分相互抵消而未被检验。作者提出基于 prompt 间方差占比、兄弟评分回归和 prompt 替换的人类参照审计，测试 18 个已发布评分器与 6 种匹配训练条件；在 HelpSteer2 上，6 个 reward model 的 prompt 间份额为 0.34 到 0.64，而人类评分接近零。研究建议奖励模型评测应分别检验 prompt 间方差、对错误 prompt 的敏感性以及对选择的有用性。
论文提出 ProductWebBench 基准，在真实前端仓库上同时评分需求完成与网站连续性，包含 320 个 Change 任务和 80 个 Build 任务。基于 13 个模型共 8,737 次运行，通过全部需求检查的 Change 运行中仍有 28.2% 未通过连续性检查，18.3% 破坏了已验证状态。此外，静态 DOM 通过的运行中有 29.5% 在交互环节失败。
一篇 NeurIPS 2026 工作坊论文提出“事后审计幻象”：离线测试可能无法揭示智能体更新部署后是否安全。作者用匹配的安全与有害生命周期构造可执行审计边界，并给出错误-弃权权衡定理。Post-Audit Mirage benchmark 覆盖授权、调度与共享容量环境，实验表明监控在有利条件下可恢复关键区分，但对稀有群体、小效应或缺失观测可能仍无法判定。
arXiv 论文提出一种匹配协议，将工具增强问答评测拆分为答案读出、推理、调用决策、工具返回和无调用报告五个步骤，以检验工具是否让模型对比更稳定。在五个领域、五种问法下测试六个开源模型后发现，工具在程序可作答的场景提升准确率，但会扩大许多两两对比的措辞敏感性，其程度随模型调用频率变化。作者建议在准确率之外同时报告调用频率和多措辞下的对比稳定性。
一项多语言研究发现，LLM-as-a-Judge 评估中的提示策略不可跨模型迁移：评测模型的选择比提示策略的选择影响更大，同一策略在不同 judge 上效果方向会反转，且低资源语言下稳定性下降。研究测试了 9 种提示策略、4 个开源 judge 模型、27 种语言、4 个任务共 13 个数据集，产出超 100 万条基于标准答案的点对评分，并经人类判断验证。研究建议提示策略应针对具体评估场景验证，跨研究比较需同时考虑 judge 与提示配置。
Hugging Face 发布 Granite Timeseries Ensemble，将四个不同架构的预训练 Granite 时间序列模型（PatchTST-FM-r1、PatchTST-FM-r2、FlowState-r1.1、TTM-r3）组合成一个无需重训练、无需拟合权重的集成预测接口。默认 Probabilistic Ensemble 采用等概率池化，另提供按预测离散度自适应加权的 IQR Ensemble。两个配方在 97 个 GIFT-Eval 数据集配置上评估，配置经宽松许可开源，可通过 granite-tsfm>=0.3.11 从 Hugging Face 加载。
一项基于 BBQ 基准的研究考察了 Qwen3、Gemma-3 和 SmolLM2 在多种规模与量化设置下的社会偏见与弃答行为。结果显示，更大模型问答准确率更高，但偏见无简单缩放趋势，量化影响因配置而异；26 个偏见响应更少的配置中有 20 个同时出现过度弃答增多。研究表明公平性评估需将偏见响应、弃答、提示词形式与选项设计联合考虑。
一项 arXiv 研究提出操作级测量框架，通过基础能力画像与操作画像刻画 LLM 的智能体能力，并定义能力实现差距。在 τ²-Bench 上对十五个模型服务的实验显示，基础画像仅能部分预测智能体操作表现，操作画像可显著改进任务分数预测。作者将开源代码与分析产物。
arXiv 论文提出 ALIAS，用一致标识符重命名（CIR）在 111 个 TLA+-Bench 任务上检测 LLM 记忆化。重命名使 Claude Opus 4.8 正确率从 28% 降至 18%、GPT-5 从 9% 降至 7%，但按行为评分后降幅缩小至约 3 和 0 个百分点，说明大部分下降来自要求精确名称的评分方式。微调实验中重命名移除约一半训练增益，在未见任务上损失 4.9（Qwen）和 1.3（Gemma）个百分点。
arXiv 论文 MemoryTax 提出：当模型足够强、能自行搜索原始历史时，Mem0、Zep 这类预先设计的记忆系统是否仍有价值。作者在一段 LoCoMo 对话（419 轮、152 个问题）上测试四种记忆方法（full context、BM25、Mem0、Zep）和三个编码 Agent（Pi、Codex、Claude Code），每个单元搭配 GPT-4o-mini、GPT-6 Luna 和 Claude Opus 5.5 各跑一次。结果显示 Mem0 仅在 GPT-4o-mini 上胜过 full context，且其构建成本就超过一次 full context 推理；记忆系统还有由写入模型设定的上限。
推荐理由：论文用同一对话横向比较记忆系统与让模型自带工具搜索原始历史，给出成本与准确率的具体数据，可作设计取舍参考。
研究者构建了包含 60 余万条样本的罗马尼亚语-英/德/法/意混合语言讽刺检测数据集 CS-SeLeRoNa 及人工校验的 CS-SeLeRoNa-Gold 基准，采用随机替换、短语翻译、依存句法分析和 LLM 四种方法生成语料。评测显示，老一代开源模型 macro-F1 降至 37%-55%，Gemma 4 31B 零样本达 68.1%，接近 GPT-5 mini 的 69.5%；微调后 Gemma 4 31B 在 CS-SeLeRoNa 上达 77.5%、gold 基准上达 72.6%，超过前沿模型零样本基线。