新闻、仓库与研究，按时间排列。
arXiv 论文提出一套针对 LLM Agent 评测框架可靠性的 Oracle 完整性审计方法，含五条状态完整性不变量和三个已知答案控制，通过注入七类缺陷验证全部可检出且修复后无误报。对某 Agent 基准的审计发现奖励函数会在评分前改变环境状态，4,320 条 episode 的回放修正使 database-pass 标签从 4,194 降至 2,883，测得成功率从 94.3% 降至 65.5%。另发现策略文档、工具描述与工具错误字符串影响测得轨迹可靠性，工具描述的探索性效应最大（-9.2 pp），且第二任务域的语言效应符号反转；审计方法无法验证第二个基准，因其记录的 API 调用日志无法重建参考终态，论文发布了含审计套件与故障注入目录的复现包。
推荐理由：论文给出了一套可检测评测 Oracle 缺陷的审计方法，并实测出奖励函数缺陷把 94.3% 的成功率拉低到 65.5%，方法附带完整复现包。
arXiv 论文提出 Certified Adaptive Selection（CAS），在剩余不确定性无法改变结果时即返回精确 top-k 集合，并通过 Expected Shortfall 的上下界给出认证。其预测引导策略 CAS-PG 在两个公开算法选择矩阵上分别用 630/3150 和 981/2200 次查询认证精确前三，仅为事后最少评估次数的 1.14 和 1.18 倍；无历史数据的纯记录变体为 1.28 和 1.37 倍，优于测试的非预测型认证策略。
香港 researchers 推出 SkillHorizon，一个通过技能组合在七个业务环境中构建长程任务的 benchmark，含 1,050 个任务，参考交互工作负载为 64K 至 1M tokens。评测五个大语言模型发现：随着规模增长，平均局部目标完成率从 90.4% 降至 46.8%；更大负载下智能体常在大量工作未完成、工具调用额度仍有剩余时提交不成功的最终答案。代码已开源。
SkillForgeBench 是一个以 agent 技能为执行蓝图的智能体可靠性评测基准，含 842 个跨五大专业领域的 sandboxed 任务，对 8 个主流 agent 进行严格评分，Opus 4.8 以 40.9% 的 strict completion 率居首。结果显示所有模型层级在满足全部约束时表现大幅下滑（70.0%-85.7% 的单项通过率降至 12.6%-40.9%），且各模型的过程 rubric 达成率远低于完成 rubric（Haiku 4.5 不足 3%），说明仅看完成度会高估真实可靠性。
该研究在一份立陶宛组织心理学问卷（n=263、68 题）上测试 11 家厂商的 14 个决策模型和 47 个生成式 LLM，用心理测量相似度分数（PSS）评估其替代人类受访者的能力。最好的生成式模型 MiniMax M3 达 PSS 0.813，与仅用其他受访者拟合的 Gaussian copula（0.824）持平但低于样本内拟合（0.927）；47 个生成式模型中 33 个比任何决策模型更好地复现题目相关结构。基于人口档案的回归仅比其他受访者答案频率提升 1.0%，作者据此认为此类合成受访者应以样本级保真为目标。
该基准利用孟加拉语第三人称必须选择普通或敬语语体的特点，通过英译孟翻译测试 LLM 如何分配尊敬。评测集含 2,016 个句子、覆盖 72 种职业，给出 0–100 的 Honorific Bias Score（HBS），九个模型 HBS 在 19.9 到 70.1 之间。职业解释了 3.2%–51.5% 的语体选择方差，而性别最多仅 1.2%。
arXiv 论文提出 TasteBench，一个跨视觉、品牌、书籍和科技类别的成对 good-vs-bad 基准，采用冻结评分标准和仅专家金标（panel n>=3，一致率 >=0.60）。在 n=250 对的 Round-1 试点中量化出三类效度威胁：位置偏置（always_item_a 得分 0.956）、文件名词汇泄漏（0.912）以及难度天花板（五个 VLM 在 craft 类别均达 1.0）。团队发布参考 eval harness 和 side-randomization 工具，可将位置偏置从 0.916 降至 0.495/0.505。
Lingdan-V2 是 4B、8B、14B 参数的中医大语言模型家族，采用持续预训练、推理监督与以方剂为核心的强化学习对齐框架，用于中医临床决策支持和方剂推荐。在含 25,620 条专家核验条目的公开基准上，14B 强化对齐模型方剂生成 F1 达 37.0，超过总参数 671B 的 DeepSeek-R1 的 32.3；在 4,348 例脾胃病回顾性临床数据集上 F1 为 52.8，剂量一致性提升。
一项研究在 92 条 TREC 检索查询构造的 276 个三段落状态上，审计了七个开源 Jev 风格检查点的请求独立性。请求扩展使 Nimble 的判断出现 9.1%/8.0% 的严格二元翻转，并在阈值 0.5 下改变 TREC DL2019/2020 中 21.4%/18.9% 的选择或弃权动作。字段掩码将全部 70 次请求集翻转追溯到提示词中序列化的 schema 字段，Von 修复共享分隔符位置可消除两处资格性偏好翻转。
一项 arXiv 研究用“维基百科游戏”评测语言模型的信息检索能力，要求模型仅通过文章链接到达目标条目。研究者在本地构建了大规模维基百科图谱和基于 OpenAlex 的论文引用图谱，对比了嵌入向量模型与 LLM 在五种语言和五个学术数据集上的表现，并与人类及 TF-IDF 基准比较。结果显示没有任何模型显著超越人类，但 GPT-o3 mini、GPT-4o、QwQ:32B 和 DeepSeek-R1:70B 达到了可比水平，且性能排名随语言和主题变化。
该研究测量语义查询引擎中 LLM 判断的运行间方差，通过 SemBench、LRO-Bench、UDA-Bench 自带测试框架重新执行 1.2 百万次模型调用。结果显示 temperature 0 下 0.07%–10.2% 的行输出会变化，UDA-Bench 上约三分之二答案不同，SemBench 公布结果中 21% 的 text 结果质量随执行改变。Voting 可降低但不能消除方差，作者据此提出 benchmark 报告规则与引擎设计规则。
一项 arXiv 研究在 Qwen3-14B 上探索让模型学会何时拒答，比较训练模型本身与训练独立答案选择器两种方法。在 TriviaQA 上，学习型选择器将平均覆盖率从 20.2% 提升到 30.9%，已评分答案的错误率从 23.0% 降至 14.5%；但测试的强化学习方法未带来一致增益，NQ-Open 上选择器仍不如始终拒答，跨数据集的可靠拒答仍未解决。
QTestBench 是一个用独立 benchmark checker 评测 LLM 生成量子代码测试套件的框架，不把测试本身当真值。它在 8 个 PennyLane QHack 挑战和 10 个 Qiskit HumanEval 任务上评测了 5 个 LLM，最佳生成器测试质量仅达 QHack 0.71、Qiskit HumanEval 0.34，说明可执行性高不代表判别力强。对于缺乏自然错误解的任务（10 个 Qiskit 任务中有 3 个），oracle 验证的合成 mutants 可稳定 bug 检测估计。
研究者提出多智能体系统测试框架 MASTIF（Multi-Agent System TestIng Framework），对 3 个 LLM、3 种协议和 4 个 agent 实现框架组成的 Agentic Web 技术栈，在 300 个 Mind2Web benchmark 任务上进行基线评估。结果表明，按任务选择技术栈可提升任务完成率、效率分数和社会价值稳定性分数，并降低冗长度与任务完成时间。该工作为设计、评估多智能体系统提供了指标与结果基线。
一项受控研究在 ARC-AGI-1 上以统一协议考察预训练和测试时训练（TTT）预算对视觉风格模型 VARC 与递归模型 TRM 的影响，交叉对比五种预训练预算与四种 TTT 预算。结果显示，增加 TTT 样本呈现次数在所有设置下都提升两模型的 ARC pass@2 指标；增加 TTT 任务变体数只对 TRM 持续有益，VARC 往往在更少变体下表现更好。VARC 不预训练也保持竞争力，而 TRM 更依赖预训练，研究据此呼吁在可比预算下报告结果。
论文提出 HOA（Humanize Olympiads Agent），一个开源的流程级框架，通过独立审稿、结构化 wiki 和 Lean 证明验证三条反馈通道协调多个智能体会话求解奥赛题。使用 GPT-5.6 Sol 时，HOA 在 IMO、IPhO、IOI 2026 满分，IChO 2026 接近满分，PutnamBench 672 题全部解出，并以 251/304（82.6%）位居 Lean-Eval 榜首；改用开源模型 Kimi-K3 也在 IMO、IPhO、IOI 满分，IChO 达 97.1% 金牌水平，部分超过闭源 GPT-5.6 Sol + /Goal 基线。论文地址 https://arxiv.org/abs/2610.13632v1。
推荐理由：论文提出多会话协作框架替代单会话求解，并给出用开源模型逼近闭源模型奥赛成绩的对比数据，方法可迁移到其他长程推理任务。
研究者提出 AMLworld-Compact 评估集，保留全部非法测试交易并从监督分数分层中采样良性交易，其 HT-Coreset 协议将 HI-Small 和 LI-Small 的评估目标分别减少 271x 和 611x。Horvitz-Thompson 权重使召回率估计精确，F1 的 RMSE 为 0.00-2.58 个百分点，低于均匀加权的 4.44-7.41。评测中七个开源权重 LLM 的加权精确率接近“全预测为非法”基线，评估集、构建代码与审计工具已开源。
研究者推出 BLiMPPI，一个覆盖 33 种语言、包含超 12,000 个负极性项（NPI）最小对的多元评测套件，通过在 Universal Dependencies 树库中发现 NPI、标注许可环境并扰动生成最小对构建。对 12 个多语言模型、2 个单语模型及 n-gram 基线的评测显示，多语言模型在低资源语言和无法用 n-gram 解决的题对上表现最差。研究还考察了 NPI 类型学、语系、许可变异性与许可距离的影响。
一项 arXiv cs.CL 研究分析了六个流行数据源的十个科学文档子集，发现机器生成文本检测器的高分部分源于文档构建方式带来的伪影。仅用 27 个表面特征的逻辑回归达到 0.833-0.997 macro-F1，在三个 arXiv 子集上以 0.951-0.997 F1 超越所有受测检测器；最强线索是 PDF 提取伪影（人工文本保留原始换行，生成文本被提取为整块文本），结合三项格式特征可达 0.996 AUC。作者提出格式反事实方法：仅重新换行不改一字即可翻转公开检测器 20-27% 的正确判断；训练前做格式归一化将泛化差距从 0.32 降至 0.22，在格式干净的基准上把域外 macro-F1 从 0.33 提升到 0.65。
该 arXiv 论文提出 Step-wise Truncation Probing（STP）方法，在固定采样推理轨迹的多个保留前缀上重复生成答案，以刻画模型-任务层面的过度思考现象，并定义 Overthinking Ratio 与 Accuracy Degradation 两个指标。论文将动态路由、固定预算和动态提前退出纳入统一框架，基于 STP 测量为各策略构建 token-精度 Pareto 前沿。作者还开发了可复用基准 OTBench，覆盖 70.5B 推理 token、六个模型和四组基准。
一项 arXiv 实证研究将 SWE-bench 与 SWE-bench-Live 验证集的 FAIL_TO_PASS 测试用于评估补丁运行时性能，测试 Claude Opus 5、GPT 5.6、DeepSeek V4 Pro 与 Qwen 3.8 Max 配合 SWE-agent 生成的 262 个含多种正确解的案例。借助 Welch ANOVA 判据，该方法在近半数实例中发现显著性能差异，且补丁运行性能与模型 issue 解决率无关，模型排名几乎相反。研究还发现部分补丁存在正确性评测未察觉的架构性能回退，表明解决率不足以刻画 LLM 的仓库级修复能力。
研究者推出 BASIS-Bench 基准，从人口群体稳健性、刻板印象偏见和个性化三个维度，评测八个语音 LLM 能否区分有益个性化与刻板行为。结果显示，多数模型虽能识别人口群体线索，却无法将其转化为恰当的个性化响应；显式人口标签虽提升个性化，但也放大了文本底座中已有的刻板联想。
一项arXiv研究指出，RSA、CKA、Procrustes等表征相似性度量都在条件集给定之后才起作用，而条件集由输入的取舍与分组两个前置决定固定。实验在十五种语言、二十七种表征上以元音的声学组织为参照：固定类别数量时改变比较哪些类别，会使两个表征之间的差距变动超过所测效应的两倍；改变类别数量则毫无影响。在该设定下，模型排名受这些选择影响而可被识别，跨语言的排名则不能。
Pablo Manrique 等在 arXiv 发布 SqueezeBench，一个抗饱和的数学能力基准，每题固定一个仅在小区间取值已知的整数函数 f(n)，提交者用机器证明的 Lean 函数给出更优上下界记录，成功会抬高门槛而非移除题目。基准附带极值组合学十个问题和二十个初始记录，前沿模型代理每记录限 1 小时通过 82 次提交改进全部记录；两个更新模型接续又通过 60 次提交改进了 20 个记录中的 19 个。10 个问题中有 8 个仍至少有一个记录渐近落后于已发表最优界。
推荐理由：提出以记录递进式构造衡量数学能力，缓解基准饱和问题，并给出多代模型代理的实测数据。
一项系统性机制分析研究了 LLM 量规设计中的准则组织、准则操作化与分数聚合，发现结构性组织有助于构建更全面的准则，仅靠语义细化不足以保证准则级判断有效，而复杂的分数聚合带来的额外收益有限。基于这些发现，研究者提出 Adaptive Rubric Tree Search with Hybrid refinement（ARTS-Hybrid），结合自适应树构建与语义优先、响应校准的细化方法。跨基准实验显示 ARTS-Hybrid 同时提升了端到端评估性能与量规本身的质量，其生成的量规还能为模型优化提供有效信号。
研究者推出 AgentSWE 基准，测试编程智能体能否按自然语言需求忠实构建、编辑和优化智能体，覆盖智能体开发全生命周期的 25 个任务。评估发现没有任何被测智能体接近完全满足需求，“演示的与交付的存在差距”是常态而非个例。失败轨迹分析归纳出对可见样例过拟合、代码看似完整但运行时空洞、以及无依据的完成声明等典型失败模式。
一项 arXiv 研究提出一种无标签方法：将 LLM Judge 的评分标准分解为子标准，按评委间分歧排序并由编辑模型改写最具争议的条款。实验涉及 3 家厂商的 5 个评委、共 129,770 次请求，覆盖 SummEval、HealthBench 和 USR Topical-Chat；SummEval 上评委间 Krippendorff's α 提升 0.069（95% CI 0.046–0.092），但与专家评分的一致性无显著变化（Kendall τ 差异 -0.007），HealthBench 和 USR 未达预注册效应标准。作者将发布代码、冻结评分标准与评委分数。
一项 arXiv 研究提出四项探针方法，检验开源音频语言模型作为生成音乐评委时评分究竟取决于音乐、文本提示词还是提问方式。在 MusicEval 全部 2,748 个片段及 SongEval 上的实验显示：无音频时没有任何评委超过仅凭提示词的预测，四个较小评委的成对评审跟随片段位置而非质量，改写指令对多数评委相关性的影响堪比更换评委。作者建议音乐评委报告全部四项探针结果。
研究者推出反事实文本编辑基准 CoBe，测试模型在对话式提示下零样本修改文本场景、同时保留未受因果影响事实的能力。基准含 2000 道题，覆盖医疗、科学与工程、商业及日常场景；前沿模型平均得分 58.05%，且常退化为关联式生成而非保留因果结构。性能与模型规模及输出 token 长度均不一致相关，表明问题可能源于训练目标而非模型容量不足。
一项针对 HELM Safety 的心理测量学审计发现，「有害拒答」（模型拒绝危险或违规提示的倾向）可能并非单一可测属性。HELM Safety 四个相关数据集中三个已饱和，对其余的 HarmBench 进行的多维 item response theory 建模与 differential item functioning 分析均显示其分数背后不存单一属性，且 HarmBench 将不同危害行为压缩为一个分数。作者主张安全评分在用于模型比较前应先证明其单一属性解读成立。
研究者提出 BrickBench，一个评估智能体根据文本条件设计乐高套装的 benchmark，要求智能体从离散零件库中选件并同时满足语义、设计与可物理搭建的约束，评测维度包括有效性、一致性与设计水平，并提供 BrickAgent 环境供编码智能体构建、检查和验证设计。结果显示主流智能体基本满足可验证的物理与语义要求，但仍不及人类设计水平，基准与环境已开源发布。
一项 arXiv 研究在 228 个任务和 26 个 AI 上，用样条与项目反应理论重新计算 METR 的 50% 时间跨度，放宽任务难度随人类时间对数线性增长的假设。结果显示难度函数在 2–30 分钟区间近乎平坦，因此从 3 分钟到 30 分钟的时间跨度提升远比同样 10 倍的 30 分钟到 5 小时容易。作者还提供了经交叉验证评分规则检验的点估计及诊断图，建议结合诊断图解读时间跨度。
研究者推出 ReTurn 基准，包含 7,000 个跨视觉与音频证据的基础任务，用于评估多模态模型对对话历史的选择性使用。在 13 个全模态、视觉语言和音频语言模型上，开放式准确率从直接输入的 93.7% 降至对话中的 72.3%；有监督适配仅带来部分提升。
论文评测了专用决策模型 Jev——一种在给定选项间直接返回选择而非生成文本的"System One"模型——在 13 个多项选择 benchmark 上与 19 个 LLM（分 frontier、代表性和小型三档）的表现。Jev 在知识和常识任务上可与 frontier LLM 竞争，在 MMLU-Redux 和 ARC-Challenge 上取得最高分，且优于大多数代表性 LLM 和全部小型 LLM；但在数学应用题上落后，MathQA 比 frontier 中位数低 17.7 分，低于全部 19 个 LLM。结果表明专用决策模型在以知识为主的决策上可匹敌通用 LLM，但无法胜任需要多步计算的决策。
DataVista 是首个数据视频理解基准，包含 961 条真实数据视频和 6,775 道评测题，按数据感知、时间推理、叙事理解三级能力框架组织。对 19 个主流 MLLM 的评测显示，表现最好的 Gemini-3.1-Pro 总准确率为 70.0%，仍远低于人类专家，模型在 Causal Reasoning 和 Narrative Structure 上最弱。增加帧数和字幕主要改善数据感知与时间推理，对叙事理解提升有限。
一项覆盖六个前沿模型、四个 benchmark、五种提示词格式、两种呈现顺序、三种采样温度和十次重复的可靠性审计显示，LLM-as-a-Judge 在温度 0 下同一重复中裁决仍会改变，顺序对调可在困难任务上翻转多数裁决。最具确定性的 judge 通过重复错误答案达到完全一致，与真实标注仅 51% 吻合。研究提出可信裁决率指标 T，并发现从 pairwise 胜率转向整体 rubric 评分比任何单一提示词干预更能提升可信度。
研究提出对抗性启发式学习范式 AHL，并发布包含 12 个对抗性游戏和 1,920 个人类程序存档的 AAArena 基准，让 AI 智能体在固定比赛预算内解读规则、选择对手、分析回放并改写博弈策略。评测中，Opus5.5 配合 Claude Code 获得 6 枚金牌，但没有任何被评测配置能超越其余 6 个人类阶梯；规则更复杂的游戏中表现普遍较弱。实验显示对手选择与密集反馈有助于策略改进，智能体能从自身与他人的比赛回放中学习。
一项 arXiv 研究提出用认知谦逊（EH）评估智能体，涵盖 Identify、Solve、Escalate（ISE）三个轨迹级行为维度，并在受控冲突与多步执行中自然冲突两种知识冲突设置下测试四个智能体。结果显示更高的任务准确率未必带来更大的认知谦逊：部分高准确率配置能在执行中识别冲突，却不在错误的最终答案中沟通未解决的不确定性；智能体常在早期步骤检测到冲突，但难以在后续步骤维持或解决。模型层面的干预可提升 EH，但往往以牺牲任务准确率为代价。
Hongxing Li 等在 arXiv 发布 SpaceCast-Bench，首个直接评估视觉语言模型预测性空间推理的基准，包含来自182个真实场景的3862道题、16种任务类型，分静态感知、局部预测和全局预测三层。21个模型中最强者仅达58.0%，远低于人类的87.2%，空间特化模型接近随机水平；微调使 Qwen3-VL-4B 从34.0%提升到65.7%，并在六个域外基准上有宏观平均提升。
arXiv 论文 2610.12417 提出 WOVEN，一个面向视觉转移推理的训练源与基准，包含 36076 条覆盖 20 种场景、5 种动作和 8 种推理类型的样本。评测 GPT-5.4 和 Qwen3-VL-235B-A22B 等 38 个前沿多模态模型发现其远低于人类水平；用 WOVEN 训练后，每个约 2000 条的子集在 26 个外部基准中的 22 个带来最高 27.3 个百分点的提升，并可替代任务自身 30-50% 的训练数据。
推荐理由：论文用约2千条子集就在26个外部基准中改善22个，给出了按推理操作而非场景选取监督的可迁移训练配方。