新闻、仓库与研究，按时间排列。
研究者推出 P2NPCBench 基准，将 12 个问题族中的 NP 完全问题与同表面的 P 问题配对，并用 AgentGAN 对抗性多智能体框架改写题目以消除教科书式提示，生成 2,114 条经人工验证的题目。评测 12 个专有与开源模型发现，模型在 NP 完全题目上的 pass@1 为 35.4%，显著低于 P 题的 63.8%；十倍时间限制仅将 NP 完全准确率从 28.5% 提升至 31.9%，说明失败源于程序错误而非速度，且对抗性加固使复杂度类差距从 24.8 收窄至 14.6 分。
论文将 Gemini 3.8 Flash（temperature 0）作为事件触发跌倒筛查器的决策端，零样本判定 32x24 公开热成像数据集中的短片段：438 次摆拍跌倒中被叫出 67%（留出受试者 69%），499 个非跌倒窗口无一误报。在 160x120 有人居住房间 76 小时录音中，395 个日常片段零误报，9 次可见摆拍跌倒捕获 4 次；删除提示词中一句关于离开视野的警示后，敏感率在家用场景升至 9/9，但会把故意躺下误判为跌倒。8x6 像素下敏感率降至 34%，而两个传统检测器在实验室近乎全中却在家庭场景每天误报 14.2 和 23.9 次。作者公开了帧级跌倒标注和全部模型回答。
推荐理由：论文用真实部署口径实测多模态 LLM 做热成像跌倒筛查，给出了敏感率与误报数据，并指出提示词一句话对结果的显著影响。
一项 arXiv 研究对四个 instruction-tuned LLM 按 Hofstede 单一价值维度进行微调，发现针对特定价值的训练会波及未训练的价值维度，并影响风险偏好、社会认知与安全特性等无关行为。作者建议 post-training 的价值对齐应纳入更广泛的行为评估，并探索价值训练在流程中的最佳位置。
一篇 NeurIPS 2026 论文提出以“度量”视角看待 benchmark 评测，形式化出两类失败模式：度量失配与覆盖缺口，并给出带理论保证的两个诊断指标。研究分析了横跨 7 个领域的 25 个热门基准，发现不少基准隐式偏重某些难度区域，其排行榜结论需谨慎解读；另一些则留下大片难度轴未覆盖。作者还提出 BenchFill，一种针对难度的条目改写算法，可有效缩小局部覆盖缺口。
一项 arXiv 研究测试基于 LLM 的 System One 决策模型在法律权威验证中能否在正确答案缺失时弃权：扩展 CaseHOLD 数据集（5,314 项中 1,670 项替换正确 holding）后发现，生成式 LLM 在无正确选项时仍于 38-86% 的情况下强行选择，最谨慎的决策模型为 30%。在标准 CaseHOLD 上，决策模型以 1/55 的成本达到与最佳生成式 LLM 相当的准确率（88.1% vs 88.2%）；两者结合可将错误引用减半，其概率蒸馏到 Qwen3-8B 后可得校准良好的本地模型。
研究者推出 CulturalRiddles，一个完全由人工共创的多文化谜语基准，覆盖 62 种文化、45 个国家和 51 种语言，要求模型具备溯因与组合推理及文化语境知识。团队对 28 个 LLM 配置进行了自动与大规模人工评测，即使前沿模型在某些文化群体中准确率最高也仅 22%。全部数据与代码已公开，并开放持续扩展文化与语言覆盖的贡献流程。
复旦等机构研究者提出 TIDE，将诊断评测重构为行为驱动的决策树归纳，从 benchmark 样本和模型分数递归构建层次化能力树进行细粒度能力诊断。该方法在 5 个模型、4 个 benchmark 上应用，发现聚合分数掩盖的能力差异：Claude Opus 4.6 在微观经济市场推理上达 100%，高于 GPT-5.4 的 83.3%，但在合同法推理上以 77.8% 落后于 GPT-5.4 的 88.9%。
研究者发布一个电信告警风暴开放生成器（Apache-2.0），基于 Internet Topology Zoo 真实骨干拓扑，为每条告警记录确切根因与传播路径，所有字段绑定 NORIA-O、RFC 8632、RFC 8345 或 TMF642 术语，并附固定配置、划分、评分器和九个基线。「对最早 critical 告警设备排序」的单行规则 top-1 达 0.650，胜过时间方法 0.575 及 LLM 的 0.600（可查询图时 0.625），在真实运营商告警上也以 0.773 领先；但站点断电时 PoP 无告警，排序类方法得分 0.000，遍历拓扑的方法可达 1.000 和 0.833。
一项 arXiv 研究（arXiv:2610.30045）通过可执行的算术规则与受控输入变化，将决策模型的表现拆分为规则迁移、联合可靠性和定向信息使用三个可分别测量的维度。实验显示适应增益随最近源答案一致度增加，完全冲突的四元组池化增益很小且在不同源划分下增益符号不同；等价改写在任务层面产生相反效果。测试的决策服务对等价措辞的回答变化大于相同文本重复，且通常遵循被改动表格数值或映射所隐含的答案目标。
May Espinola 与 Qifan Zhang 在 arXiv:2610.30051 提出统一闭环评测框架，在不做任务微调的情况下测试六个前沿模型对 LIBERO-10 机器人操作任务的能力，共 18 种配置、1800 次评估。GPT-6 Astra 以 44% 成功率居首，Gemini-4 Argon 为 43%；提高推理程度普遍有助表现但增加推理成本，模型在物体放置任务上较好，在精确空间排布和复杂多步交互上较弱。
研究者推出 BatchBench，一个评估 AI 系统在生物医学图像上对未见实验批次和数据来源的鲁棒性排行榜。它基于最大的公开生物医学成像数据集之一 JUMP-CP 构建，该数据集由 Cell Painting 实验生成，存在明显的批效应和域偏移。摘要指出，尽管域自适应方法已有进展，域偏移下的性能差距仍然显著。
Quant-Arena 是一个基于真实 A 股数据的端到端量化研究基准与公开排行榜。模型构建特征和股票打分代码，仅在 2022-2023 数据上获得反馈，并将策略冻结后在密封的 2024 年数据上评估，计分以实际超额收益为主，辅以信号质量与特征多样性，评估器还纳入交易约束、成本及基于模拟订单簿估算的市场冲击。在九个前沿模型中 GPT-6 Astra 得分最高，但没有模型在 2024 年跑赢等权市场；该基准开放任何模型或 agent 框架提交。
研究者提出动态智能体基准 Environment Duels，评估九个前沿 LLM 作为环境创建者与解题者的双重能力，发现解题与环境创作是两种不同的技能：最强解题者并非最强创作者，而较小的模型能写出最难的环境和最有用的提示词。在 Qwen3.8-27B 的强化学习研究中，模型在他人环境上的提示词提升能预测这些环境训练对 held-out 推理与智能体基准的改进。代码已开源。
arXiv 论文提出 CrashGym，一个可重放的限价订单簿模拟器，让 LLM 智能体在冲击触发崩溃前于实验室市场查询干预实验，再在去杠杆干预与流动性 backstop 之间做选择，并以 regret 衡量实验价值。在 24 个新采样世界的前瞻性研究中，实验室访问将 Luna 部署的平均 regret 从 8.878 降至 3.785，配对减少 5.092 效用单位，降幅 57.4%。整个评分通过直接模拟所有可行干预完成，无需人工或模型评审。
研究者在 arXiv 发布类比推理基准 ARCANA，任务要求把真实世界对象或物理现象映射到抽象网格变换，与侧重人类先验的 ARC-AGI 不同。人类实验显示人类能可靠解题，而多个 LLM 表现存在明显差距；作者提出的 ConceptSIR 框架基于概念滑移、内省与反思，帮助标准 LLM 解出直接提示未能解出的部分任务。基准、代码与数据已公开。
arXiv 论文提出 AgentMonopoly 环境，让 LLM 智能体在大富翁式游戏中沟通、买卖地产并做出影响后续回合的决策。研究对比四个模型家族各两种规模的模型，发现各模型在交易、免租金、现金与资产管理频率上存在差异，更大模型并不必然赢得更多对局。为人设指令虽能改变智能体的用词和部分行动，但不总能在所有决策中匹配角色，因此人设遵循应通过行动与结果而非语言来评估。
一项 arXiv 研究系统评估了 LLM 在上下文中进行贝叶斯更新的能力，涵盖内部一致性与恢复外部后验两方面。结果发现 LLM 更新信念时普遍违反贝叶斯规则，但配备推理能力与代码执行后表现大幅提升，甚至能近似解析上难以求解的后验。研究表明现有 LLM 加合适工具已可用于科学发现中的复杂信念更新。
研究者提出 FrameBench-HPS 基准，用覆盖医疗、金融、教育/职业、法律/消费者权益四大领域的 240 个高风险场景构建 2,880 条提示词，测试七个 LLM 在相同概率以收益或损失框架表述时的建议一致性。结果显示 32.4% 的完整组别中推荐类别因框架而改变，且该效应在对话式改写下依然存在。概率规范化处理能大幅降低框架敏感性。
一项 arXiv 研究显示，在 Director Task 中，先询问模型“导演能看到哪些方块”再让它执行“选最大方块”的指令，会使 GPT 六个模型选择被遮挡方块的比例上升 12 至 88 个百分点，Qwen3.8-27B 上升 17 个百分点，尽管模型大多能正确报告导演视角。原因在于该问题改变了模型对请求的解读方式；当提示词明确说明导演所知所指时，正确报告与误选隐藏方块同时出现的比例不足 1%。作者提出仅差这一问的成对提示词设计，作为任何视角采纳基准可用的无问题基线。
B-CARE（Blind Classwise Assessment of Relative Evidence for Stance Error Ranking）是一种预测盲的错误排序框架，用固定 LLM 验证器对各候选立场标签赋证据分，对比最强替代类与预测类的证据来构建风险分。该框架在 4 个立场基准和 3 个异构基座 LLM 上的 12 个数据集-模型组合、5,206 条测试实例中评测，取得平均 AUROC 0.735、平均 AUPRC 0.524，并在风险最高的 20% 预测中捕获 41.06% 的错误；其证据信号可跨模型复用，与置信度基线互补。
研究者提出 Trajectory-based Disclosure Evaluation（TraDE）评估框架，基于社会渗透理论，通过预定义披露轨迹评估先前披露历史如何影响模型在当前披露深度相同下的回复行为。实验表明多个模型对披露的回应取决于此前轨迹，尤其体现在是否接受或挑战用户框架，且差异随深度披露的累积暴露产生并持续数轮。相比人类支持者（ESConv 语料），模型最明显偏离发生在用户减少披露而非袒露心声时。
研究者推出 Omnilingual-MsASR 基准，评测全模态大语言模型在长篇多说话人语音识别（MsASR）上的表现，覆盖 6 种语言、最长 30 分钟录音和最多 20 个说话人场景，并提供并行音视频输入以检验跨模态一致性。评测显示主流全模态 LLM 存在明显性能瓶颈，tcpWER 频繁超过 100%，细粒度时间定位、说话人区分和跨模态协同是未来关键挑战。
一项 arXiv 研究检验了“时间算术 vs 时间语义”这一时间推理二分法的有效性。微调各基准子集只带来数据集专属提升（+6.8 到 +23.1 个百分点），同模式跨数据集迁移仅为 -3.2 到 +1.1 个百分点；基于认知需求的评估显示，驱动性能的主要是知识而非量化和逻辑推理。结论是现有基准并未真正实现算术-语义区分，主要奖励模型记忆时间的通常运作方式。
DecisionPivot 是一个诊断 LLM 系统中决策模型的 benchmark，包含 48 个任务、40,033 个条目和七种决策角色，核心 track 有 7,800 个条目组成的对照组。评测显示，两个在 reference track 上仅差 2.6 分的 27B 模型，对照组准确率分别为 70.1% 和 44.2%；Perplexity Decider 在 2,400 对二元对照中概率排序正确率达 92.3%，但仅 74.1% 两题都对。GLM-5.3 在 1,296 条目子集上以更高推理设置达到 93.5% 对照组准确率，最低设置下为 81.5%。
研究者构建 RTLRepairDataset（5,784 组（broken, fixed）训练对）和 RTLRepairBench（459 个保留测试用例，含 374 个语法变异和 85 个行为变异），并支持仿真与形式等价评测。审计发现两个测量混淆：仿真与形式化评分对是否提供规格说明的效应符号相反，六款模型上规格基线与条件化恢复的点估计相差 -8.5 到 +18.3 个百分点。团队据此提出评测控制协议并开源了基准与复现材料。
一项被 EMNLP 2026 录用的研究提出诊断性指标框架，基于 Schwartz 基本价值理论，从价值表达和价值组织两个维度比较人类参考辩论与 AI 生成辩论。结果显示 LLM 生成的辩论价值表达广泛，激活的价值维度常不少于人类辩论，但组织方式不同，语句层面价值更弥散。
研究者推出 MindView 基准，包含来自 513 个场景的 1,500 个样本，涵盖几何主导与语义主导两大类共七项任务。对 11 个生成模型的评测显示仍有较大提升空间，微调 BAGEL 后整体分数提高 24.3 分，且在三个空间理解基准上也获得提升。提出无需训练的证据选择器 MindCue，可逆转扩展上下文下的分数下降并超过标准上下文基线。
研究者推出 BAIT（Bias Annotation In Text）新闻认知偏差触发器评测基准，包含九类触发器的标注规范和 50 篇由训练有素的标注者在文章与片段层面标注的英文新闻文章，并定义触发器检测与片段定位两项任务。对六个前沿 LLM 的 zero-shot 及 3 或 10 个 in-context 示例测试显示：模型在判断文章含哪些触发器上接近人类一致性，但定位相关片段不足人类一致性的一半，且倾向依据表面线索过度预测触发器，表明模型响应的是表面特征而非操纵机制。相关 schema、codebook、标注与评测流程已开源。
arXiv 论文提出通过40个日常问题（如“说出一种声音”“说出一位诗人”）的单字答案为语言模型建模指纹，在94个模型的面板上识别出确切模型的准确率为92.5%，随机仅为1.1%；系统提示词会使准确率下降6至16个百分点。作者用该方法检测 OpenRouter 上13个开放模型的96个端点，其中92个与其声称的模型一致，一个端点以 Llama 4 Maverick 之名实际提供 Gemma 4（自报身份且计费按 Gemma 4 的 token 数）；计费记录还显示第一方模型被附加了额外上下文，如 Grok 4.7 对一行问题计费1,247个输入 token，而 GPT-4o 同样问题仅12个 token。方法成本每端点仅几美分，代码与数据已公开。
推荐理由：这篇论文展示了用40个单词答案就能指纹识别API背后的模型，还借计费记录发现OpenRouter上有端点冒名和隐藏注入上下文，方法成本极低可复现。
研究者推出 DeclineCraft，一个以语料截止后 Minecraft 新特性问题为不可答题、联合衡量检索与参数知识的 RAG 弃答基准，并评估 27 个 LLM 的正确弃答率（CAR）。实验显示：单次检索在 38/40 配置中显著提高 CAR；迭代 RAG 反而在 30/40 配置中降低 CAR（均值 46.4%），答案准确率基本不变（68.5% 至 69.3%）；模型越大回答越准（Spearman ρ = +0.60），但模型规模与发布时间均与 CAR 无显著关联。
CAPSafe 基准从动作级和长程规划级两层评估 LLM 具身智能体的安全推理，其中危险按情境推断、可多处共存并标注相对严重程度。对九个闭源与开源模型的评测显示，部分模型识别不安全动作的准确率超过 90%，但安全长程规划难度显著更高：Gemini-3-pro 最高安全成功率为 78.19%，其余模型低于 65%。
作者公布 AKBC LM-KBC 2026 共享任务方案，在官方榜单取得 0.6836，超过 0.2964 基线一倍以上。方法是在最多 32B 参数、无检索无微调的限制下，用文本补全方式提示 base 模型并生成 64-256 个输出只保留重复项；对比显示指令微调版本仅得 0.5681，作者称指令微调会降低事实回忆，命名为指令税，其成因是权重而非提示方式。
推荐理由：作者在 LM-KBC 2026 任务中实测同一模型 base 与指令微调版本的事实回忆差距，提出指令税概念，方法可直接迁移。
研究者推出 OptionWorld 基准，通过模拟日常生活任务追踪 LLM 的信息获取、判断、行动与结果，定位其作为长期个人助理的短板。在存档决策输入的运行中，35.5% 的失败实例的关键事实在截止期前仍保留在模型最后的输入里。失败分析指出三大问题：所需信息未获取或整合、可行动机会未被利用、智能体施加任务并不要求的限制。
研究者推出 DAR-MGSM 基准，这是首个用于评估方言阿拉伯语数学推理的人工整理测试集，包含多步推理数学应用题，覆盖五大阿拉伯方言及现代标准阿拉伯语，并提供纯翻译与本地化两个平行版本。对 11 个阿拉伯语专用及多语言大语言模型的评测显示，本地化版本上性能普遍下降，且各模型敏感度不同；机制可解释性分析表明，翻译与本地化版本常引发不同的内部推理轨迹。
研究者提出 AnomalyJev，一个无需 token 生成的轻量级框架，通过从异常解释中提取可验证声明并与真值标注比对，评估多模态大语言模型异常检测解释的忠实度与完整性。团队构建了包含 640 条解释、超 1,600 条专家评分的人工标注评测集。AnomalyJev 与人类标注者的一致性超过多数开源 MLLM judge，接近旗舰 MLLM judge，且运行时和资源消耗仅为其一小部分。
研究者提出 ScratchProbe，一种通过学习新的 readout token 而非使用已有词表 token 来训练置信度探针的方法，在多个数据集和 LLM 上优于现有 token 探针，多 token 扩展带来进一步提升。该方法只改变探针读取位置，可被任意现有探针采用，应用于 SOTA 探针后在所有 backbone 上的域内和域外 AUROC 均获提升。
一项 arXiv 研究考察了 LLaDA、LLaDA-1.5 和 Dream 三种扩散语言模型（DLM）在 Open-BBQ 上的社会偏见表现，发现三者均存在偏见，且测得的偏见大小和模型排序高度依赖 block length、remasking strategy 等采样配置。针对自回归模型的去偏策略可有效迁移到 DLM 并在不损害下游性能的情况下降低偏见，但采样依赖性在去偏后依然存在。结果表明 DLM 的公平性无法脱离采样配置独立评估。
WORTH Benchmark 让模型阅读无线索标注的原版推理小说，自主筛选关键线索句、识别案件参与者并解释推理过程，故事由专业作者设计，使有助于推理的证据与延迟真相揭示的叙事并存。试点实验对模型进行两集共 70 次正式运行，其中 67 次可评分；Episode 02 的 37 次可评分运行中有 31 次选择了同一组错误参与者，怀疑导向与开脱导向句分别被选中 25 次和 0 次。该研究仅覆盖两集的全文条件，不建立稳定模型排名，也未报告人机对比。
一项 arXiv cs.CL 研究发现，LLM 输出文本所表达的观点分布（知识分布）与其 log-probability 分布（行为分布）并不一致：在 World Values Survey 问题上，三个 LLM 平均有 37% 的最可能答案在两种分布下不同。作者提出一种可学习的组合分布方法，在六个模型、三个调查数据集上，将行为一致性从 71.6% 提升至 95.6%，而与人类观点分布的总变差距离仅从 28.8% 升至 33.8%。
研究者推出 SciDiagBench，将科学图表系统分为 11 种类型，覆盖 10 个大领域的 165 张图表，类型包括图形摘要、技术路线图和示意案例等。该基准通过偏好引导的校准过程，把人类评估偏好融入按类型定制的评估标准，弥补现有 VLM 评估基准缺乏图表分类和未对齐人类偏好的不足，实现更贴近人类评审的自动化评估。