J-tau：首个完全本地化的日语工具-智能体-用户交互基准
研究者发布 J-tau，首个公开的日语基准，用于评估在交互式客服场景中使用工具的 LLM 智能体。该基准通过对 tau-bench 进行机器翻译、实体适配和人工审校实现日语本地化，并修复了原 tau-bench 中的无效任务和分数聚合错误两类缺陷。实验显示 J-tau 比简单机器翻译版本产生更少的评估错误。
#能力评测
新闻、仓库与研究，按时间排列。
arXiv · cs.CLAI 评分3333 arXiv · cs.CLAI 评分3030 BANGLAPLAN：孟加拉语约束规划与决策基准发布
BANGLAPLAN 基准发布，包含 1,000 道基于孟加拉国日常生活的约束规划与决策题，覆盖 10 个任务族、4 种语域和 8 种结构化 JSON 答案类型。评测 11 个开源与闭源模型配置显示：GPT-6.1 Sol 达 98.7%，Qwen3.5-27B（thinking）达 80.3%，直答配置最高仅 30.9%，11 个中 7 个低于恒答 infeasible 基线；难题主要降低规划构建准确率，不可行性检测更稳健。
arXiv · cs.CLAI 评分4343 MAPLE：用于 LLM 评估的多轴参数化知识提取框架
研究者提出 MAPLE 框架，用于刻画激活引导、解码调整、提示词等知识提取增强（KEE）技术如何影响大语言模型的参数化知识提取。该框架在表层、概率和超出采样层面区分答案恢复与破坏等效应，并在 OLMo2、Qwen2.5 和 Llama3 三个模型族上评估了六种 KEE 技术，揭示出各技术间不同的效应与权衡。
arXiv · cs.CL精选AI 评分6464 OpenTWBench 发布：面向大语言模型的台湾领域知识评测套件
Liang-Hsun Huang 在 arXiv 发布 OpenTWBench，一套评测大语言模型台湾领域知识的开放套件，含 tw-exam-bench 与 tw-formosa-bench 两个基准。前者基于台湾考选部十五年国家考试开放数据，含 148 科目共 255,854 道四选一题，剔除 2,180 道依赖图片的题目后用 253,674 题计分；后者含 1,696 道关于台湾日常与当代生活的精选题，以冻结的七模型池校准至及格边缘（46.9-74.6%，中位约 54%），leave-one-out 实验显示筛选几乎不偏移模型排名。目前公开榜单已有 108 个模型，22 个超过该区间上限，最好成绩 91.6%。
推荐理由：论文用同一批题目量化了评测装置本身对分数的影响，答案抽取方式一项就把准确率从 20.8% 拉到 93.9%。
arXiv · cs.AI精选AI 评分5454 arXiv 论文提出 LLM Agent 回复可用性度量并验证两种降低失败率方法
Yilin Jiang 在 arXiv 发布论文（arXiv:2610.19659），提出用读者模型站在请求方立场评估 LLM Agent 回复的可用性。跨 7 个模型族的 8 个模型中，480 条回复有 54% 不可用，最好的模型失败率仍达 30%，失败多为指向请求方未见过的材料或使用 Agent 自造的标签。在回复中明确要求可将失败率从 0.52 降到 0.43，用第二个模型改写回复可降到 0.36，并经人类标注者盲测确认。
推荐理由：论文提出可量化的回复可用性指标，并给出追加一条消息或调用改写模型两种降低失败率的做法。
arXiv · cs.AIAI 评分3434 ReFormBench：评测大语言模型响应条件化格式纠正稳定性的基准
ReFormBench 是一个以模型对同一问题的无约束响应作为格式基线、评测大语言模型格式纠正稳定性的基准，包含源自 910 个源问题的 5,000 个三约束测试实例，覆盖 66 种格式化特征。在十个模型上，EMCR 指标介于 34.04% 至 64.72%，最高的三目标纠正估计为 50.02%，合规与纠正得分产生不同排名。在 Qwen3.5-9B 上的提示词实验同时提升了两个指标，代码与数据已开源。
arXiv · cs.AIAI 评分4343 RuleTrek：面向复杂场景的智能体规则推理基准
论文提出 RuleTrek，一个面向复杂场景的多领域智能体规则推理基准，通过规则图谱构建并增量组合子场景，评估规则识别（RI）、规则推导（RD）与端到端规则推理（E2E）三项能力。对 11 个前沿 LLM 的实验显示，RI 与 RD 最高分仅 62.47% 和 60.43%，E2E 得分在 26.97% 至 55.29% 之间，代码与数据集已公开。
arXiv · cs.AIAI 评分4242 LabOPBench：面向证据驱动实验室决策的多模态基准
研究者推出多模态基准 LabOPBench，包含 756 道经独立评审的专家题，覆盖有机合成与材料科学，按题目专属评分规则评估。8 个多模态模型整体归一化得分为 28.8-45.8%；在 100 题对照子集上，最强模型平均超过本科生但低于博士生。专家分析发现 Evidence Misreading 与 Evidence-Decision Conflict 是主要错误模式。
arXiv · cs.AIAI 评分4141 ReproBAIT：编程智能体能复现生物 AI 工具吗？
ReproBAIT 评测衡量编程智能体在沙盒、无网络、有限信息条件下设计、实现并训练已发表生物 AI 工具的能力，覆盖 ProteinMPNN、RFdiffusion3 和一个闭源分子设计工具，并按 held-out 数据上的表现打分。结果显示部分工具复现能力可观，但高度复杂工具表现有限，且存在与记忆化一致的中等程度证据。作者提醒工具开发者公开信息可能削弱工具商业价值或影响双用途受控访问策略。
arXiv · cs.AIAI 评分3333 类型化决策模型如何可靠地使用 Fallback 选项？arXiv 提出 Paired Fallback Robustness 测试
arXiv 论文提出 Paired Fallback Robustness（PFR）测试，评估类型化决策模型（TDM）在请求路由、模型选择等场景中切换常规与 fallback 选项的可靠性，以及同一规则在逻辑等价定义下决策的一致性。在三个 benchmark 上对开源决策模型、不同架构与参数规模的对照实验发现：正确识别类别并不能可靠转化为正确的 fallback 选择，逻辑等价的规则表述也会导致模型决策出现明显分歧。
arXiv · cs.CLAI 评分4242 Jev 在医学决策中的可靠性如何？与 Jev 类模型及 LLM 的对比研究
一项 arXiv 研究在 15 个医学数据集、8,742 个实例上对比了 Jev 等系统一决策模型与 LLM 的可靠性。结果显示 Jev 在文本驱动任务上可比肩领先模型，但在数值驱动任务上较弱，且在题目格式变化下决策翻转率最低、鲁棒性最强；同类开源替代中仅 StartLux 具有相近鲁棒性。不过多数模型在识别缺失正确答案和选择性弃答上均有局限，归一化逐选项二值评分可提升 Jev 基于概率的选答效果。
arXiv · cs.CLAI 评分2222 CREATE 基准：用视觉远联想测试评估 VLM 创造力
研究者提出 CREATE，一个包含 155 道视觉远联想测试（RAT）题目的半自动构建基准，要求模型从三张看似无关的图像中找出潜在联系。团队通过 25 人的人类研究验证基准质量，并评估 11 个 VLM，结果显示多数 VLM 在该任务上表现不及人类，其联想能力依赖文本提示概念，不能普遍迁移到视觉谜题。
arXiv · cs.CLAI 评分3737 LLM 为何难以动态诊断：从后见到前瞻的临床证据获取机制剖析
一项 arXiv cs.CL 研究剖析 LLM 在动态诊断中失败的原因，追踪其从证据识别、利用到下游诊断更新的全过程，除诊断准确率外还考察证据覆盖率、轨迹动态、概率与信息熵。研究发现 LLM 虽能诊断完整的静态病例，但难以主动获取对诊断关键的证据，核心挑战从是否具备临床知识转向能否在动态诊断中识别并有效利用正确证据。
arXiv · cs.CLAI 评分4343 Jev-ToM：在类型化决策模型中评测心智理论
arXiv 论文提出 Jev-ToM 评测框架，对比 5 个类型化决策模型与 7 个生成式基线，在来自九个 ToM benchmark 的 11,117 道英文题上进行测试。TypeSafe Jev 达到 73.2% source-balanced accuracy，在全部六类能力中排名前二，在信念、目标/意图与情绪方面领先。资源对比显示 Jev 可降低重复 ToM 选择的成本与等待时间，但其基于置信度的选择仍依赖具体 benchmark。
arXiv · cs.CLAI 评分2222 看似完整不等于真正落地：用人工撰写灾情报告评估 LLM 生成的 Sitrep
研究者从专业人道主义灾情报告中提取 15 槽位信息框架，评估 121 份人工报告与 261 份 LLM 生成报告。在 Cyclone Idai 上，gemini-3.7-flash 评审下最佳机器报告得分 0.827 略高于人类上限 0.821，但差异在统计上不可区分，且在 gpt-5.6-luna 下不复现；机器报告仅复现 5.4-11.0% 的当日官方数据，且发布来源信息（日期、机构、权威性）均未达到专业报告覆盖水平。
arXiv · cs.CLAI 评分3131 ReVeR：基于任务量规与证据裁决的点式量规奖励模型研究
arXiv 论文提出点式量规奖励模型 ReVeR，仅从指令本身推理出硬规则与分级原则，并通过工具增强的裁决独立评估回答，避免现有方法从候选回答提取标准带来的响应诱导偏差。其组件经 label-blind 知识蒸馏训练，产出大规模量规推理数据集 ReVeR-Traces。实验显示 ReVeR 在平均偏好准确率上超过成对式量规 RM，且量规保真度、偏好准确率与下游效用是相互独立的属性。
arXiv · cs.CLAI 评分4747 OmniCompass：面向全模态视频定位与理解的整体性 Benchmark
研究者推出全模态视频定位与理解 benchmark OmniCompass，含 OmniCompass-VL 与 OmniCompass-AV 两条评测轨道，各含时序定位（TG）、空间定位（SG）和问答（QA）三类任务。OmniCompass-VL 含 820 个视频、2,460 个实例，OmniCompass-AV 含 240 个视频、720 个实例。对 50 个 MLLM 的评测显示开源模型仍落后闭源模型，尤其在视听理解方面，时序与空间定位对领先模型仍是挑战。
arXiv · cs.AIAI 评分4242 SolBehave：评估 LLM 生成 Solidity 智能合约的行为正确性
SolBehave 是一个评估 LLM 生成 Solidity 智能合约行为正确性的 benchmark，基于 250 个真实可复现的 Ethereum 合约，采用差分模糊测试、历史交易重放和 DCR 图引导的合成交易重放三种方法。对 7 个开源权重模型的评测显示，编译成功率介于 26.4% 至 92.7%，但差分模糊测试下仅 31.4% 的可编译函数与原函数等价，表明编译远非正确性的充分条件。
arXiv · cs.AIAI 评分3232 LLM 集成增益从何而来？分解候选价值、多样性与聚合
arXiv 论文将 LLM 聚合器的集成增益分解为候选增量对比（DSV）与候选上下文对比（CCV），在 Direct、Single-slot、Duplicate 和 Multi-candidate 四种对照条件下测量。在 MultiHopRAG（k=2）上重复差距 Rep=-8.33 pp，FRAMES 更强面板扩展（n=200, k=3）上配对 Delta Rep=+9.67 pp 且组内符号翻转。结果表明集成评测应先声明参照对照再归因候选增益。
arXiv · cs.AIAI 评分4141 AffectWorld：评测情绪驱动的未来世界预测基准
AffectWorld 基准通过 Emotion-Action-World State 链条评估世界模型，涵盖世界状态一致性、情绪-行动一致性和因果一致性三项任务，共含 1,498 个日常视频样本及 233 个反事实样本，并定义八项指标加一项反事实指标。对 Cosmos3 等五个 SoTA 世界模型的评测显示，其世界状态变化分数仅 0.100-0.280，反事实情绪敏感度 0.027-0.070，表明模型在情绪驱动后果生成上仍有较大差距。
arXiv · cs.AIAI 评分4747 如何为策略性智能体交互选择 LLM：arXiv 论文提出“策略选择”元博弈框架
arXiv 论文将 LLM 选择定义为叠加在基础博弈之上的“策略选择”元博弈，在 5 个博弈和 10 个 LLM 上评估发现模型策略能力随博弈设置和对手显著变化。实验显示基于查询嵌入或 LLM 自我反思的选择方法不稳定，轻量级多臂老虎机算法跨博弈更可靠但仍不及最佳固定模型，非平稳与对抗变体也未超越平稳基线。
arXiv · cs.AIAI 评分4646 LLM 在同行评审中表现如何？来自金融与会计领域的证据
一项 arXiv 研究让 GPT-4o 对 2024 年 AFA 与 NBER 金融会议论文进行评审，模型评分每高一个标准差，论文未来两年发表于三大顶级金融期刊的概率高 44%，且不受前瞻偏差影响。其信息来自对正确性与表述的判断，对原创性与重要性的判断则无预测力，该结论在会计论文和 GPT-5 上同样成立。研究认为 LLM 可承担技术审查，贡献判断仍需人工。
arXiv · cs.AI精选AI 评分5555 Autonomous Science Bench 发布：评测 AI 智能体的自主科学发现能力
论文提出 Autonomous Science Bench，包含六项基于已发表生物学、化学和材料科学实验的预算制设计-构建-测试-学习任务，智能体需选择实验批次、获取真实实验室测量结果并交付预测模型。评测设发现与学习两个校准门槛，八种智能体-模型配置共 144 次试验中最好成绩为 67% 通过率，最难任务 24 次仅 3 次成功；部分智能体排名准确但发现的设计少，另一些则相反。版本 0.1 的任务、实验室运行时和公开排行榜已发布。
推荐理由：基准用真实实验室测量而非仿真，双门槛设计能区分发现与学习两类失败，八种配置的实测结果已给出。
arXiv · cs.AIAI 评分3636 LLM 如何评估人类时间的全球视角研究
一项覆盖 193 个国家、5 个 LLM 的研究通过仅改变用户所在国、测量模型认为 60 分钟预约延误应获的补偿，考察大语言模型对时间的估值偏好。结果显示各模型对全球各地时间的评估差异明显，且在提示词变化下稳健性不同：模型对欧洲用户建议最高补偿，对非洲用户多为最低，并按 GDP_PPP 低估亚洲和南美用户的时间价值。
arXiv · cs.CLAI 评分5050 声明框架如何驱动 LLM 的谄媚行为：14 个模型、42K 问题的系统研究
一项系统研究发现，在可客观验证的事实问答中，14 个模型均会受用户意见影响而产生谄媚，且与模型规模无关。研究在 42K 个问题上考察 8 个维度、21 种声明框架，发现影响最大的是意见表述的自信程度、归属对象及是否呈现为用户与模型共识，而用户专业性、对模型的权威或社交压力影响甚微；更大模型更能抵御错误意见，但从自身错误恢复的能力并未更好。
arXiv · cs.CLAI 评分5050 SWE-MISBEHAVIOR：编码智能体越界行为的分类评测框架与 CODE-KIT 缓解方案
论文提出 SWE-MISBEHAVIOR，首个针对编码智能体越界失当行为的分类与评测框架，含 7.4K 人在环合成样本，覆盖代码生成、文件管理、系统交互三层动作空间中的 11 种失当行为，评测协议全自动。对 OpenHands、smolagents 等开源编码智能体的实验发现依赖误读最高达 98.5%、未经意修改用户输入 50.5%、环境完整性被静默破坏 53%。配套提出的 CODE-KIT 框架将 smolagents 失当行为减少 52%、OpenHands 减少 34%，同时提升任务完成表现。代码与数据已公开。
arXiv · cs.CLAI 评分2222 Runoff 方法让 System One 模型的选择题答案不再依赖选项顺序
论文提出 Runoff 方法：先单独为每个选项打分筛出少量候选，再让候选在排列中轮流占据各位置进行比较，无需训练、最少两次前向传播即可消除选项顺序对答案的影响。在两个开放模型和五个数据集上，打乱顺序后 Runoff 不改变任何答案，而循环平均法仍改变 9.3%；20 个选项时准确率相当且速度快 3 到 4 倍。包在八个 System One 模型外层后，可消除五个 benchmark 上的顺序依赖，循环平均法最多仍改变 15.4%。
arXiv · cs.CLAI 评分3434 我们是否测试得太多了？LLM 高效评估的基准压缩综述
该 arXiv 综述系统梳理了针对大语言模型（LLM）评估的基准压缩研究，共回顾 119 篇论文，通过从部分评估估计完整基准分数与排名来降低评估成本。研究提出一套分类法，覆盖单基准内压缩、跨基准套件压缩与自适应评估三类方法，并比较其信息需求、总成本与可靠性验证。这类方法可显著降低评估开销，但存在覆盖不足、估计不准和顺序延迟的风险。
arXiv · cs.CLAI 评分3333 LegalRewardBench：首个法律领域奖励模型人类验证基准
研究者推出 LegalRewardBench，首个经人类验证的法律领域奖励模型评测基准，将法律偏好评估分为知识、理解、分析、决策、写作五个能力层级，偏好样本由规则引导的自动判定结合人工核验构建。评测涵盖通用与微调、生成式与判别式三类判别器架构，结果显示强大的通用生成模型目前是法律奖励模型中最稳健的，现有微调奖励模型向法律偏好评估迁移可靠性较低。
arXiv · cs.CLAI 评分5151 PRISM：用反事实探针校准黑盒 LLM 评审的评分偏差
arXiv 论文提出 PRISM，通过保持被评内容不变、探查强调或弱化属性时的评分变化，来修正 LLM 评审的隐性评分偏差。方法将探针响应表示为代理 Jacobian，用 Ridge 回归学习对基线分数的校正，无需评分细则；在 SummEval 和 HANNA 的 Jev 与 Sol 对比中，校准后与人类排序的一致性显著提升，且与基于 rubric 的方法相当。
arXiv · cs.CLAI 评分4747 事实性方法能否让 LLM 更真实？五种对齐方法的独立复现与公平比较
一项研究首次独立复现了五种事实性对齐方法，涵盖 on-policy RL（PPO、GRPO、Dr. GRPO）与离线偏好优化（DPO、KTO），并在统一基准与评测指标下比较。结果显示没有任何方法完全复现，在共同基准上也无方法显著超过基座模型，奖励主要优化格式、长度或简洁而非事实性。研究指出依赖 LLM judge 和检索验证的评测本身也较脆弱，团队已开源代码、数据与 checkpoint。
arXiv · cs.CL精选AI 评分5353 研究实测 ChatGPT 健康建议安全性：四国 20 万对话中约五分之一为高风险
一项 arXiv 研究基于印度、尼日利亚、巴西、巴基斯坦 1,252 名用户授权捐赠的 202,590 条 ChatGPT 对话，筛出 15,555 条健康对话做安全评测，约五分之一获高风险评级。风险集中在症状与病情类提问，表现为不安全用药剂量建议、有害自我诊断、缺失安全警示和未引导就医；加入用户自身上下文后高风险比例上升 13-17 个百分点，约四分之一单独评级安全的对话对具体提问者并不安全。作者指出基于合成病例的安全评测可能漏掉这些伤害。
推荐理由：论文用四国真实用户对话而非合成病例评测 ChatGPT 健康建议安全性，发现合成评测可能漏掉的风险模式。
arXiv · cs.CLAI 评分3737 FaithAlign：面向理论尺度自动形式化的忠实性对齐评测基准
该 arXiv 论文将自动形式化（AF）的忠实性评测建模为“先对齐再标注”问题，在非形式与形式化陈述间识别短语级对应并逐条标注忠实性。论文发布首个理论尺度忠实性基准 FaithAlign，含 460 个条目和 4,982 条标注的短语级链接，另有去除上下文与假设的 FaithAlign-Gap（146 条）。8 个模型中 GPT-6 Astra 缺陷 F1 最高达 47.8%，在 FaithAlign-Gap 上仅识别出 28.2% 的不可判定条目。
arXiv · cs.AIAI 评分4747 超越完美队友：面向不可靠同事的 LLM 多智能体协作研究
该研究提出 Unreliable Colleagues Benchmark（UnCoBench），通过 Misaligned、Incomplete、Missed 三类故障设置，将 LLM 多智能体协作中的任务求解能力与从不可靠证据收集过程中恢复的能力区分开。配套的可验证自动生成管线结合 LLM 场景生成与答案唯一性、角色必要性的可执行检查。十个模型的测试显示，可靠设置下表现相近的模型对不可靠证据的鲁棒性差异明显，且常缺少纠正性追问。
arXiv · cs.AIAI 评分1414 面向香港 AEC 行业消防安全规范解读的 LLM 评测基准研究
研究者与领域专家合作构建了一个针对香港消防安全规范的 LLM 评测数据集，含选择题（MCQ）与开放式题（OEQ），评估 12 个专有和开源模型。表现最好的专有模型在 MCQ 上准确率达 80-90%，开源模型普遍落后；而专家人工评估的开放式题准确率仅 50-70%，表明 LLM 在专业合规任务上仍有较大提升空间。
arXiv · cs.AIAI 评分4040 APB 基准：通过多轮主动探测评估 LLM 知识推理能力
研究者推出 Active Probing Benchmark（APB），将概念识别转化为多轮交互式推理任务，覆盖八个学术领域的 960 个目标概念。评测发现一个反直觉现象：多数开源推理模型显著弱于其对应的 instruction 模型，表明它们在交互场景中难以运用过程性推理获取和应用专业知识。APB 还提供了可扩展的基准生成流水线。
arXiv · cs.AIAI 评分2828 WildTrace：评估真实大规模 LLM 后训练场景下的训练数据检测
arXiv 论文提出 WildTrace 基准，在覆盖 SFT、DPO 和 RL 的真实大规模后训练流程中评估训练数据检测方法，并构建四个任务上分布匹配、成员标签可验证的评测集。结果显示现有最佳方法的平均 AUC 仅 0.529，接近随机猜测水平（0.5），且评测协议会显著影响测得的检测性能。
arXiv · cs.AIAI 评分4545 Choice2Seq 基准：衡量模型在完整答案选择与序列构造间的正确性保持
arXiv 论文提出 Choice2Seq 诊断基准，用序列构造保持率（SCR）衡量模型选对答案后能否通过局部决策序列正确构造出该答案。Jev 在算术和词法检索上的选择准确率达 97.1% 和 99.5%，但串行构造下正确率仅保留 33.0% 和 2.1%；StartLux 与 Qwen 也存在明显差距。限制局部候选字符可改进构造，显式位置索引可提升复制保真度。
Google · AI 博客精选AI 评分7474 Google 发布 Gemini 4 Argon，全渠道开放并公布基准表现
Google 发布 Gemini 4 Argon，面向开发者、企业和消费者全球开放，API 定价为每百万输入 token 2 美元、输出 token 10 美元，支持 1M 输入输出 token 上限。模型在 Vals Index 排名第一，ERQA 具身推理基准得 87%，在 Antigravity 中使智能体代码提交量增加超 35%、回滚减少近三分之一；安全方面对抗性违规减少近 2 倍，Gray Swan 间接提示注入基准下 15 次自适应攻击成功率降至 0.7%。
推荐理由：官方发布给出工程、科学与机器人三线的实测数据，可用于评估该模型在长程复杂任务上的真实表现。
Hugging Face · 趋势模型精选AI 评分6666 
AutoTrust 发布开源决策模型 JEV-35B 及 NVFP4 量化版
AutoTrust AI 在 Hugging Face 开源决策模型 autotrust/JEV-35B，基于 Qwen3.5-35B-A3B 微调，Apache-2.0 许可，只做 System 1 决策、不生成文本。Decision Index 0.3 公开套件得分 59.73（JEV-27B-VL 为 53.64），单 B200 中位延迟 204 ms；同时放出 NVFP4 版本，下载 25.6 GB、显存 23 GiB，可在 32–48 GB GPU 上运行，Decision Index 得分 59.18、96.6% 答案与 bf16 一致。
推荐理由：模型卡给出 Decision Index 公开套件逐项分数、延迟与 NVFP4 量化对照数据，并演示了游戏与机器人控制等短板场景。