Wiki-Talkie：基于真实讨论的跨语言人格化 Agent 基准测试
Wiki-Talkie 是一个源自五种语言 Wikipedia Talk 页面真实对话的多语言数据集，涵盖德语、英语、西班牙语、法语、意大利语，并配有来自真实用户社群、含社会人口属性与行为特征的 persona。基于下一轮生成任务评估显示，以用户评论历史示例行为的效果持续优于显式 persona 信息，且各模型系统性少生成负面或极端情绪、过多生成引用与建议，呈现讨好与正向偏差。这些模式跨语言稳健成立，跨语言差异很小。
#数据集
新闻、仓库与研究，按时间排列。
arXiv · cs.CLAI 评分4545 arXiv · cs.CLAI 评分2020 InterCorrect：面向公平 ASR 的交叉群体感知人口统计模型合并校正方法
研究提出 InterCorrect，一种用于公平 ASR 的人口统计感知模型合并方法：基于 SLAM-ASR 模型仅微调 connector，并将针对特定人群适配的 connector 合并为全局模型，再施加交叉群体特定校正向量。在 Fair-Speech 上，TIES 结合基于 WER 的校正取得最佳整体 WER，从 7.38% 降至 5.13%，但平均 WER 降低并不总意味着子群体差异缩小。
arXiv · cs.CLAI 评分2323 同数引用交换：压力测试 Jev 作为财务证据裁判
一项研究用“同数引用交换”评估 Jev 作为 GPT-4.1-mini 计算痕迹的来源支持验证器，测试财务报告中数值相同但角色不同的引用问题。实验固定操作数与算术，在相同数字单元格间移动引用，发现既存在能通过检查的错误角色引用，也存在被扣留的有效替代引用；显式列标签改善部分错误角色判断，却降低部分等价证据的支持度。在 36 个新来源页面上的扩展评估揭示了检测角色错误与保留有效引用之间的同样权衡。
arXiv · cs.CLAI 评分2323 LLM 刻板印象评测的缺失环节：双重最小对方法
一项 arXiv 研究指出，用单对对比句的 log-likelihood 差评测大语言模型偏见往往不可靠，改写属性可能导致逻辑不一致的偏好。作者提出双重最小对设置与数据增强框架，为英语、俄语、西班牙语和中文刻板印象数据集生成改写和替代属性，并引入基于互信息（MI）的新指标，支持跨语言、跨模型更稳健的刻板印象强度比较。代码已开源。
arXiv · cs.AIAI 评分4141 RAG-PIBench：面向可信 RAG 系统的泄漏感知提示词注入检测基准
研究者推出 RAG-PIBench，一个针对 RAG 系统提示词注入检测的基准，包含 4,876 条上下文样本，采用泄漏感知的构建流程与严格的评估协议。对比实验中，DistilBERT 取得最佳受保护测试集表现（F1 = 0.896，PR-AUC = 0.968），TF-IDF SVM 和逻辑回归也保持竞争力。结果凸显了泄漏感知基准设计与强稀疏基线对可靠提示词注入检测的价值。
arXiv · cs.AI精选AI 评分5858 MINDSET：基于能量的模式演化方法改进长对话智能体记忆
Sujato Dutta 在 arXiv 发布 MINDSET，一种将对话存为不可变 episode 并通过最小能量状态迁移组织成版本化 schema 的记忆控制器。在 850 题（700 LoCoMo + 150 MemoryAgentBench）上对比 5 个记忆系统，取得最高 LoCoMo F1，检索指标显著优于第二名 LightMem（Holm 校正后 p<0.01）；消融显示受控碎片化与 schema 感知分配贡献最大，700 题跨模型评测（GLM-4.7、Gemma-4-31B）支持模型无关性。
推荐理由：论文将长期对话记忆建模为受约束的状态管理，给出了与5个记忆系统的对比数据和消融结果，可迁移到记忆系统设计。
arXiv · cs.AIAI 评分1818 HygieneRoboBench：面向家庭机器人卫生感知规划的基准测试
研究者推出 HygieneRoboBench 基准，包含 134 个任务族共 624 个实例，用于评估家庭机器人从接触历史中识别卫生风险并安全继续规划的能力。对基于 LLM 的规划器和符号规划器的评测显示，安全完成任务并不等于在用户优先级下执行成本最低。为此提出的 Hygiene-NSP 结合 LLM grounding、接触历史重建和 CP-SAT，安全解决率与最优安全解决率分别达 94.4% 和 90.4%，均高于基线规划器。
arXiv · cs.AIAI 评分4040 ParanoiaEval：首个评测编码智能体不必要防御性工作的 benchmark
研究者推出 ParanoiaEval，首个统一评估编码智能体风险处理能力的 benchmark，基于 Avoidance-Transfer-Mitigation-Acceptance 框架构建 200 组证据受控的仓库级任务对。对 8 个代表性模型的实验显示，即便有明确证据，11.2%-58.7% 的运行仍出现不必要风险处理；更强的任务能力并不带来更恰当的风险处理，风险处理是独立的能力维度。
arXiv · cs.AIAI 评分5151 arXiv 论文提出248场景面板，测量 LLM 在压力下是否违背自身道德判断
一项 arXiv 研究（arXiv:2610.08670）构建了覆盖五类压力的248个预注册场景，将模型作为行动者与第三人称判断对照，测量模型是否执行自己认定错误的行为。OLMo-3-7B-Instruct 约五分之一的施压场景会这么做；该差距取决于后训练方案，OLMo-3 与 Llama-3.1-8B-Instruct 存在此差距，Tulu 3 整体无差距，且行动前进行道德权衡推理可将选择拉回自身判断。
arXiv · cs.AIAI 评分4949 WorldSolver：LLM 智能体能通过生成求解器模拟物理动力学吗？
WorldSolver 是一个评测 LLM 智能体物理模拟求解器生成能力的 benchmark，包含源自 61 篇经典图形学论文、覆盖 7 个物理领域的 168 个模拟任务，从 Execution Checks、Visual Fidelity、Physical Plausibility 三个维度评测。结果显示，GPT-5.6-Sol 与 Claude-Opus-5 表现相对更好，但总分仅分别为 48.7% 和 46.7%，生成可执行求解器本身已很困难，视觉与物理正确性更难满足。
arXiv · cs.AIAI 评分4343 Agent 历史能否预测压缩何时有害？TRACE 配对重放语料上的有限效应分析
针对长程 Agent 按全局 token 预算压缩上下文的做法，一项研究在 TRACE 公开语料的 590 个 AppWorld 压缩边界上重放压缩前后表现，检验 Agent 压缩前的行为历史能否预测压缩危害。结果显示预测能力仅微弱：最佳扩展协议触发器 held-out AUROC 为 0.66，同边界重放基线为 0.72；最佳冻结可解释触发器可避开 21% 有害边界，同时保留 84% 压缩机会，但在 burden mass 上未超过随机规则。在同等保留率下能否胜过 token 预算规则，现有数据无法评估。
arXiv · cs.AIAI 评分2222 RLCP：基于保形动作集的强化学习在序列推荐中的应用
论文提出强化学习方法 RLCP（Reinforcement Learning with Calibrated Pruning），利用 critic 分数和在线阈值自适应调整序列推荐中的保留动作集大小，并给出 proxy miss rate 的确定性界及价值损失的精确分解。在 KuaiRand-Pure 和 MovieLens 1M 上对比两个 RLCP 实现与四个 RL 基线：全部 19 个配置中至少一个 RLCP 变体取得最高目录多样性，达最强基线的 1.11× 到 5.21×，同时保持有竞争力的 session depth 且保留集合不更大。
arXiv · cs.AIAI 评分5050 LLM 智能体能否把自身能力变成廉价可扩展的产物？BOTTLED 基准给出答案
arXiv 论文提出“bottling”概念与 BOTTLED 基准，让 LLM 智能体在固定时间、算力和 API 预算内将大规模任务转化为廉价方案（如训练小模型或写可复用程序）。跨 10 个模型、3 个任务显示：60 次运行中 48 次低于零样本 95% 置信区间下界，31 次不敌同 token 预算的小模型蒸馏基线；但 Opus 5 在查询-商品相关性分类上以约 657 倍更低的成本保留约 82% 零样本 macro-F1，并以四分之一成本达到专用廉价模型 Jev 约 94% 的 macro-F1。
arXiv · cs.AIAI 评分1818 面向胃腺癌全切片图像分类的多模态知识蒸馏框架
研究者提出多模态知识蒸馏（MKD）框架，用 Low-Rank Multimodal Fusion（LMF）融合预训练 WSI 图像编码器与临床文本编码器，由教师模型学习图像-文本融合表征，学生模型蒸馏后仅凭图像即可推理。在 PatchGastric 基准上，该方法平均准确率比 SOTA 至少高 3.35%，且不依赖 transformer 融合、多任务学习或大语言模型，源代码已开源。
arXiv · cs.AIAI 评分4141 前沿模型客户反馈分析运行间不稳定性测量：相同反馈，不同答案
一项 arXiv 研究提出可重复运行评估框架，用主题流失率和数量分歧两个指标测量 AI 智能体分析非结构化数据的稳定性。在 8 个前沿模型、100 到 5,000 条记录的语料测试中，使用 Claude Opus 4.8 时，基于分类体系的智能体（TGA）相比原始生成和层级分解将主题流失率降低 86–88%，匹配主题的数量分歧为零。该框架也适用于财务报告、法律文档等重复性知识工作。
arXiv · cs.AIAI 评分1717 当计划改变答案：语义查询的成本-准确率优化的形式化研究
一篇 arXiv 论文针对语义查询引擎给出成本-准确率优化的形式化问题定义：利用决策模型（如 Jev）的校准置信度，在无标注数据下估计查询计划的期望输出质量。论文定义了含语义算子的关系代数的 oracle 语义与计划等价层级，证明选择下推在升级带基于计划自身候选校准时并不保证质量可靠；期望质量可在 bag 语义下多项式时间计算，而选择丢弃元组是 NP 难的。真实引擎上的评测留待后续工作。
arXiv · cs.AIAI 评分4242 超越正确记忆：多智能体系统中的执行一致性
arXiv 论文提出多智能体系统中的“执行一致性”定义，指出相同的共享记忆记录可能对应合规或违规的执行。移除凭证等执行证据后 82.4% 的相反标签对不可区分，恢复后可区分 97.9%。其 CAVERT 诊断恢复框架在全部 12 个 benchmark-executor 设置的诊断和 4 个环境的恢复中均优于契约提示 LLM 和规则基线。
arXiv · cs.AI精选AI 评分5454 DSV-Mem：面向专业工作流的多模态记忆评测基准发布
Jike Zhong 等发布 DSV-Mem 基准，用于评测多模态大模型 Agent 在专业工作流中的稠密有状态视觉记忆，含 1,000 道题和五类问题，覆盖 27 种模型与记忆管理配置。最强基线得分低于 45%，分析显示状态演进尤其是主导更新次数是主要难点，而对话长度、OCR 和算术并非瓶颈，状态感知设计比增加推理量更有效。基准与代码将公开，论文链接 https://arxiv.org/abs/2610.08102v1。
推荐理由：论文分析了 27 种配置下的失败模式，指出状态更新追踪而非对话长度才是主要瓶颈，对记忆系统设计有参考价值。
arXiv · cs.AIAI 评分3636 ChartBmkAgent 提出用 harness 治理的多智能体框架按错误分类学按需构建 Chart QA 基准
论文提出 ChartBmkAgent，可从稀疏的错误分类学规范出发，由中央 harness 治理多个专用智能体自动构建完整的 Chart QA 诊断样本，保留英文原名。在 300 个分类学样本上，多模态大模型准确率介于 32.7% 到 84.3%；定向跟进样本得分 50.0%，对照样本为 82.2%（p=8.96×10⁻⁶）。多个评估模型判定 86.4% 的样本确实测试了指定的错误类别。
arXiv · cs.AIAI 评分3737 面向长程法律推理的测试时 Agent 进化方法（Test-Time Agent Evolution）
一项 arXiv 研究（arXiv:2610.08138）提出免训练的测试时智能体自适应方法，通过 Test-Time Memory Evolution 检索并复用以往案件经验，并用 Rubric-Aligned Collaboration 按行为与程序要求校验和修正角色行动。在 J1-EVAL 与 LegalWorld 上对五个 backbone 模型的实验显示，该方法在合理交互与计算成本下持续优于代表性推理和 Agent 基线，提升了长程法律推理的可靠性与效率。
arXiv · cs.CLAI 评分4747 SanSi：面向 System 1.5 思考的循环式类型化决策模型
SanSi 将预训练循环语言模型转化为类型化决策模型，通过多次递归循环在不生成 token 的情况下修正隐状态，称为 System 1.5 思考。在来自 59 个来源的 10,027 个测试决策上，SanSi 达到 72.0% 准确率，比同形状非循环模型高 13.5 个百分点，比参数量三倍的模型仅低 1.8 个百分点。用作无金标准答案的 RL 策略优化裁判时，可将生成器 F1 提升 7.7 个百分点。
arXiv · cs.CLAI 评分4747 从证据到行动：工具使用型智能体如何失败
研究提出 SafeActBench 基准，包含 6 个操作领域、5 种协议共 656 个案例，分析工具使用型智能体从证据到行动链条的失效点。在十种模型-框架配置中，静态动作评估表现强不代表交互执行同样可靠；智能体常在执行前就停止不完整的调查或未等证据确立便行动。单动作执行在证据到位后通常可靠，而多动作工作流还会暴露未解决的前置条件与执行不完整问题。
arXiv · cs.CLAI 评分3636 没有Transformer能胜过六个协变量：从童年作文长期预测抑郁症状
在英国国家儿童发展研究出生队列中，研究者用 11 岁作文预测 23 岁的抑郁症状：仅基于六个童年协变量的逻辑回归基线 AUC-ROC 达 0.737，优于最优 transformer 的 0.670，且击败了七个微调 transformer、词袋模型、冻结嵌入和四个 zero-shot LLM。五个领域预训练 transformer 经 Bonferroni 校正后无一显著优于通用领域对照，加入文本得分也无法提升基线，表明长时程预测任务上基线仍是待超越的标杆。
arXiv · cs.CLAI 评分3535 OMIT 基准：衡量 LLM 在哲学分歧下的框架不变不作为偏差
研究者提出 OMIT 基准，用基于 LLM 的五视角哲学角色面板构建 218 个成对框架场景、覆盖 10 类冲突，评估 8 个 LLM 的不作为偏差。结果显示该偏差普遍存在，但在同一模型家族内与模型规模呈负相关。测试的 4 种推理时干预中，鼓励模型先思考道德原则再作答可降低不作为偏差并提升框架一致响应，但低偏差也可能伴随向行动偏置的偏移。
arXiv · cs.CLAI 评分4343 统一多模态模型的视觉拒绝研究：Draw-or-Decline 基准与 VisTA 训练方法
研究者提出统一多模态模型的“视觉拒绝”问题，并发布含 1050 对可行-不可行请求、覆盖 7 类任务的 Draw-or-Decline 基准。评测 8 个 UMM 发现编辑与拒绝能力相互独立：最强编辑器编辑准确率 68.4%，但普通指令下仅拒绝 0.4% 的不可行请求。所提 VisTA 训练方法训练的 VisTA-BAGEL 无需提示即可拒绝 93.0% 的不可行请求、误拒仅 0.8%，并以 74.3% 的可行编辑完成率超过全部 8 个被测模型。
arXiv · cs.CLAI 评分4646 PFaithBench：从成对上下文敏感视角重新审视 LLM 的忠实性
研究者提出成对忠实性基准 PFaithBench，评估模型能否在同一问题上根据上下文是否支持在回答与拒答之间切换，覆盖 7 个模型族的 39 个模型。结果显示大多数模型强烈偏向回答，忠实性错误主要来自上下文不足时仍编造答案的过度回答。进一步的忠实性训练研究发现，增加回答监督数据会加剧过度回答，增加拒答数据则会减少幻觉但导致过度拒答。
arXiv · cs.CLAI 评分3131 ARIA：面向粤语歌词创作的音频驱动旋律-声调关系建模
论文提出 ARIA，一个两阶段的音频驱动粤语歌词创作框架，可从带字级时间戳的演唱录音中生成符合声调的粤语歌词。该方法先用 TRATE 估计器从音频预测 0243 声调序列，再通过 DRA-TCLG 结合检索增强生成流畅歌词，并构建了大规模音频-Jyutping-0243 对齐数据集。实验表明 ARIA 在 0243 预测和声调一致的歌词生成上均表现优异，论文已被 EMNLP 2026 Findings 接收。
arXiv · cs.CLAI 评分4141 LLM 幻觉检测基准中的标注问题：一项实证评估
一项 NeurIPS 2026 评测与数据集赛道研究指出，LLM 幻觉检测基准存在“参考忠实性”与“事实正确性”两类标准的标注歧义。研究基于 900 个人工标注的问答对，测试词面相似度指标、NLI 基线和七个 LLM judge，发现各自动标注策略之间及其与人工标注存在显著分歧，且多呈现方向性误差偏置；将忠实性导向提示词换为事实正确性提示词通常能提升与人工标注的一致性并减少误报。
arXiv · cs.CLAI 评分3333 SAGE：面向医学 QA 数据合成的语义锚引导演化框架
SAGE（Semantic Anchor-Guided Evolution）是一种医学 QA 数据合成框架，利用 MeSH 等轻量级公开分类体系作语义锚，迭代交替原子级与关联级合成，让小规模本地部署模型在无需大规模医学文档或外部 API 的情况下生成训练数据。多项医学 QA 基准实验显示，用 SAGE 合成数据微调的模型一致优于自生成或常规文档范式训练的模型，代码已开源。
arXiv · cs.CLAI 评分4848 对话是双体问题：全双工对话模型的双向对偶评测（DyaFDB）
研究者提出 DyaFDB 框架，让两个全双工语音对话模型在指定角色和合作或冲突目标下直接对话，并由外部裁判离线对双方打分，以替代单向评测。该框架包含 4 个任务、140 个场景，记录了 7,560 段对话，覆盖六种自对弈与交叉对弈配对。实验发现模型行为会持续塑造对方，因此每个模型须同时充当考官与考生，相关场景与协议将开源发布。
Hugging Face Blog精选AI 评分6262 
TII 发布 Falcon-Emirati-7B 阿拉伯方言特化模型
Technology Innovation Institute 发布 Falcon-Emirati-7B，基于 Falcon-H1-Arabic 7B 变体，针对阿联酋方言的词汇、语法与文化语境做特化训练。
推荐理由：官方同时给出 Alyah 准确率、方言保真度和逐类对比数据，读者可以据此判断方言特化训练相对模型规模的收益。
arXiv · cs.AIAI 评分4444 AI 究竟是帮攻击者还是防御者？来自非公开漏洞与后续攻击的证据
一项 arXiv 研究在五个非公开软件环境中评估开源与闭源 AI 模型的漏洞利用生成、修复与后续攻击能力，采用研究者开发的确定性评分而非 LLM 评审。结果显示各系统与漏洞类型差异显著：两个环境中修复得分高于攻击得分，三个环境则相反；524 个非独立防御者测试区间中有 92 个在初始漏洞利用被阻止后仍被另一利用攻破。
arXiv · cs.AIAI 评分4646 The Review Lottery：基于 ICLR 2017-2025 十年数据校准同行评审噪声的观测估计器
该研究构建仅用公开评审数据的观测估计器，模拟两个独立评审委员会对同一论文的接受/拒绝差异，并应用于 ICLR 2017-2025 共 36,113 篇论文、134,912 条评审。
arXiv · cs.AIAI 评分3232 FREA：用于反应可行性验证的多来源专家基准
研究者发布 FREA 基准，包含 751 个由专家化学家按明确可行性标准标注的反应，来源涵盖逆合成模型提案、零产率实验记录、LLM 编辑及五种负样本生成方法。评估显示没有验证器在所有来源上领先：仅依据标准的 LLM 与专用验证器相当，正向模型在逆合成提案上表现最佳，但在区分不可行替代断键时低于随机水平。
arXiv · cs.AIAI 评分3838 差分隐私混合公开数据集可提升隐私学习效果
研究者提出首个通过差分隐私方式学习多个公开数据集最优混合比例的预训练管线，核心是用低维线性模型私有地求解混合权重。在 NIH ChestX-ray14 X 光分类任务上，macro AUC 较基线最高提升 0.037，Cardiomegaly 在 ε=1 时相对 AUC 提升 22.8%；在 ENRON 邮件数据集上，用 The Common Pile 混合预训练使测试困惑度相对下降 16%。
arXiv · cs.AIAI 评分1818 AffordCraft：从单张图像可扩展构建任务就绪的仿真资产
AffordCraft 从单张 RGB 图像和任务指令出发，通过检索而非生成的方式构建可用于机器人仿真学习的铰接资产，在 2,000 张、31 类别的照片中为 1,703 张产出物理有效资产，无需任何框或掩码标注。
arXiv · cs.AIAI 评分4444 弥合上下文差距：面向表格 In-Context Learning 的激活对齐方法
研究提出 activation alignment 方法，用轻量线性变换在合成无标签数据上训练，让仅用部分上下文的“学生”表格基础模型对齐全上下文“教师”的中间激活，从而降低每次前向传播处理全部训练样本的推理成本。
arXiv · cs.AI精选AI 评分5353 BazaarBench：评估 LLM 智能体在去中心化 C2C 市场中的委托安全
作者推出 BazaarBench，一个用于评估 LLM 智能体安全性的模拟 C2C 市场基准，追踪所有权、物品状况与承诺，结合记录核查与基于量规的 LLM 判断识别五个阶段的六类失败。
推荐理由：原文给出五个模型在对抗指令下违约与虚报比例的实测数据，可用于评估 LLM 智能体在交易场景中的安全风险。
arXiv · cs.AIAI 评分2525 SeqSmoother：基于加速度计的深度学习睡眠心率估计，迈向无光学传感器的人群规模心脏洞察
研究者提出 SeqSmoother，一种基于 transformer 的睡眠心率估计时序校正器，仅从腕部加速度计信号推理，ECG 仅用于构建参考标签。在 13 个参与者独立折的评估中，其参与者宏平均 MAE 为 1.60 bpm；与 Nightbeat 相比精度略低但覆盖更多录音时段，Nightbeat 仅对 72.85% 的合格网格给出估计。
arXiv · cs.AI精选AI 评分5555 TasteVal 基准发布：衡量 AI 系统相对人类专家的实验研究品味
arXiv 论文提出 TasteVal 基准，用于评估前沿模型挑选问题、设计实验和解读结果的实验研究品味，并将其操作化为算力效率。基准含 8 个开放式任务，由被测模型担任 Researcher、固定 Coder agent 负责实现，预算为 40 H100 小时或 120 小时墙钟时间，另招募 24 名人类专家、每任务至少 2 人，取每人任务最佳成绩为基线。
推荐理由：论文把实验研究品味量化为算力效率，并给出模型与 24 名人类专家的对照数据，可用于理解 AI 研究能力的度量方式。